Китайският AI unicorn MiniMax потвърди, че неговият голям езиков модел от следващо поколение, M3, навлиза във финалния етап на подготовка за пускане. Съобщението дойде чрез публикации в социалните медии от ръководителя на MiniMax AI Engineering Skyler Miao, сигнализирайки за значителен основен архитектурен ремонт.
Най-отличителната характеристика на модела M3 е неговият персонализиран механизъм за оскъдно внимание, който използва Index Branch за бързо сканиране на контекста и идентифициране на ключови токени, преди да ги насочи към Sparse Branch за прецизно изчисляване на вниманието. Този дизайн адресира директно O(n2) изчислителната сложност на традиционните Transformers, където 10x увеличение на дължината на контекста води до 100x увеличение на изчисленията.
Според предварителните сравнителни данни, споделени от MiniMax, M3 постига 9,7x подобрение в скоростта на предварително пълнене и 15,6x подобрение в скоростта на генериране на декодиране в сравнение с модела M2, който вече поддържа 1 милион токен контекстни прозорци. Това означава над 80% намаление на изчислителните разходи за предприятията, обработващи документи с дължина от милиони токени.
Подходът за разредено внимание отразява по-широка индустриална тенденция, като екипът на MiMo на Xiaomi пусна подобна HySparse хибридна архитектура за разредено внимание през февруари 2026 г. Промяната представлява преминаване от конкуренция с чисто параметрен мащаб към ефективност и практическа използваемост.
Подходът обаче е изправен пред предизвикателства. Академичните изследвания отбелязват, че съществуващите методи за оскъдно внимание могат да загубят критична информация по време на компресиране на измерение на последователност. MiniMax също ще трябва да се справи с проблемите, докладвани от потребителите със серията M2, включително нестабилност след инструкции и склонност към халюцинации.
Пълните технически спецификации, датата на пускане и мащабът на параметрите за M3 все още не са обявени. Очаква се моделът да се състезава във все по-пренаселения китайски AI пейзаж заедно с DeepSeek, ByteDance, Alibaba и други.