С ограниченията върху усъвършенстваните EUV инструменти за литография, създаващи пречка за традиционното мащабиране на чипове, китайските компании за чипове с изкуствен интелект ускоряват възприемането на 3D подреждане и технологията за хибридно свързване като алтернативен път към по-висока производителност. Стратегията, описана от участниците в индустрията като „изпреварване на кривата“, има за цел да постигне сравнима плътност на AI изчисленията чрез вертикална интеграция, а не миниатюризация на транзистори.
Suanmiao Technology, местно стартиране на чипове за 3D архитектура с изкуствен интелект, наскоро представи своята концепция TokenPU – процесор, първоначално проектиран за обработка на токени в извод на голям езиков модел. Продуктът от първо поколение A4E на компанията вече е навлязъл в производството, внедрявайки стек от 8-слойни DRAM вафли, вертикално интегрирани на върха на изчислителна логика, използвайки сквозни силициеви отвори (TSV) и микро-бумп технология.
Според Wang Fuquan, основател и главен изпълнителен директор на Suanmiao Tech, подходът намалява разстоянието за предаване на данни с два порядъка в сравнение с традиционните връзки на милиметрово ниво между чипове, постигайки 16-32TB/s честотна лента на паметта – приблизително четири пъти повече от B200 на NVIDIA. „Основното предизвикателство в ерата на големите модели не е самата изчислителна единица, а тясното място на честотната лента на паметта“, каза Уанг за EEWorld, отбелязвайки, че графичните процесори NVIDIA H100 прекарват до 70% от времето за изводи в неактивност, чакайки данните да бъдат преместени от паметта.
Отделянето на чипове на Kuaishou Lingchuan Technology също завърши записването на своя чип от следващо поколение през април, като използва изцяло домашен подход за 3D подреждане с нова 3D архитектура почти на паметта. Неговият първи чип, SL200, е продал близо 100 000 единици, разположени в Kuaishou, Alibaba Cloud, Baidu Cloud и Bilibili, като обработва 99,7% от натоварванията на Kuaishou за транскодиране на живо.
Rockchip, добре известна китайска компания за полупроводници без фабрични процесори, представи своята RK182X серия AI копроцесор – първият в индустрията 3D подреден пакет AI чип от местен доставчик. RK1820 доставя 20 TOPS с 2,5 GB честотна лента на паметта, докато RK1828 достига 5 GB. Rockchip твърди, че честотната лента е приблизително 30 пъти по-висока от нейния флагман RK3588, намалявайки консумацията на енергия за пренос на данни, като същевременно осигурява висока производителност и ниска латентност.
Tsingway, лидерът в областта на преконфигурируемите изчисления, инкубиран от университета Цинхуа, също разработва 3D преконфигурируема AI архитектура от 2019 г. насам, с обширни патентни портфолиа както в Китай, така и в Съединените щати. Компанията работи с университета Цинхуа, Пекинската академия за изкуствен интелект (BAAI) и Zhipu AI за изграждането на местна AI екосистема около 3D технологията за чипове.
Консенсусът в индустрията твърди, че 3D хибридното свързване представлява единственият готов за производство път за значително подобряване на изчислителната ефективност на AI в настоящата геополитическа среда, като главният изпълнителен директор на Suanmiao Wang го нарече „единственото реалистично решение преди технологиите от следващо поколение като оптични изчисления или изчисления в паметта да станат зрели“.