Продължете към съдържанието

China Telecom внедри първия вътрешен TPU клъстер в Ханджоу: Zhonghao Xinying Chana TPU с 400 PFLOPS, национална изчислителна верига от чип до платформа

  • от



China Telecom внедри първия вътрешен TPU клъстер в Ханджоу: Zhonghao Xinying Chana TPU с 400 PFLOPS, национална изчислителна верига от чип до платформа

China Telecom, ZTE и Zhonghao Xinying внедриха първия домашен TPU клъстер: 1024 чипа в Hangzhou при 400 PFLOPS. Chana TPU от първо поколение захранва фаза 1; второ поколение Xuyu TPU (WAIC 2026) предлага 896 TFLOPS, 3x Chana производителност при 50% по-ниска мощност.

Телекомуникационните оператори се превръщат в критична среда за валидиране на домашни AI чипове. За разлика от доставчиците на облачни услуги, които могат да оптимизират за конкретни GPU модели, телеком операторите обслужват различни корпоративни клиенти, изискващи широка съвместимост на моделите. Hangzhou Telecom съобщи, че ефективността на изхода на токени се е подобрила над 10 пъти в клъстера след внедряването, като цената на милион токени е спаднала от приблизително 100 юана до под 10 юана. Клъстерът постигна тези печалби чрез планиране на разделяне Prefill-Decode, техника, която разделя обработката на входа от генерирането на изход, за да оптимизира използването на хардуера за всеки тип натоварване. Разделянето на PD е естествено за TPU архитектурата, докато GPU изискват значителна софтуерна модификация за еквивалентна производителност.

Изпълнителният директор на Zhonghao Xinying Yang Gongyifan, бивш член на екипа на Google TPU, позиционира компанията като една от малкото китайски компании, ангажирани с TPU архитектурния път. Архитектурата на TPU със систолични масиви и мащабни единици за умножение на матрици е присъщо оптимизирана за изчислителна логика на трансформаторен слой, доминиращият модел в големите езикови модели. Чипът Xuyu от второ поколение поддържа естествено планиране на разделянето на PD, което значително намалява разходите за модификация на софтуера. При разгръщане на клъстер, един супервъзел поддържа до 2048 чипове директна взаимовръзка, адресирайки пречките в комуникацията между чипове, които стават критични при мащаб от хиляда карти, където изискванията за честотна лента достигат терабитови нива.

Домашните чипове са изправени пред 100-ниво на адаптация срещу 10-ниво за чуждестранни, тъй като и моделите, и чиповете се актуализират със спринтова скорост едновременно. China Telecom осигурява реално DC пространство, реални работни натоварвания и реално таксуване за преместване на чипове от режим на работа към режим на работа.

Планирано разширяване до 10K+ PFLOPS за обучение на ултра-големи модели. Еволюцията от конкуренция на ниво чип към ниво система отразява съзряването на индустрията. Партньорството Zhonghao Xinying-ZTE-China Telecom създава вертикално интегрирана национална компютърна верига за доставки.



Source link