Xiaomi пусна Xiaomi-Robotics-U0, мултимодален авторегресивен въплътен генеративен основен модел с 38 милиарда параметъра, отбелязвайки първия унифициран генеративен модел в областта на въплътения AI, способен да се справя с четири различни категории задачи на роботи едновременно. Моделът, придружен от код с напълно отворен код и тежести на GitHub и HuggingFace, установява цялостен тръбопровод за генериране и редактиране на изображения на роботи и данни за видео обучение.
Моделът покрива четири основни възможности. Първо, въплътеното генериране на сцени създава начални сцени с множество изгледи за определен хардуер на роботи от текстови описания, покриващи среди от плотове и кухни до складове и отворени светове. Второ, въплътеният трансфер мигрира съществуващите траектории на робота към нови среди, променяйки осветлението, фона, повърхностните материали, целевите обекти или стила на работното пространство, като същевременно запазва оригиналните пози на ръцете и оформлението на сцената. Трето, генерирането на видео за взаимодействие с роботи произвежда последващи видео кадри въз основа на първоначални наблюдения и инструкции за работа, поддържайки кохерентност на движението и физическа последователност с нулева генерализация към невиждани сценарии. Четвърто, общите възможности за преобразуване на текст в изображение и редактиране на изображения остават непокътнати, позволявайки интернет визуалните познания да се прехвърлят към въплътени AI задачи.
Xiaomi-Robotics-U0 постига най-добри резултати в бенчмарка WorldArena в 126 участващи глобални модела. При реални оценки на роботи при условия извън разпространението с неизвестно осветление и непознат фон, степента на изпълнение на стратегическите задачи се подобри средно с 26%, когато се обучават на данни, подсилени от Xiaomi-Robotics-U0. Моделът може да подобри съществуващите данни чрез запазване на геометрична консистенция чрез промяна на обекти, осветление, фонове или добавяне на бъркотия, без да изисква ново събиране на данни, и може да генерира изцяло нови сцени, покриващи опасни, екстремни или дълги среди, недостъпни за физически роботи.
Моделът използва архитектура за ускорение на изводите UNIS, която подобрява ефективността на генериране с приблизително 83 пъти в сравнение със необработената авторегресивна парадигма, като значително намалява бариерата за инженерно внедряване. Това прави широкомащабното генериране на вградени данни за обучение за подобряване на модела контролирано и ефикасно решение, адресирано до едно от основните затруднения в разработването на вграден AI, където недостигът на данни ограничава растежа на възможностите на модела.
Изданието с отворен код включва пълната страница на проекта, хранилище на кодове на GitHub, тегло на модела HuggingFace и колекция ModelScope. Това представлява един от най-изчерпателните приноси с отворен код от китайска компания за потребителска електроника във въплътеното AI пространство, след внедряването на фабриката за роботи на Xiaomi и позиционирането на компанията като пълен стек въплътен AI играч, обхващащ производството на хардуер, внедряването в реалния свят и изследването на основния модел.