PHANES AI, основана от професора от Харбинския технологичен институт в Шенжен Янг Шуо, публикува TouchWorld, предсказуем и реактивен тактилен основен модел за сръчна манипулация. Работата е насочена към критично сляпо петно в настоящите VLA модели на визия-език-действие: те могат да видят дали пръст на робот докосва бутон, но не могат да почувстват дали бутонът действително е бил натиснат.
TouchWorld дава на тактилното усещане двойна роля в контрола на робота. Първо, предсказващ: преди да изпълни действие, моделът прогнозира не само как трябва да изглежда визуалната сцена след завършване на подзадачата, но също така и съответната тактилна карта, показваща кой пръст трябва да изпита натиск, къде трябва да бъде контактът и с каква интензивност. Това дава на робота физическа наземна мишена за истината, която само зрението не може да провери. Второ, реактивен: след като възникне контакт, моделът непрекъснато чете тактилни сигнали и състояния на ставите, за да приложи микрокорекции, коригиращи позицията на пръстите, силата на захващане и ъгъла на китката в реално време, без да се изисква политиката на високо ниво да се препланира.
При тестване с реален робот при шест задачи за поливане на растения, почистване на маса, поставяне на щепсел, поставяне на чаша, търкане на тиган и извличане на тъкан TouchWorld постигна 65,0% среден процент на успех при необезпокоявани условия и 57,2% със смущения, включително движение на целта и смущения в захващането, надвишавайки най-силната базова линия съответно с 15,7 и 16,0 процентни пункта. Всяка задача беше обучена на 200 дистанционни траектории и оценени над 100 изпитания с реални роботи.
Янг Шуо, роден през 1998 г., е постоянен професор и ръководител на докторска степен в HIT Shenzhen, което го прави един от най-младите редовни професори в Китай. Той беше получател на Google PhD Fellowship, един от деветте глобални победители, а докторската му работа беше избрана за финалист на най-добър доклад на ICLR, преди да се завърне в Китай на 26-годишна възраст. PHANES AI вече има екип, който обхваща данни, моделиране, управление на роботи и хардуерни системи.
Позицията на компанията е, че тактилната обратна връзка не може просто да бъде добавена като друга модалност на данните към съществуващите VLA модели. Тактилните данни се различават фундаментално от визуалните данни по отношение на плътността на информацията, времето и скоростта на обработка. Захранването му в същия модел би довело до затрупване на тактилни сигнали от визуална информация. Вместо това, TouchWorld използва отделна архитектура, където тактилното предсказване и реакция работят заедно, а не в рамките на VLA тръбопровода, позволявайки на модела както да предвижда резултатите от физическия контакт, така и да реагира на неочаквани взаимодействия със скоростта, необходима за манипулация в реалния свят.