XinZhi Embodied и университетът Фудан публикуваха съвместно три технически доклада, насочени към една от най-значимите пропуски във въплътения интелект: тактилно усещане. Докато зрението и езиковите способности са напреднали бързо, усещането за допир, критична модалност за манипулационни задачи като хващане, сглобяване и идентификация на обекти, остава недоразвито. Сътрудничеството пусна 30 000 часа данни за тактилно взаимодействие, събрани от реални операции на роботи, предназначени да обучават модели, които могат да разберат физически свойства като текстура, твърдост, температура и триене чрез допир.
Пропускът в тактилните данни е широко признат като пречка във въплътения AI. Системите, базирани на зрението, могат да идентифицират обекти и да планират приближаващи траектории, но не успяват, когато е необходимо да преценят силата на захващане, да открият приплъзване или да разграничат свойствата на материала чрез контакт. Човешката манипулация разчита до голяма степен на тактилна обратна връзка: способността да се усети кога даден обект е здраво задържан, кога е на път да се изплъзне и колко сила да се приложи за различни материали. Тези способности се научават чрез хиляди часове взаимодействие по време на човешкото развитие и възпроизвеждането им в роботи изисква също толкова обширни данни за тактилен опит.
Трите доклада обхващат проектирането и калибрирането на тактилен сензор, широкомащабна методология за събиране на тактилни данни и обучение на модел за манипулиране с осезаемост. Сензорният подход съчетава множество принципи на трансдукция, включително капацитивно, пиезоелектрично и резистивно отчитане, за да улови както разпределението на статичното налягане, така и динамичните вибрационни сигнали по време на контактни събития. Събирането на данни използва множество платформи за роботи, изпълняващи задачи за хващане, манипулиране в ръка и изследване на повърхността на хиляди обекти, обхващащи различни материали, геометрия и повърхностни текстури.
Изданието представлява значителен принос към отворената въплътена AI екосистема. Висококачествените тактилни данни остават оскъдни, тъй като събирането изисква специализиран хардуер, прецизна анотация на контактните събития и продължително време за работа на робота. Чрез предоставяне на 30 000 часа структурирани данни за тактилно взаимодействие с отворен код, XinZhi Embodied и университетът Фудан имат за цел да ускорят изследванията на манипулацията с докосване, позволявайки разработването на роботи, които могат да се справят с голямо разнообразие от обекти, материали и условия, срещани в реални среди, вместо да се ограничават само до визуални операции в контролирани настройки.
Работата е в съответствие с по-широката тенденция във въплътената интелигентност към мултимодално възприятие, което отразява човешката сензорна интеграция. Докато зрението осигурява глобално пространствено осъзнаване, а езикът предоставя инструкции за изпълнение на задачите, докосването предоставя данни за локално физическо взаимодействие, които са от съществено значение за сръчна манипулация. Базираното в Шанхай сътрудничество между XinZhi Embodied и университета Фудан отразява задълбочаващата се интеграция между академичните изследвания и стартиращите иновации в китайската въплътена интелигентна екосистема, като изследователските резултати директно информират циклите на разработване на продукти. Очаква се освобождаването на тактилни данни да даде възможност на изследователи и разработчици на трети страни да изградят възможности за манипулиране, които преди това са били недостъпни поради недостига на данни.