Изследователски екип от LionRock AI Lab към China Merchants Group’s Advanced Technology Research Institute публикува документ, приет на IROS 2026, който идентифицира и решава критична слабост в моделите Vision-Language-Action (VLA): тяхната изключителна уязвимост към пространствени вариации. Проучването разкрива, че преместването на камерата само с няколко милиметра може да доведе до намаляване на успеваемостта на задачите на VLA наполовина.
Екипът идентифицира три вида бързо обучение в VLA модели. Свързването на камера-база възниква, когато моделите запаметяват позициите на обектите спрямо фиксираните координати на камерата, вместо да научават истинските пространствени връзки. Когато позицията на камерата се промени, относителните координати се изместват и моделът на практика губи своето разбиране, като успеваемостта пада от 85% на 43% в тестовете. Свързването на камера-обект означава, че моделите разчитат на специфични ъгли на гледане, за да разпознават обекти, третирайки един и същ обект от различни ъгли като напълно различни обекти. Свързването на обект-позиция е най-финото: дори при данни за обучение с множество изгледи, ако връзките между обектите остават фиксирани по време на събирането на данни, моделът научава позиционни преки пътища, а не семантично разбиране.
Експериментът за свързване на обект-позиция демонстрира това ясно. За VLA задача „хванете писалката и поставете в държача за писалка“, събирането на данни умишлено поддържа позицията на държача за писалка фиксирана. След обучение моделът постигна 95% успех с държача на писалката в това фиксирано положение. Преместването на държача на писалката само на един диаметър доведе до спад на успеваемостта до 72%, което доказва, че моделът не се е научил „да постави писалката в държача“, а по-скоро „да се премести към тази конкретна координата“.
Решението на екипа, Hybrid Dynamic Data Collection (HDDC), въвежда контролирани вариации по време на събирането на данни чрез динамично преместване на камерата и обектите. Това принуждава модела да научи истински пространствени връзки, а не преки пътища. Подходът не зависи от модела и е валидиран в множество основни VLA архитектури с постоянна ефективност.
Това изследване е насочено към фундаментална бариера пред въплътеното внедряване на AI в реални условия. Текущите VLA бенчмаркове отчитат 90%+ успеваемост при фиксирани условия, но приложенията в реалния свят включват промяна на позициите на камерата, условията на осветление и подредбата на обектите. Диагнозата на екипа на LionRock е в съответствие с констатациите от съвместните изследователски проекти на Stanford-Google и Tongji-Fudan, което предполага, че това е системен проблем в цялата област.
Документът, озаглавен „Хибридно събиране на динамични данни: Прекъсване на обучението за пряк път на VLA за пространствена генерализация“, заедно с ресурсите на проекта, е публично достъпен на arXiv и GitHub.