Осмата конференция на Пекинската академия за изкуствен интелект (BAAI) започна на 12 юни 2026 г. в Пекин с откриваща сесия с участието на двама лауреати на наградата Тюринг — Уитфийлд Дифи (2015) и Андрю Барто (2024), които независимо един от друг достигнаха до обща загриженост: фундаменталните теоретични предизвикателства, стоящи в основата на преследването на изкуствения общ интелект (AGI).
Дифи, известен като бащата на криптографията с публичен ключ, изследва сигурността на AI агентите през призмата на информационната сигурност. Той твърди, че докато успехът на криптографията в тесен домейн произтича от ясно дефинирани спецификации, амбицията на AGI – да „прави всичко“ – прави невъзможно писането на официални спецификации, които предотвратяват халюцинации или загуба на контрол. „Искаме да докажем, че една система отговаря на спецификацията си, но първо трябва да можете да напишете тази спецификация“, каза Дифи, отбелязвайки, че дори формалната дефиниция на „не халюцинира“ остава неуловима.
Той противопостави това на криптографията с публичен ключ, която успя, защото академичните среди и индустрията прекараха десетилетия в проектиране, проверка и стандартизиране на протоколи. „Индустрията за сигурност на AI ще трябва да премине през подобен дългосрочен процес на изграждане и стандартизация на протоколи, преди агентите да могат наистина да бъдат контролирани“, предупреди той, отбелязвайки, че настоящата сигурност на LLM остава в ранна, хаотична фаза.
Андрю Барто, пионерът в изучаването на времеви разлики и актьорско-критичната архитектура, проследи вековната скрита история на обучението с подсилване – от експериментите на Торндайк с кутии за пъзели през 1898 г. до AlphaGo. Той идентифицира основното тясно място като дизайна на функцията за възнаграждение. В перфектно дефинирани среди като шах или го, сигналите за награда са ясни. Но в сложни сценарии от реалния свят, проектирането на перфектна функция за възнаграждение е фундаментално невъзможно.
Барто се позовава на половинвековното предупреждение на Норберт Винер: „Ще ви даде това, което поискахте – но не и това, което всъщност искахте и имахте нужда.“ Той рамкира това като проблема „Midas Touch“, където буквалната оптимизация унищожава истинската стойност, предупреждавайки, че с разпространението на автономните AI агенти този риск се умножава експоненциално. „Не можем да разчитаме само на една линия от функция за възнаграждение; трябва да изградим стабилни, динамични парапети, подкрепени от широко експериментално валидиране“, подчерта Барто.
И двамата говорители стигнаха до едно и също заключение: ние предоставяме на машините свобода на действие, но не можем нито математически да ги ограничим с формални спецификации, нито да ги ръководим с перфектни функции за възнаграждение. Пътят от информационната теория на Шанън до днешните криптографски стандарти отне половин век; обучението за подсилване обхваща век от Торндайк до AlphaGo. Теоретичните основи за безопасността на AGI, предупредиха те, изискват също толкова дълъг срок – много по-дълъг, отколкото предполага настоящата лудост в индустрията.