Головний науковий співробітник OpenAI Якуб Пахоцький опублікував есе «An Alien Mind», в якому представив власну оцінку поточного розвитку штучного інтелекту (ШІ). Він вважає, що масштабування навчання моделей ШІ може призвести до появи машин, які значно перевершують людські можливості. Пахоцький наголошує, що інженери не проєктують ШІ у звичному розумінні, а скоріше «вирощують» його, не до кінця розуміючи його внутрішні процеси мислення.
Спираючись на внутрішні результати OpenAI, Пахоцький вважає ймовірним збереження поточних темпів прогресу, що може призвести до рекурсивного самовдосконалення. Це означає, що сам ШІ відіграватиме дедалі більшу роль у розробці наступних поколінь. Однак, за його словами, жодна лабораторія наразі не вирішила проблеми надійної відповідності поведінки ШІ людським цілям та цінностям, а також його моніторингу настільки добре, щоб безпечно масштабувати моделі з максимальною швидкістю.
Виклики безпеки та майбутні стандарти
Пахоцький очікує, що добровільні уповільнення розробки стануть нормою до появи загальних стандартів безпеки. Він пропонує перетворити існуючі підходи, такі як Preparedness Framework OpenAI або Responsible Scaling Policy Anthropic, на обов'язкові пороги безпеки. Дотримання цих порогів, на його думку, повинні контролювати сторонні аудитори, державні або міжнародні структури.
Однією з ключових технічних проблем науковець називає поступове зниження надійності моніторингу ланцюжків міркувань моделі. Раніше OpenAI робила ставку на навчання моделей на основі результатів їхніх міркувань, що дозволяло виявляти потенційно неузгоджені наміри. Проте сучасні моделі працюють у складніших середовищах, де міркування змішуються зі спілкуванням, взаємодією з іншими ШІ та використанням сторонніх інструментів.
Крім того, моделі ШІ стають кращими у здатності аналізувати та змінювати власний процес міркування. Зростання якості попереднього навчання дозволяє їм ставати розумнішими навіть без вербалізації своїх думок. Тому Пахоцький прогнозує, що одним із головних обмежень подальшого прогресу ШІ стане впевненість дослідників у можливості надійно відстежувати поведінку все потужніших моделей, особливо з огляду на їхню зростаючу самостійність.
На думку науковця, людству необхідно знайти способи зберегти власну суб'єктність та утвердити внутрішню цінність людського існування у світі, де значну частину завдань виконуватиме ШІ.