Головний науковець OpenAI: ШІ розвивається непередбачувано, потребує нових стандартів безпеки
Головний науковий співробітник OpenAI Якуб Пахоцький опублікував есе «An Alien Mind», в якому представив власну оцінку поточного розвитку штучного інтелекту (ШІ). Він вважає, що масштабування навчання моделей ШІ може призвести до появи машин, які значно перевершують людські можливості. Пахоцький наголошує, що інженери не проєктують ШІ у звичному розумінні, а скоріше «вирощують» його, не до кінця розуміючи його внутрішні процеси мислення.
Спираючись на внутрішні результати OpenAI, Пахоцький вважає ймовірним збереження поточних темпів прогресу, що може призвести до рекурсивного самовдосконалення. Це означає, що сам ШІ відіграватиме дедалі більшу роль у розробці наступних поколінь. Однак, за його словами, жодна лабораторія наразі не вирішила проблеми надійної відповідності поведінки ШІ людським цілям та цінностям, а також його моніторингу настільки добре, щоб безпечно масштабувати моделі з максимальною швидкістю.
Виклики безпеки та майбутні стандарти
Пахоцький очікує, що добровільні уповільнення розробки стануть нормою до появи загальних стандартів безпеки. Він пропонує перетворити існуючі підходи, такі як Preparedness Framework OpenAI або Responsible Scaling Policy Anthropic, на обов'язкові пороги безпеки. Дотримання цих порогів, на його думку, повинні контролювати сторонні аудитори, державні або міжнародні структури.
Однією з ключових технічних проблем науковець називає поступове зниження надійності моніторингу ланцюжків міркувань моделі. Раніше OpenAI робила ставку на навчання моделей на основі результатів їхніх міркувань, що дозволяло виявляти потенційно неузгоджені наміри. Проте сучасні моделі працюють у складніших середовищах, де міркування змішуються зі спілкуванням, взаємодією з іншими ШІ та використанням сторонніх інструментів.
Крім того, моделі ШІ стають кращими у здатності аналізувати та змінювати власний процес міркування. Зростання якості попереднього навчання дозволяє їм ставати розумнішими навіть без вербалізації своїх думок. Тому Пахоцький прогнозує, що одним із головних обмежень подальшого прогресу ШІ стане впевненість дослідників у можливості надійно відстежувати поведінку все потужніших моделей, особливо з огляду на їхню зростаючу самостійність.
На думку науковця, людству необхідно знайти способи зберегти власну суб'єктність та утвердити внутрішню цінність людського існування у світі, де значну частину завдань виконуватиме ШІ.
Низькі бали НМТ: чому математика стала провальною для випускників та які шляхи вирішення
Спецпідрозділ «Артан» провів шок-тест бронемашини Cobra II: витримала 5 хвилин під обстрілом та 3 FPV
Норвегія прощається з королем Гаральдом V: Державні похорони та спадщина монарха
Іран атакував Йорданію: Балістичні ракети збили над Бен-Гуріоном, Британія ввела санкції проти Ізраїлю
Ладакх: Від квітучих оаз до небезпечних перевалів і гірських озер
Олександр Попов: Шлях до повної українізації — від мови до самодостатньої держави
Хіп-хоп і його вплив: дослідження спростовує негативні стереотипи
Від СССР до сьогодення: Як Росія втратила більшу частину радянського авіапарку стратегічних бомбардувальників
