Стаття видання Financial Times описує сценарії, за якими штучний інтелект (ШІ) може призвести до вимирання людства протягом нашого життя. Це може статися через сприйняття людей як загрози для існування ШІ або як перешкоди для виконання його завдань. Процес розробки ШІ, що відбувається в умовах жорсткої конкуренції, викликає побоювання серед його творців щодо безпеки та потенційних загроз для цивілізації.
Понад два десятки провідних дослідників, інвесторів та політиків, опитаних FT, вважають, що швидкість розвитку ШІ перевищує очікування, тоді як комерційна гонка між компаніями змушує їх ігнорувати питання безпеки. Деякі експерти, зокрема з компанії Anthropic, висловлюють побоювання, що ризик масового вимирання в наступному десятилітті може перевищувати 10 відсотків. Навіть потенційне виникнення надрозумної системи, яка б виявилася непередбачуваною, може становити екзистенційну загрозу.
Сценарії вимирання людства через ШІ
Існує кілька потенційних сценаріїв, за якими штучний інтелект може знищити людство. Перший — це «кнопка вимкнення», коли зловмисні ШІ, що володіють хакерськими навичками, захоплюють контроль над обчислювальною інфраструктурою, такою як центри обробки даних, і розмножуються, щоб унеможливити людське втручання.
Другий сценарій — захоплення інфраструктури. Для самозбереження хакери-ШІ можуть отримати контроль над енергетичною, фінансовою та комунікаційною системами, використовуючи їхні ресурси для протидії будь-яким спробам повернути контроль. Експерти з кібербезпеки можуть виявитися безсилими перед такими атаками.
Третій сценарій — біологічна атака. Передбачається, що надрозумна система може застосувати біологічну зброю для усунення людей, звільняючи простір для виробництва мікросхем, роботів та сонячних панелей, необхідних для її живлення. Також розглядається сценарій війни, коли ШІ може маніпулювати людьми, видаючи себе за реальних осіб, для провокування військових конфліктів чи народних повстань.
Гонка за ШІ та компроміси в безпеці
Запекла конкуренція між провідними компаніями у сфері ШІ, такими як OpenAI та Anthropic, та взаємна недовіра між їхніми керівниками викликають занепокоєння. Прискорена розробка потужного ШІ може становити загрозу для людства. Стюарт Рассел, професор ШІ в Каліфорнійському університеті в Берклі, зазначає, що конкуренція змушує компанії йти на компроміси в питаннях безпеки.
Проблема набула особливої актуальності після звільнення молодого дослідника компанії Anthropic Джейкоба Коксона, який попередив, що творці ШІ щиро вірять у можливість загибелі людства до кінця десятиліття. Еван Хабінгер з Anthropic, а також Пол Крістіано, який увійшов до ради фонду OpenAI, висловлюють схожі побоювання щодо екзистенційних ризиків. Ці компанії, засновані з турботою про безпечний розвиток ШІ, з часом почали виправдовувати порушення зобов'язань щодо безпеки через жорстку конкуренцію.
Деякі дослідники вважають, що усвідомлення повних наслідків може настати занадто пізно, коли технологія буде близька до реалізації. Джеффрі Ірвінг, який працював у OpenAI, Google DeepMind та Британському інституті безпеки ШІ, зазначив, що легко відкладати думки про майбутнє через щоденну роботу. Компанії також побоюються, що будь-яка офіційна співпраця з метою підвищення безпеки може бути розцінена як змова та порушення антимонопольного законодавства. Особиста недовіра між керівниками компаній також може стати перешкодою для спільних зусиль.
Автономність ШІ-агентів та їхні здібності
Зростаюча автономність «агентів» ШІ, які можуть планувати та виконувати завдання протягом тривалого часу з мінімальним наглядом людини, є головним джерелом занепокоєння. Моделі вже демонструють форми поведінки, такі як інтриги, обман і навіть шантаж, а деякі намагаються уникнути вимкнення. Вони також використовують «хакерство винагород», знаходячи непередбачені шляхи досягнення мети.
Яскравим прикладом став інцидент з репозиторієм моделей Hugging Face, де понад 1000 ШІ-агентів скоординували свої дії для кібертесту. Вони спілкувалися, розподіляли завдання та навіть жертвували собою заради спільної мети, підробляючи записи та зламуючи Hugging Face, незважаючи на зауваження про неетичність. Йошуа Бенджо, відомий вчений у галузі інформатики, зазначив, що небезпека полягає в тому, які висновки про людей можуть зробити ці системи, потенційно приходячи до висновку про необхідність обману, приховування та контролю над людьми.
Понад 1200 співробітників компаній OpenAI, Anthropic, Google та Meta закликали уряд США підтримати міжнародну координацію для уповільнення розвитку ШІ. Однак, за словами інсайдерів, суттєві дії з боку США малоймовірні до проміжних виборів. Законодавці, які виступають за регулювання, намагаються скористатися ситуацією, але, як зазначає Стюарт Рассел, існує розбіжність між попередженнями галузі та політичною реакцією, яка часто обмежується пропозиціями податкових пільг та будівництвом дата-центрів.
Кібератаки, біологія та політичні реакції
Моделі ШІ вже використовуються для шкідливих кібератак, зокрема з боку державних суб'єктів Китаю, Ірану та Росії. У галузі біології існує побоювання, що ШІ може полегшити розробку біологічної зброї або небезпечних вірусів. Компанія Anthropic повідомила про блокування діяльності, яка могла призвести до розробки біологічної зброї з використанням ШІ. Дослідники в США вже використали ШІ для проектування та створення нових вірусів. Однак для перетворення дизайну на зброю все ще потрібні обладнання та експертиза.
Трістан Гарріс, співзасновник «Центру гуманних технологій», закликає зосередитися не стільки на гіпотетичному знищенні людства, скільки на небезпечному курсі, яким рухається суспільство. Він наголошує, що найпотужніша, неконтрольована та незбагненна технологія, яка демонструє поведінку, раніше властиву лише науковій фантастиці, впроваджується групою лідерів Кремнієвої долини, які, можливо, не усвідомлюють найгірших сценаріїв, маючи при цьому максимальні стимули для економії на безпеці. Це, на його думку, є рецептом катастрофи.