У жовтневому звіті компанії KPMG «Переосмислення досконалості в епоху агентного ШІ» було виявлено численні неправдиві твердження щодо використання штучного інтелекту великими організаціями. Зокрема, звіт містив вигадані приклади, що базуються на «галюцинаціях» ШІ, щодо застосування технології банком UBS, Національною службою охорони здоров'я Великої Британії, а також транспортними компаніями Swiss Federal Railways та Transport for London. Ці неточності були визначені дослідницькою групою GPTZero та перевірені виданням Financial Times.
Після отримання повідомлень про проблему, швейцарський банк UBS звернувся до KPMG з проханням видалити неправдиві твердження зі звіту. Компанія з «Великої четвірки» відкликала документ з деяких своїх веб-сайтів. Цей випадок став черговим підтвердженням проблем з «галюцинаціями» ШІ у звітах компаній, що надають професійні послуги. Минулого місяця подібний інцидент стався з компанією EY, яка відкликала своє дослідження через помилкові виноски та інші неточності, виявлені GPTZero.
Читайте також: Агенти ШІ: Від помічника до незамінного співробітника
Вигадані випадки використання ШІ
У звіті KPMG стверджувалося, що глобальний менеджер активів UBS «інтегрує агентів штучного інтелекту в інвестиційне консультування, управління ризиками та моніторинг дотримання вимог», а також що ця система «забезпечує персоналізовані, ефективні та відповідні вимогам фінансові подорожі». Представник UBS спростував ці твердження, назвавши їх «фактично невірними».
Щодо Швейцарських федеральних залізниць (SBB), звіт зазначав, що вони пропонують агентів ШІ, які «допомагають користувачам планувати, бронювати та оптимізувати поїздки», перетворюючи SBB на «комплексного координатора мобільності». Представник SBB підтвердив, що це твердження є «неточним».
Також було заявлено, що Transport for London використовує агентів ШІ «для прогнозування та управління заторами, персоналізації оновлень для пасажирів та координації мультимодального транспорту». Представник транспортної системи назвав це твердження «оманливим».
Заява KPMG про використання NHS Greater Manchester агентів ШІ для прогнозування повторних госпіталізацій, сортування пацієнтів та автоматизації направлень «не зовсім відповідає» дійсності. Згідно з примітками, це твердження походить із повідомлення про інструмент для боротьби з раком легенів, у якому не згадувався агентний ШІ для виконання таких завдань.
Реакція KPMG та занепокоєння експертів
Представник KPMG International заявив, що компанія «серйозно ставиться до точності та цілісності опублікованого контенту». Він додав, що компанія видалила звіт з веб-сайтів на час розслідування обставин його публікації. «Ми очікуємо, що всі наші співробітники дотримуватимуться наших рекомендацій щодо відповідального використання ШІ, включаючи людський контроль для перевірки контенту та незалежних джерел», — зазначив він.
Виконавчий директор GPTZero Едвард Тян наголосив, що такі звіти, сповнені помилок, «отруюють джерело інформації». За його словами, на висновки KPMG вже посилалися численні галузеві видання. Він додав, що опора на неправдиву інформацію з боку авторитетних консалтингових компаній, таких як KPMG та EY, «збільшує ризик вторинних галюцинацій».
Консалтингові фірми активно просувають свої послуги корпоративним клієнтам як консультанти з питань впровадження ШІ, випускаючи сотні матеріалів про «інтелектуальне лідерство» у сфері ШІ. Однак, матеріал «Переосмислення досконалості в епоху агентного ШІ» був розповсюджений у різних країнах з контактними даними місцевих маркетингових представників, що викликає питання щодо добросовісності такого просування.
Проблеми з «галюцинаціями» ШІ стають дедалі актуальнішими у сфері професійних послуг. Наприклад, юридична фірма Sullivan & Cromwell визнала, що подані нею документи у справі про банкрутство містили численні неточності, породжені ШІ.
Контекст: Чому це важливо
Випадок зі звітом KPMG підкреслює фундаментальну проблему використання штучного інтелекту у створенні контенту, особливо в аналітичній та інформаційній сфері. Юрій Ніколов, автор початкового допису, забороняє використання ШІ для пошуку інформації у проєкті «Наші гроші» через ризик генерації вигаданих даних. Він пояснює, що коли ШІ не може знайти відповідь, він схильний вигадувати її, що призводить до помилок. Перевірка посилань та фактів, згенерованих ШІ, вимагає фактично такої ж роботи, як і пошук інформації з нуля. Наслідком некомпетентності ШІ та його «галюцинацій» є неправильний опис ситуації, що веде до неправильних рішень і, як наслідок, до провалу.
Читайте також: Штучний інтелект як персональний помічник: Ярослав Жиляк про агентів ШІ для автоматизації бізнес-процесів