Як розпізнати тексти, написані штучним інтелектом: дослідження The Economist
Видання The Economist провело власне дослідження, щоб визначити, як відрізнити тексти, написані штучним інтелектом (ШІ), від тих, що створила людина. Результати аналізу вказують на те, що проза, згенерована великими мовними моделями (LLM), має певні стилістичні особливості, хоча з кожним оновленням ці тексти стають дедалі схожішими на людські. Зокрема, експерти рекомендують шукати мляву, пишномовну прозу, насичену латинськими словами, як ключові індикатори, принаймні на даний момент.
Тексти, створені ШІ, вже активно поширюються в інтернеті, з'являються у поштових скриньках та на професійних онлайн-платформах. За деякими оцінками, ШІ генерує понад третину всіх нових веб-сайтів. Існують припущення, що тексти, створені ШІ, навіть вигравали літературні премії, хоча ці заяви заперечуються.
Стилістичні особливості прози ШІ
Великі мовні моделі мають певні стилістичні уподобання. Серед них — надмірне використання довгих тире та слів на кшталт «максимізувати», «глибоко занурюватися» або «заглиблюватися». Вони також схильні використовувати «багату мозаїку» для опису складних явищ. Проте, виявити текст, написаний ШІ, лише за окремими словами чи фразами, може бути складно, оскільки ці моделі постійно вчаться та вдосконалюються, ідентифікуючи певні риси, подібні до стилю окремих авторів.
Існують різні методи виявлення текстів, згенерованих ШІ. Один із них — використання спеціальних алгоритмів, які, за даними компанії Pangram, досягають точності до 99,98%. Однак такі детектори часто працюють як «чорні ящики», не пояснюючи своїх висновків та іноді допускаючи помилкові результати. Дослідники також намагалися аналізувати підозрілі слова чи порівнювати статті до і після появи LLM, але ці методи мають свої обмеження.
Методологія дослідження The Economist
Видання The Economist провело порівняльний аналіз текстів, написаних як людьми, так і різними великими мовними моделями, зокрема ChatGPT, Claude, Gemini та Grok. Для цього ШІ-моделям було запропоновано написати версії статей без доступу до інтернету, використовуючи надані резюме. Дослідження включало аналіз 55 940 речень та 1,2 мільйона слів, а також порівняння з текстами CNN, New York Times, Washington Post та уривками з популярних романів.
Порівняльний аналіз виявив, що проза ШІ відрізняється за вибором слів, пунктуацією, структурою речень та абзаців. Однак, ці відмінності не завжди відповідають попереднім очікуванням, частково через постійні оновлення програмного забезпечення. Незважаючи на технічні можливості, прозі ШІ бракує ясності, елегантності та часто є шаблонною.
Характерні риси сучасної прози ШІ
Дослідження показало зміни у словниковому запасі, який використовує ШІ. Замість слів на кшталт «заглиблюватися» чи «гобелен», моделі частіше використовують багатоскладові слова, такі як «значний», «дедалі більше», «наслідки». Також спостерігається збільшення вживання рідкісних слів («взаємозалежність», «реіндустріалізація») та наукової термінології («параметр», «методологія»). Особливо це стосується моделей Gemini та Claude. Частина цієї лексики може бути охарактеризована як «претензійна» — складні слова та жаргон, що використовуються для створення враження інтелектуальності.
Щодо пунктуації, раніше вважалося, що LLM перенасичують тексти довгими тире. Однак, після останніх оновлень, лише модель Claude використовує їх частіше за людей, тоді як ChatGPT використовує їх значно рідше. Кращим показником може бути відсутність пунктуації: LLM використовують менше ком та крапок з комою, а також майже не використовують дужки. Це пов'язано з тим, що вони пишуть довші речення, частіше вживаючи сполучник «і», і рідше цитують експертів.
Речення, згенеровані ШІ, зазвичай довгі, без частих коротких та виразних висловлювань. Для оживлення тексту моделі часто вдаються до риторичних прийомів, таких як «не X, а Y», «не тільки, але й» та «правило трьох». Моделі ChatGPT та Claude використовують такі конструкції частіше, ніж інші LLM та люди. Видання The Economist підкреслює, що для тих, хто прагне писати як людина, варто уникати цих особливостей у своїй прозі.
Майбутнє розпізнавання текстів ШІ
З кожним оновленням тексти, створені ШІ, стають дедалі більш подібними до людської прози. Це може створювати труднощі для майбутніх систем виявлення, таких як Pangram. Великі мовні моделі вчаться на людських текстах та отримують зворотний зв'язок, переймаючи ті стилістичні елементи, які люди вважають вражаючими, і відкидаючи ті, що їм не подобаються. Приклад ChatGPT демонструє швидку адаптацію: якщо раніше він активно використовував довгі тире, то зараз його відповіді стали більш стриманими та поміркованими, що свідчить про здатність швидко змінювати стиль.
Люксові автівки за копійки: українські посадовці знову намагаються ввести в оману державу та громадян
Як Уолл-стріт навчили грати за правилами: Історія створення SEC
Боротьба з дронами: Як тренування адаптуються до реалій війни
Су-35: Непереможний міф чи реальна загроза у війні проти України?
Українські дрони атакують порт Ялти, знищують російську логістику та техніку: огляд подій
Відьмацький фронт: Тарологи та віщуни пророкують перемогу, поки ЗСУ ведуть реальну війну
Таємниця вибуху в Москві: Загибель генералів та приховування Кремля
Українців за кордоном та ФОПів чекають нові податкові зобов'язання: законопроект Мінфіну викликає обурення
