Тексти, створені ШІ, вже активно поширюються в інтернеті, з'являються у поштових скриньках та на професійних онлайн-платформах. За деякими оцінками, ШІ генерує понад третину всіх нових веб-сайтів. Існують припущення, що тексти, створені ШІ, навіть вигравали літературні премії, хоча ці заяви заперечуються.
Стилістичні особливості прози ШІ
Великі мовні моделі мають певні стилістичні уподобання. Серед них — надмірне використання довгих тире та слів на кшталт «максимізувати», «глибоко занурюватися» або «заглиблюватися». Вони також схильні використовувати «багату мозаїку» для опису складних явищ. Проте, виявити текст, написаний ШІ, лише за окремими словами чи фразами, може бути складно, оскільки ці моделі постійно вчаться та вдосконалюються, ідентифікуючи певні риси, подібні до стилю окремих авторів.
Існують різні методи виявлення текстів, згенерованих ШІ. Один із них — використання спеціальних алгоритмів, які, за даними компанії Pangram, досягають точності до 99,98%. Однак такі детектори часто працюють як «чорні ящики», не пояснюючи своїх висновків та іноді допускаючи помилкові результати. Дослідники також намагалися аналізувати підозрілі слова чи порівнювати статті до і після появи LLM, але ці методи мають свої обмеження.
Методологія дослідження The Economist
Видання The Economist провело порівняльний аналіз текстів, написаних як людьми, так і різними великими мовними моделями, зокрема ChatGPT, Claude, Gemini та Grok. Для цього ШІ-моделям було запропоновано написати версії статей без доступу до інтернету, використовуючи надані резюме. Дослідження включало аналіз 55 940 речень та 1,2 мільйона слів, а також порівняння з текстами CNN, New York Times, Washington Post та уривками з популярних романів.
Порівняльний аналіз виявив, що проза ШІ відрізняється за вибором слів, пунктуацією, структурою речень та абзаців. Однак, ці відмінності не завжди відповідають попереднім очікуванням, частково через постійні оновлення програмного забезпечення. Незважаючи на технічні можливості, прозі ШІ бракує ясності, елегантності та часто є шаблонною.
Характерні риси сучасної прози ШІ
Дослідження показало зміни у словниковому запасі, який використовує ШІ. Замість слів на кшталт «заглиблюватися» чи «гобелен», моделі частіше використовують багатоскладові слова, такі як «значний», «дедалі більше», «наслідки». Також спостерігається збільшення вживання рідкісних слів («взаємозалежність», «реіндустріалізація») та наукової термінології («параметр», «методологія»). Особливо це стосується моделей Gemini та Claude. Частина цієї лексики може бути охарактеризована як «претензійна» — складні слова та жаргон, що використовуються для створення враження інтелектуальності.
Щодо пунктуації, раніше вважалося, що LLM перенасичують тексти довгими тире. Однак, після останніх оновлень, лише модель Claude використовує їх частіше за людей, тоді як ChatGPT використовує їх значно рідше. Кращим показником може бути відсутність пунктуації: LLM використовують менше ком та крапок з комою, а також майже не використовують дужки. Це пов'язано з тим, що вони пишуть довші речення, частіше вживаючи сполучник «і», і рідше цитують експертів.
Речення, згенеровані ШІ, зазвичай довгі, без частих коротких та виразних висловлювань. Для оживлення тексту моделі часто вдаються до риторичних прийомів, таких як «не X, а Y», «не тільки, але й» та «правило трьох». Моделі ChatGPT та Claude використовують такі конструкції частіше, ніж інші LLM та люди. Видання The Economist підкреслює, що для тих, хто прагне писати як людина, варто уникати цих особливостей у своїй прозі.
Майбутнє розпізнавання текстів ШІ
З кожним оновленням тексти, створені ШІ, стають дедалі більш подібними до людської прози. Це може створювати труднощі для майбутніх систем виявлення, таких як Pangram. Великі мовні моделі вчаться на людських текстах та отримують зворотний зв'язок, переймаючи ті стилістичні елементи, які люди вважають вражаючими, і відкидаючи ті, що їм не подобаються. Приклад ChatGPT демонструє швидку адаптацію: якщо раніше він активно використовував довгі тире, то зараз його відповіді стали більш стриманими та поміркованими, що свідчить про здатність швидко змінювати стиль.