Зашкалює AI Score? Як перевірити та виправити англомовний текст, не потрапивши в «чорний список» детекторів

Написали англомовну статтю, а AI-детектор вперто вважає її роботою штучного інтелекту (ШІ)? Дратує, правда? І ви не одні. Навіть цілком оригінальний, написаний людиною текст може отримати високий AI Score — показник «штучності» контенту.

Чому так відбувається? Бо детектори ШІ далеко не бездоганні. Вони часто бачать «роботизованість» там, де її немає. Ба більше, дослідження показують, що 53% людей теж не можуть точно відрізнити текст, написаний реальним автором, від створеного нейромережею​. Парадоксально, але і алгоритми, і самі читачі можуть помилитися.

Як не дати AI Score «завалити» вашу роботу? Чи можна знизити його без втрати якості? У цій статті розбираємось, як перевіряти англомовний текст на ознаки «роботизованості», виправляти слабкі місця й робити його максимально «людяним». Ми провели власне дослідження коректності найпопулярніших AI-детекторів на художніх та комерційних текстах. Тож, не закривайте вкладку — буде цікаво.

«Хто шукає, той завжди знайде».

Хочете побачити брехню, там де її немає? Зраду там, де нею навіть і пахне? Підступ, де про нього навіть і не думають? О, повірте! Варто лише захотіти. 

А що ж щодо ШІ?

Однозначно визначити, чи написаний текст людиною, чи згенерований нейромережею, з першого погляду нелегко. Здається, досвідчений копірайтер мав би «на око» відрізнити, де текст людський, а де — машинний. Навіть фахівці з багаторічним досвідом часто не можуть сказати, хто створив той чи інший матеріал. Як згадувалось у вступі, без спеціальних сервісів люди вгадують авторство лише приблизно у половині випадків — тобто не краще, ніж випадково​. В одному експерименті учасники правильно розпізнавали близько 58% текстів, написаних старішою моделлю GPT-2, але точність впала до 50% для більш сучасного GPT-3​. Нагадаємо, що зараз вже доступна версія удосконаленої системи GPT-4o.

Спробуймо пройти невеличкий тест. Нижче два коротких фрагменти: один написаний людиною, інший згенерований нейромережею. Чи відчуєте ви різницю? 

Не так вже й просто, чи не так? Насправді Текст A згенерований ChatGPT, а Текст B взятий зі статті Mr. Gregory Taylor, засновника Taylored 4 Life та Vibrant Health and Wellness Foundation. Обидва уривки читаються природно та інформативно, без явних роботизованих зворотів. Ви не самотні, якщо не помітили різниці — навіть експерти помиляються в таких випадках. 

Як нейромережі маскуються під людей? Річ у тому, як саме сучасні мовні моделі навчалися писати. Їх тренують на колосальних обсягах людських текстів. У процесі навчання модель освоює ритм, структуру та лексику живої мови. По суті, нейромережа вчиться прогнозувати наступне слово в реченні, спираючись на попередні слова, і робить це мільярди разів на різних прикладах. В результаті ШІ запам’ятовує типові мовні шаблони: як люди будують речення, якими словами пов’язують думки, який стиль притаманний різним жанрам. Отримавши такі статистичні знання, нейромережа може генерувати новий текст. Задані юзером промти (наприклад, «напиши розмовною мовою», чи «додай жартівливий тон») дозволяють ще точніше імітувати необхідний tone of voice та лексику.

Коли ми пробуємо «на око» вичислити ШІ, ми фактично шукаємо голку в стозі сіна. Люди не мають надійних індикаторів і покладаються більше на інтуїцію або стереотипи щодо «роботоподібної» мови. Однак інтуїція часто підводить. Наш мозок може бачити патерни там, де їх нема, і впевнено помилятися. До того ж ми схильні перебільшувати свою здатність розпізнавати ШІ контент.

Отже, якщо людина не може гарантовано відрізнити текст машини, виникає логічне запитання: як же тоді перевіряти контент? Тут на допомогу приходять AI-детектори — спеціальні програми, що аналізують текст і вказують, з якою ймовірністю він згенерований ШІ. По суті, це теж нейромережі, натреновані вже на відмінностях між людським і машинним письмом. 

Перш за все, нас зацікавило, як працюють AI-детектори. Здебільшого, система шукає статистичні патерни, невидимі неозброєним оком. Наприклад, одна з типових перевірок — рівень «передбачуваності» тексту (метод Перплексії). Вважається, що нейромережа часто підбирає слова більш передбачувано (на основі ймовірностей з training data), тоді як жива людина часом формулює думки менш шаблонно.

Якщо алгоритм бачить, що фрази у тексті занадто типові, без відхилень, він знизить «людяність» тексту. Додатково аналізують і інші метрики — наприклад, рівномірність розподілу довжини речень, багатство словникового запасу, наявність рідковживаних або, навпаки, надто характерних слів тощо.

Чи можна довіряти AI-детекторам?

Тут все теж неоднозначно. З одного боку, детектори часто точніші за неозброєне око і постійно вдосконалюються. З іншого — їхні результати можуть бути спірними. Ми поставили на меті виявити, наскільки коректні результати дають популярні AI-детектори. В нашому мінідослідженні взяли участь 20 фрагментів текстів англійською мовою довжиною 200-250 слів: 

• 5 художніх текстів різних епох та жанрів, від Біблії до сучасного роману.
• 5 текстів наукового стилю: ми вибрали фрагменти досліджень відомих науковців та матеріали опубліковані на офіційному сайті NASA та The Geographical Journal.
• 5 текстів комерційного стилю — фрагменти із реклам та статей відомих корпорацій.
• 5 текстів згенерованих чатом GPT.

Кожен фрагмент пройшов перевірку п’ятьма вибраними сервісами: QuillBot, ZeroGpt, Surfer, Copyleaks, Originality.AI. Тож розповідаємо, як впоралися детектори зі своєю задачею та чи варто їм вірити.

ZeroGPT (точність 65,8%)

Один із найбільш доступних та популярних AI-детекторів, який може безкоштовно аналізувати тексти різного обсягу — за одну перевірку можна прогнати текст довжиною до 15 тисяч символів з пробілами. Сервіс використовує алгоритм розпізнавання шаблонів мовлення, аналізуючи структуру речень, частотність слів та рівень передбачуваності тексту.

Під час тестування ZeroGPT помилково визначив уривок з Біблії (Євангелія від Луки) як 84% AI. Імовірно, незвичний формат нумерації віршів та архаїчна мова стали причиною хибного позначення, хоча текст є класичним людським джерелом. Загалом, сервіс продемонстрував пристойну точність.

Переваги:

• Безкоштовний.
• Простий інтерфейс.
• Без необхідності реєстрації.
• Швидке завантаження результатів.

QuillBot (точність 81,6%)

Відомий перш за все як сервіс для перефразування, в липні 2024 року QuillBot запустив вбудований AI-детектор тексту​. Це повністю безкоштовна утиліта, яка дає можливість перевіряти до 1200 слів за раз. Розробники заявляють, що інструмент має «величезну базу відомих стилів письма AI-моделей», тобто в пам’яті системи закладені характерні мовні почерки ChatGPT (GPT-4), Claude, Google Gemini тощо​.

QuillBot класифікує результати за чотирма категоріями:

• AI-generated (повністю AI-згенерований),
• AI-generated & AI-refined (створений і відредагований AI),
• Human-written & AI-refined (написаний людиною, але частково відредагований AI, наприклад через парафразер),
• Human-written (повністю людський)​.

В ході дослідження QuillBot також показав високий рівень коректних перевірок, особливо добре ідентифікуючи людські тексти. Однак деякі AI-тексти він помітив лише частково, але все ж жоден не був повністю пропущений.

Переваги:

• Безкоштовний.
• Інтуїтивно зрозумілий інтерфейс.
• Добре працює з текстами різних стилів, включаючи розмовний.

Surfer (точність 52,6%)

Це AI-детектор, інтегрований у платформу Surfer SEO. Під капотом він використовує комбінацію алгоритмів машинного навчання та статистичних моделей для аналізу тексту​. Surfer прямо зазначає, що його детектор аналізує «лінгвістичні та структурні особливості» тексту або порівнює контент із наявними еталонними датасетами людського vs. AI-вмісту​. Іншими словами, реалізовано дві методики:

• текстовий аналіз по ознаках і порівняння зі зразками;
• ймовірнісний скоринг: на виході кожному тексту присвоюється бал (або відсоток), який вказує, наскільки ймовірно цей текст згенеровано AI​.

Крім того, проводиться розрізнення ознак тексту: вимірюється загальна кількість слів, довжина та складність речень, зв’язність тексту (чи всі речення добре між собою узгоджені)​.

Сервіс Surfer припустився значної помилки для уривка з роману «Код да Вінчі» Дена Брауна — він оцінив його як 92% AI. Можливо, короткі речення та специфічний стиль цього автора сплутали модель.

Також він найчастіше не «помічав» AI там, де інші його впевнено виявляли. Зокрема, кілька текстів, згенерованих AI, Surfer оцінив дуже низько (0–1% AI).

Переваги:

• Має безкоштовну версію.
• Може використовуватися як частина SEO-оптимізації контенту.
• Простий у використанні.
• Аналізує не тільки AI Score, але й структуру тексту.

Copyleaks (точність 89,5%)

Copyleaks AI Content Detector – один з перших корпоративних детекторів, який підходить до проблеми комплексно. Розробники називають свою стратегію «боротьба вогню з вогнем», тобто застосування штучного інтелекту для виявлення тексту від штучного інтелекту​.

Можливо, саме тому він виявився найточнішим у вибірці. Детектор впевнено визначив усі AI-тексти (в трьох випадках зі 5 — з повною впевненістю 100%, у решти були високі часткові показники) і майже не давав хибних спрацювань на людських текстах (лише один фрагмент наукового тексту). 

Переваги:

• Має безкоштовну версію.
• Підтримує 30+ мов.
• Простий у використанні.
• Дав найточніші результати.

Originality.AI (точність 76%)

Originality.AI стверджує, що його детектор має дуже високу точність — близько 94–99%​. Однак незалежні тести показують значно нижчу реальну ефективність. За даними перевірки від Scribbr, загальна точність інструмента становить приблизно 76%, причому сервіс схильний помилково позначати людський текст як згенерований ШІ (високий рівень хибнопозитивних спрацьовувань)​.

Сервіс працює на основі алгоритмів машинного навчання та технологій NLP (обробки природної мови), які шукають мовні особливості, притаманні AI-згенерованим текстам. Моделі спеціально тренуються розпізнавати характерні шаблони і структури мовлення, властиві текстам від сучасних мовних моделей.

Originality.AI платний, і це одна з найбільших його проблем. При чому, вартість підписки немаленька: 

• $14.95 за 2 000 кредитів / місяць;
• $30 за 3 000 кредитів / місяць;
•  $50 за 5 000 кредитів / місяць;

1 кредит дозволяє просканувати на АІ 100 слів.

AI-контент — ворог SEO чи просто інструмент, який треба правильно використовувати? Дискусії на цю тему не вщухають. Історично, Google негативно ставився до «знеособленого» контенту — тобто матеріалів, створених без явної участі людини. У керівництві для асесорів якості зазначено, що сторінки зі  скопійованим чи згенерованим контентом отримують найнижчу оцінку якості​. 

Google роками бореться зі спамним автоконтентом. Зараз його алгоритми (наприклад, система SpamBrain) активно відстежують і «придушують» матеріали, створені для маніпуляції пошуком. Разом із цим наприкінці 2022 року Google оновив критерії оцінки якості контенту, ввівши концепцію E-E-A-T:

• Experience — досвід,
• Expertise — експертиза,
• Authoritativeness — авторитетність,
• Trustworthiness — довіра.

Проте варто зазначити, що ШІ-контент не є автоматично «отрутою» для SEO. Вже у 2023 Google заявив, що хоче винагороджувати якісний контент незалежно від способу його створення​. Тобто якщо матеріал дійсно корисний, пошуковику неважливо, чи написала його людина, чи згенерувала нейромережа. Ключове слово — «корисний». 

Сьогодні офіційна позиція «Гугл» щодо ШІ-контенту сьогодні зводиться до принципу «people-first» («перш за все для людей»). В компанії підкреслюють, що автоматизація не суперечить правилам, якщо використовується відповідально. Google радить авторам зосередитися на оригінальному, якісному контенті, що демонструє експертизу і досвід — і байдуже, з допомогою ШІ він створений чи ні​.

У роботі над текстами, особливо коли йдеться про використання штучного інтелекту, виникає новий виклик — проблема довіри між клієнтом та виконавцем. Клієнт очікує, що отримає унікальний контент, написаний «живою» мовою, з урахуванням його вимог та стилю. Виконавець прагне ці очікування виправдати. Але якщо з’являється підозра, що текст згенеровано AI або звучить надто шаблонно, довіра може похитнутися. Ніхто не хоче відчувати себе обманутим.

Щоб запобігти конфліктам, дуже важливо заздалегідь домовитися про всі критерії якості тексту. Ще на стадії складання технічного завдання (ТЗ) клієнт і виконавець повинні чітко обговорити вимоги не лише до унікальності та обсягу, а й до «людяності» контенту. 

Окремий аспект домовленостей, на нашу думку, — вибір інструменту для перевірки AI Score. Щоб уникнути суперечок на кшталт «у мене показує 10%, а у вас 30%», варто заздалегідь узгодити, який сервіс слугуватиме для перевірки.

Більшість фахівців сходяться на думці, що незначний показник AI Score є припустимим. Зазвичай результат до 20% розцінюють як умовно прийнятний. Втім, чим ближче до 0%, тим краще.

З власного досвіду зазначимо, що іноді після перевірки тексту редактором, особливо англомовних статей, його AI Score... підвищується. Пояснення криється в тому, що виправляючи кожну дрібну помилку, шліфуючи речення і роблячи виклад максимально логічним, копірайтер (чи редактор) надає тексту надмірної правильності.

AI-детектори аналізують текст за багатьма параметрами. Певні риси контенту слугують для них «червоними прапорцями». Ми зібрали підбірку типових тригерів, які здатні викликати підозру:

• Надто правильна структура речень і абзаців.
• Шаблонні слова та кліше (“In today’s world," “It is no secret that…," "Undoubtedly, it is important to…).
• Нейтральний тон без емоцій (“Consuming vegetables is beneficial for the body as they contain essential vitamins, minerals, and fiber.”).
• Брак оригінальних стилістичних прийомів.
• Надмірне узагальнення (“Healthy eating is essential for maintaining energy and overall well-being.”).

Якщо контент має багато з перелічених ознак, детектор із більшою ймовірністю вкаже на високий AI Score. 

Ключ до вирішення більшості проблем довіри — щира, відкрита комунікація. Обидві сторони мають пам’ятати, що вони знаходяться в одній команді та прагнуть спільної мети: якісного і цікавого контенту.

Отже, ви перевірили текст, і AI-детектор показав, що деякі фрагменти можуть бути згенеровані штучним інтелектом. Що тепер? Видаляти все підряд? Замінювати випадкові слова на синоніми? Ні. Головне — не втратити якість тексту, зберегти його природність і авторську подачу.

Нижче наведено ефективні методи зниження AI Score, які допоможуть зробити текст більш «людським», але без втрати змісту.

1. Застосовуйте рерайтинг.
2. Змінюйте структуру тексту.Цей метод дещо схожий на рерайтинг, однак його суть полягає не в перефразуванні тексту, а саме в зміні синтаксичної структури. Порада: додавайте риторичні питання, нетривіальні переходи, змінюйте логіку викладу.
3. Уникайте шаблонності.
4. Використовуйте синоніми.
5. Варіюйте довжину і структуру речень.
6. Мінімізуйте складні звороти.
7. Змінюйте стиль письма. 
8. Ставте запитання. 
9. Використовуйте активний стан (Active Voice).

І найважливіше правило: додайте «себе». Особистий досвід, особливості авторського письма, цінність, яку може дати лише людина. І тоді з великою ймовірністю будь-яка перевірка АІ-детектором вам буде не страшна.

Текст, який здається штучним, можна зробити більш «людським»… знову ж таки, за допомогою штучного інтелекту. AI-детектори сьогодні пропонують функцію «олюднення» (humanizing AI text), яка обіцяє знизити AI Score.

Насправді це виглядає як замкнене коло: спочатку алгоритми виявляють «машинні» фрагменти, а потім інші алгоритми допомагають зробити їх більш природними. Чи дійсно це працює?

На перший погляд, так. Surfer AI Content Humanizer пропонує змінити текст таким чином, щоб він виглядав більш «людяно». Наприклад:

Сервіс варіює лексику, змінює порядок слів, додає незначні стилістичні корективи. Попри це, текст все одно рясніє довгими реченнями, складними синтаксичними конструкціями, дієприслівниковими зворотами, шаблонними формулюваннями тощо. До того ж подібні сервіси не завжди розуміють контекст і можуть випадково змінити сенс або стиль тексту. На додачу, різні AI детектори працюють за різними алгоритмами, тож те, що один сервіс «олюднив», інший може знову визначити як ШІ-контент. 

Перевірка тексту на AI Score стала частиною реальності для копірайтерів, редакторів і всіх, хто працює з контентом. Детектори щодня оцінюють тисячі текстів, шукаючи в них «машинний слід». Але, як показує практика, жоден сервіс не дає ідеального результату.

Що робити, якщо AI-детектор вказує, що ваш текст — «робот»? Не панікувати! Знизити AI Score можна без шкоди для якості:

• Додавайте особисті думки, досвід, унікальні деталі — це те, чого бракує штучному інтелекту.
• Грайтеся зі стилем: змінюйте довжину речень, додавайте риторику, трохи неформальності.
• Уникайте шаблонних фраз і передбачуваних конструкцій — саме вони видають AI.

В ході нашого дослідження було протестовано 20 текстових фрагментів (15 написаних людиною і 5 згенерованих AI). Нижче наведено підсумкову точність кожного сервісу:

Основний патерн помилок, спільний для кількох сервісів — формальний, науковий стиль тексту часто неправильно інтерпретується як такий, що згенерований штучним інтелектом. Це свідчить про обмеження сучасних AI-детекторів. Вони орієнтуються на стилістичні особливості, і нестандартний або дуже структурований людський текст може бути помилково позначений як AI. 

Так само і навпаки — добре написаний AI-текст у публіцистичному стилі іноді не розпізнається детекторами. 

Парадокс у тому, що ми використовуємо ШІ, щоб розпізнати ШІ, а потім — щоб зробити текст більш «людським». Але жоден алгоритм не замінить реального голосу автора. Тож замість того, щоб доводити детекторам свою правоту, з самого першого слова, складу, та букви робіть текст «живим» і, головне, — для людей.