Детектор ШІ від Turnitin: наскільки він точний?

Turnitin нещодавно запустив новий інструмент для виявлення мови, написаної за допомогою штучного інтелекту.

Для викладачів, які ламають руки через загрози, створені ChatGPT, Turnitin може мати саме те рішення.

Штучний інтелект , здається, захоплює світ. Межа між фактом і вигадкою продовжує стиратися, і з кожним тижнем стає все важче розпізнати, що є реальним, а що те, що придумав якийсь бот.

Цей новий ландшафт штучного інтелекту має серйозні наслідки для письменників та інших творчих людей, чия робота може бути створена більш ефективно за допомогою складних інструментів, таких як ChatGPT.

Викладачі коледжу стикаються з різними проблемами, пов’язаними з шахрайством, плагіатом. Нещодавнє дослідження назвало викладачів коледжу серед професій, які найбільше «зазнали впливу можливостей мовного моделювання ШІ».

Зверніть увагу на Turnitin, лідера в галузі виявлення «схожості» — не обов’язково плагіату — у студентських роботах. Нещодавно компанія представила свій новий детектор штучного інтелекту, який обіцяє позначати створений штучним інтелектом контент у поданих документах.

Випробуйте новий детектор ШІ Turnitin

Багато хто використовує Turnitin для всіх своїх письмових завдань, в тому ж числі і викладачі. Коли студенти подають свої роботи, Turnitin пропонує таке оцінювання:

У цьому випадку Turnitin висвітлює уривок, показуючи як скопійований текст, так і джерело.

Але зверніть увагу на синє поле праворуч із написом “AI 0%”. Це новий компонент, який говорить нам, що це призначення не містить вмісту, створеного ШІ.

Turnitin стверджує, що його інструмент на 98% точний для виявлення контенту, створеного ШІ.

Енні Чечітеллі, директор із продуктів Turnitin, запропонувала дещо інше обчислення.

«Ми б краще пропустили деякі роботи зі штучним інтелектом, ніж мали б більший відсоток помилкових позитивних результатів».

«Тож ми вважаємо, що ми знаходимо близько 85% цього. Ми пропускаємо, ймовірно, 15%, щоб скоротити помилкові спрацьовування до менше ніж 1 відсотка».

Чечітеллі пояснив, що технологія, яка використовується для виявлення вмісту штучного інтелекту, повністю відрізняється від тієї, яка використовується для виявлення плагіату. У той час як традиційна функція Turnitin шукає подібності серед існуючих текстів — випадки плагіату — нова функція шукає щось інше.

«Що ми можемо зробити, це переглянути фактичні написання студентів і [визначити], як часто вживається наступне найбільш імовірне слово, що буває нечасто, а потім порівняти це з вмістом ChatGPT, щоб показати відмінності», — сказала вона. «Ми використовуємо статистичні вимірювання, щоб назвати цей послідовний сегмент, і те, як він нанизує слова, виглядає так, ніби це походить від ChatGPT, тоді як цей має більше ідіосинкразії, він має більше різноманітності».

Ця нова технологія виявляється надзвичайно точною. Після того, як він правильно присвоїв 0% оцінки твору, який написав не штучний інтелект, ми надамо йому есе, яке створили за допомогою ChatGPT.

Він повернув оцінку, що вказує на 100% ШІ. Натиснувши на синє поле, ви побачите наступне:

Як щодо гібридної версії? Ми взяли копію ChatGPT і замінили її приблизно на 35% власної копії. Ось результат:

Це не точно, але достатньо складно, щоб розпізнати, що певну частину паперу створив ШІ, вказуючи на ті. Досить вражаюче для інструменту, який намагається йти в ногу з технологією, яка розвивається зі швидкістю світла.

Для порівняння, інший сайт, що пропонує виявлення штучного інтелекту, GPTZero , надав дивовижний аналіз. Коли я надав йому 100% вміст штучного інтелекту, він сказав: «Ваш текст, ймовірно, повністю написаний людиною», хоча він виділив розділи, які, на його думку, були створені штучним інтелектом.

І коли подали гібридну версію, вона позначила власні уривки як «швидше написані ШІ».

Чи Turnitin стримає обман студентів?

Одне велике питання полягає в тому, чи буде Turnitin відмовляти студентів від надсилання вмісту, створеного ChatGPT та подібними сайтами. Нещодавнє опитування BestColleges показало, що приблизно 1 із 5 студентів коледжу (22%) зізнався, що використовує ШІ для виконання завдань.

Подібним чином дослідження, яке Turnitin незабаром оприлюднить, зазначає, що 25% студентів кажуть, що використовують ШІ для написання завдань щодня, зазначив Чечітеллі. Навпаки, за її словами, близько 70% викладачів і адміністраторів кажуть, що вони ніколи не використовували штучний інтелект для своїх писань.

«Тож існує величезна різниця між тим, де студенти, а де викладачі й адміністратори», — сказала вона. «Ми розпочали цю подорож, не просто створюючи програмне забезпечення, а з’ясувавши, що нам потрібно зробити, щоб усунути цю прогалину».

За словами Чечітеллі, серед користувачів Turnitin близько 10% надісланих робіт містять понад 20% контенту, створеного ШІ.

Чесно кажучи, використання ChatGPT для написання статті не зовсім неетично. Він надзвичайно вправний у вигадуванні ідей і створенні логічного потоку інформації, навіть якщо частина цієї інформації має сумнівну достовірність. Подання цього результату як свого є шахрайством, але оскільки студенти замінюють все більше власних думок і слів на те, що викидає бот, сіра зона стає дедалі сірішою.

«Почуття задоволення, яке ви отримуєте від створення хорошої підказки, може дати вам відчуття власності на продукт», — пояснив Муек.

У міру розвитку нових ітерацій ChatGPT і появи подібних інструментів Turnitin продовжить модифікувати свій інструмент у відповідь. Компанія залишатиметься готовою до певної міри повідомляти громадськості про ці зміни.

«Ми хочемо бути дуже прозорими, — сказав Чечітеллі, — але ми також не хочемо давати студентам дорожню карту для обману».

Сьогодні це світ ШІ, і ми всі живемо в ньому.

Оновлення: рік потому

З моменту запуску свого детектора штучного інтелекту рік тому Turnitin переглянув понад 200 мільйонів документів за допомогою цього інструменту.

Згідно з нещодавнім релізом компанії , близько 11% цих документів вказували на принаймні 20% написів ШІ, а 3% вказували на понад 80%. На той час Turnitin проаналізував понад 65 мільйонів документів.

Якщо припустити, що інструмент надійний, ці дані свідчать про те, що поведінка студентів за останній рік не сильно змінилася.

Водночас осіннє дослідження Tyton Partners 2023 року показало, що майже половина студентів коледжу використовують генеративний ШІ щомісяця, щотижня або щодня, і що 75% студентів заявили, що продовжуватимуть використовувати його, навіть якщо їхні університети заборонять ці інструменти.