آموزش تشخیص محتوای تولیدشده با هوش مصنوعی

همانطور که مدل‌های زبانی مانند GPT به پیشرفت خود ادامه می‌دهند، تمایز بین متن تولید‌شده توسط هوش مصنوعی و متن نوشته‌شده توسط انسان دشوارتر می‌شود. در برخی موارد، مانند موارد حساس آکادمیک، لازم است اطمینان حاصل شود که متن توسط هوش مصنوعی نوشته نشده است. اینجاست که آشکارسازهای متنی هوش مصنوعی وارد عمل می‌شوند. اگرچه هیچ یک از ابزارهای موجود در حال حاضر با اطمینان کامل قدرت تشخیص ندارند و البته که چنین ادعایی هم نمی‌کنند، اما تعدادی از این ابزارها می‌تواند نتایج بسیار دقیقی را ارائه بدهند.

شاید این ابزارها در آینده بتوانند مشخص کنند که آیا هوش مصنوعی توانایی تصاحب جایگاه نویسندگان را دارد یا خیر.

در این مقاله به معرفی ۸ ابزار تشخیص متنی هوش مصنوعی که می‌توانید به‌سادگی آن‌ها را امتحان کنید، پرداخته‌ایم.

GPTZero با بیش از یک میلیون کاربر و شعار «انسان‌ها لایق حقیقت هستند» یکی از معروف‌ترین ابزارهای تشخیص متنی هوش‌مصنوعی است. GPTZero ابتدا برای کمک به معلمان ساخته شد تا بتوانند تشخیص دهند که تکالیف ارسال‌شده دانش‌آموزان با استفاده از هوش مصنوعی ایجاد شده است یا خیر. برای بهره‌مندی از این ابزار تشخیص، لزوماً نباید معلم باشید.

GPTZero محتوای تولید‌شده توسط ChatGPT را به دقت تشخیص می‌دهد. متن را تجزیه و تحلیل می‌کند و می‌گوید متن توسط انسان نوشته شده است یا هوش مصنوعی. این ابزار جملات خاصی را که معتقد است توسط هوش مصنوعی تولید شده‌اند، هایلایت می‌کند. همچنین امتیاز perplexity و burstiness را ارائه می‌دهد که معیارهایی برای تصادفی بودن و تنوع در تصادفی بودن هستند. به‌طور‌کلی این امتیازها برای متن نوشته‌شده توسط انسان، مقادیر بالا و برای هوش مصنوعی، مقادیر پایینی دارند.

برای آزمایش این ابزار، ابتدا بخشی از متن کتاب «خانه سرباز» اثر ارنست همینگوی را به آن دادند. GPTZero چند جمله را به‌عنوان متن بالقوه تولید‌شده توسط هوش مصنوعی هایلایت کرد. با این حال، توانست به درستی متن تولیدشده توسط ChatGPT را به‌عنوان «کاملاً توسط هوش مصنوعی نوشته شده» شناسایی کند.

در نهایت نوبت به امتحان کردن گزیده‌ای از متن نوشته‌شده با هوش مصنوعی که با محتوای انسانی ترکیب شده بود، رسید. GPTZero به‌طرز شگفت‌انگیزی تمام جملاتی را که توسط هوش مصنوعی نوشته شده بودند به‌درستی شناسایی کرد؛ اما چند مورد نوشته شده توسط انسان را نیز به اشتباه تشخیص داد.

به‌طور کلی، عملکرد GPTZero در تشخیص متن هوش مصنوعی خوب است، اما گاهی نتایج را به غلط مثبت تشخیص می‌دهد. این ابزار رایگان است و یک API نیز دارد.

OpenAI یک AI Text Classifier برای مقابله با مدل GPT خود ایجاد کرده است. اگرچه این ابزار دقت کاملی ندارد، اما همچنان می‌تواند متن هوش مصنوعی را شناسایی کند.

برخلاف سایر ابزارها، OpenAI's AI Text Classifier به متن امتیاز نمی‌دهد یا جملات تولید‌شده توسط هوش مصنوعی را هایلایت نمی‌کند. در عوض، احتمال تولید محتوا توسط هوش مصنوعی را با استفاده از ۵ دسته از «بسیار بعید» (very unlikely) تا «محتمل» (likely) نشان می‌دهد.

Classifier OpenAI توانست داستان همینگوی را تشخیص دهد و آن را به عنوان «بعید است که توسط هوش مصنوعی نوشته شده باشد» (unlikely to be written by AI) تشخیص داد.

این ابزار همچنین گزیده‌ای از چت ChatGPT را به درستی شناسایی کرد و آن را به عنوان «احتمالاً تولید شده توسط هوش مصنوعی» (ikely to be AI-generated) مشخص کرد. در نهایت، ترکیبی از متن انسان و هوش مصنوعی را به عنوان «نامشخص» (unclear) که مناسب‌ترین گزینه در بین ۵ برچسبی است که استفاده می‌کند، علامت‌گذاری کرد.

Content at Scale یک تولید‌کننده متن با هوش مصنوعی است که بر تولید محتوای طولانی با چند کلیک تمرکز دارد. درست مانند Content at Scale ،ChatGPT هم دارای یک ابزار تشخیص هوش مصنوعی جالب است.

محتوای موجود در Scale AI Detector امتیازهایی را برای احتمال، الگو و قابلیت پیش‌بینی به همراه یک امتیاز کلی ارائه می‌دهد. این‌ امتیازها به‌صورت درصد بیان می‌شوند. هر چه این درصد بیشتر باشد، احتمال اینکه متن توسط انسان نوشته شده باشد بیشتر است. این ابزار همچنین جملاتی را که معتقد است با هوش مصنوعی نوشته شده‌اند‌، هایلایت می‌کند.

در طی آزمایش‌ها، امتیاز ۹۶٪ به محتوای نوشته‌شده توسط انسان، ۲۲٪ به متن ChatGPT و ۶۱٪ به ترکیب هر دو داده شد. در مورد گزینه آخر، این ابزار تقریباً تمام جملات نوشته‌شده با هوش مصنوعی را شناسایی کرد؛ اما مانند GPTZero، تعدادی از جملات نوشته شده توسط انسان را به اشتباه به‌عنوان تولید‌شده توسط هوش مصنوعی برچسب‌گذاری کرد.

این ابزار نیز رایگان است و نتایج کاملاً مشابه GPTZero را ارائه می‌دهد.

Originality.AI یک تشخیص‌دهنده متن AI محبوب است که ادعا می‌‌کند متن تولید‌شده توسط GPT 3 ،GPT 3.5 و ChatGPT را به‌دقت تشخیص می‌دهد. این ابزار نیز درصد احتمال تولید متن توسط انسان یا هوش مصنوعی را نشان می‌‌دهد.

Originality AI متن نوشته‌شده توسط انسان را با ۷۱٪ به‌عنوان متنی که به احتمال زیاد توسط یک انسان نوشته شده است، تشخیص داد که ایده‌آل نیست. اما Originality AI پاسخ ChatGPT را به دقت تشخیص داد و آن را به عنوان ۱۰۰% هوش‌ مصنوعی برچسب‌گذاری کرد. هنگامی که از او خواسته شد ترکیبی از متن انسان و هوش مصنوعی را تجزیه و تحلیل کند، Originality آن را به عنوان ۹۴٪ انسان علامت گذاری کرد.

در حالی‌که Originality AI می‌توانست محتوای GPT را تشخیص دهد، ترکیب کردن آن با متن انسانی این ابزار را متحیر کرد. برخلاف اکثر ابزارهای دیگر، Originality AI یک تشخیص‌دهنده متنی پولی است؛ اما اگر افزونه کروم آن را دانلود کنید، می‌توانید چند مورد متن را به‌طور رایگان آزمایش کنید.

Writefull با هدف ساده کردن نویسندگی آکادمیک به‌وجود آمده است؛ به همین منظور، تعدادی ابزار هوش مصنوعی از جمله تشخیص‌دهنده GPT دارد.

Writefull GPT Detector می‌تواند محتوای نوشته‌‌شده توسط GPT-3 و همچنین ChatGPT را شناسایی کند. پس از تجزیه و تحلیل، امتیازی را ارائه می‌دهد که نشان‌دهنده احتمال نوشته شدن محتوا توسط هوش مصنوعی است.

در زمان آزمایش‌، Writefull متن نوشته‌شده توسط انسان را به‌درستی تشخیص داد و به آن نمره ۱٪ داد (یعنی ۱٪ احتمال دارد که متن توسط هوش مصنوعی تولید شده باشد). به همین ترتیب، به متن ChatGPT امتیاز ۱۰۰٪ داد. با این حال، زمانی که محتوای تولید‌شده توسط هوش مصنوعی را با متن انسانی ترکیب کردیم، Writfull آن را به‌عنوان «۱% احتمال دارد ساخته GPT-3 یا ChatGPT باشد» علامت‌گذاری کرد.

بنابراین بااین‌که این ابزار هوش مصنوعی و متون انسانی را به‌صورت جداگانه، درست تشخیص می‌داد، وقتی این دو با هم ترکیب شدند، ابزار در تشخیص اشتباه کرد.

Writefull GPT Detector یکپارچه‌سازی با Word و Overleaf را ارائه می‌دهد و همچنین دارای یک API برای GPT Detector است. استفاده از این ابزار رایگان است و برای اطمینان از حفظ حریم خصوصی داده‌ها را رمزگذاری می‌کند.

Hive Moderation نه تنها ابزاری برای تشخیص متن هوش مصنوعی دارد، بلکه برای شناسایی تصاویر تولید‌شده توسط هوش مصنوعی نیز قابلیت تشخیص را ارائه می‌دهد. تشخیص‌دهنده تصویر Hive می‌تواند به شما کمک کند تصاویر تولید‌شده توسط ابزارهای هوش مصنوعی مانند DALL-E 2 یا Midjourney را شناسایی کنید.

ابزار تشخیص متن به‌طور دقیق متن نوشته‌شده توسط انسان را به عنوان «احتمالاً حاوی ۰٪ متن هوش مصنوعی» تجزیه و تحلیل کرد. همچنین توانست متن تولید‌شده توسط هوش مصنوعی را به درستی شناسایی شد. اما مانند بسیاری دیگر، وقتی نوبت به متن ترکیبی انسان و هوش مصنوعی رسید، از تشخیص درمانده شد.

در سایت Hive Moderation می‌توانید از ابزار دمو به صورت رایگان و بدون ثبت‌نام استفاده کنید؛ اما برای دسترسی کامل باید با آن‌ها تماس بگیرید.

Paraphrasingtool.ai یک تشخیصگر محتوای هوش مصنوعی با دو گزینه دارد: Detect by Jarvis و Detect by Veronica. جارویس جملات بالقوه تولید‌شده توسط هوش مصنوعی را هایلایت می‌کند و ورونیکا درصد احتمال را تعیین می‌کند.

در اولین آزمایش، در‌حالی‌که Detect by Veronica به‌درستی نشان داد که محتوا ۱۰۰٪ نوشته شده توسط انسان است، Detect by Jarvis به اشتباه چند جمله را نوشته‌ی هوش مصنوعی تشخیص داد. با‌وجوداین متن نوشته شده توسط ChatGPT توسط هر دو به‌درستی شناسایی شد.

زمانی که از آن‌ها خواسته شد متن ترکیبی را تجزیه و تحلیل کنند، Detect by Jarvis عملکرد بهتری داشت و بیشتر جملات هوش مصنوعی را هایلایت کرد؛ اما ورونیکا آن را به عنوان محتوای ۱۰۰% انسانی نشان داد.

می‌توان گفت ابزار رایگان تشخیص متنی هوش مصنوعیِ Paraphrasingtool.ai، در مجموع نتایج مناسبی ارائه کرد.

Copyleaks، یکی از محبوب‌ترین ابزارهای تشخیص سرقت ادبی، ابزار دیگری برای تشخیص ChatGPT، GPT-3 و سایر مدل‌های زبانی مشابه دارد. چیزی که ابزار تشخیص متنی Copyleaks را متمایز می‌کند این است که می‌تواند محتوای نوشته‌شده به زبان‌های دیگر مانند اسپانیایی و فرانسوی را نیز تشخیص دهد.

این ابزار توانست داستان کوتاه ارنست را که توسط انسان نوشته شده است با احتمال حدود ۸۵٪ به‌درستی تشخیص دهد. به‌همین‌ترتیب متن هوش مصنوعی را با اطمینان ۹۹.۹۹٪ نوشته‌شده توسط هوش مصنوعی شناسایی کرد. احتمالاً دیگر تعجب نمی‌کنید که وقتی زمان تشخیص متن ترکیبی هوش مصنوعی و محتوای انسانی رسید، ابزار تشخیص متنی Copyleaks با احتمال ۹۶٪ آن را به عنوان متن انسانی مشخص کرد.

AI Content Detector که توسط Copyleaks ساخته شده است یک افزونه کروم نیز ارائه می‌کند. همچنین یکپارچه‌سازی API و LMS را ارائه می‌دهد.

به لطف ابزارهای ذکر شده در بالا، می‌توانید متون نوشته‌شده با هوش مصنوعی را به‌راحتی تشخیص دهید. اما همچنان این ابزارها تا رسیدن به دقت کامل فاصله دارند. فقط با تغییر چند جمله، می‌توان این تشخیص‌دهنده‌های متنی AI را فریب داد؛ اما نگرانی جدی‌تر در مورد این ابزارها، مواردی است که به اشتباه مثبت تشخیص داده می‌شوند.