هوش مصنوعی Civitai که ساخت عکس‌های غیراخلاقی را ممکن می‌کرد، از دسترس خارج شد
404Media می‌نویسد هوش مصنوعی Civitai می‌تواند برای ساخت تصاویری استفاده شود که «ممکن است به‌عنوان سوءاستفاده جنسی کودکان دسته‌بندی شوند.»
OctoML می‌گوید چند روز پس از تحقیقات انجام‌شده توسط 404Media، متوجه شد که پلتفرم Civitai می‌تواند تصاویری بسازد که شامل محتوای آسیب‌رسان به کودکان است. در واکنش به این اتفاق، OctoML به روابط تجاری خود با Civitai پایان داد.
Civitai قبلاً برای تولید تصویر به OctoAI متکی بود. در حالی که OctoML در ابتدا اعلام کرد که به همکاری با Civitai ادامه خواهد داد و اقدامات جدیدی را برای جلوگیری از ایجاد تصاویر مضر معرفی کرد، 404 Media روز شنبه گزارش داد که این شرکت اکنون تصمیم گرفته است که به‌طور کلی روابط خود را با این پلتفرم قطع کند.
مطابق تحقیقات انجام‌شده، OctoML از ایجاد مطالب هرزه‌نگاری توسط برخی از کاربران Civitai آگاه بوده است که تصاویر بدون مجوز از افراد واقعی و تصاویر مستهجن از کودکان را شامل می‌شود.
در گزارش بعدی، نشریه‌ی 404Media اشاره کرد که OctoML قبل از اعلام تصمیم خود برای خروج، فیلتری را برای جلوگیری از تولید تمام محتوای نامناسب در Civitai ایجاد کرد.
Civitai همچنین در پاسخ به تحقیقات، روش‌های نظارتی جدیدی را اضافه کرد، از جمله یک تابع اجباری به نام Civitai Safe Helper (Minor) که مدل را از تولید تصاویر کودکان در صورت «تشخیص تم بالغانه یا کلمه کلیدی خاص» منع می‌کند.
در ماه نوامبر (آبان و آذر)، 404Media متوجه شد که از Civitai برای ساختن دیپ‌فیک‌های غیرقانونی از افراد مشهور، اینفلوئنسرها و حتی یک شهروند خصوصی استفاده می‌شود که در بسیاری از موارد ماهیت جنسی داشتند. افراد مورد مطالعه عمدتاً زنان بودند.
OctoML که از سرورهای خدمات وب آمازون استفاده می‌کند، دیگر نمی‌خواهد درگیر این ماجرا باشد. OctoML در بیانیه‌ای گفت: «ما تصمیم گرفتیم روابط تجاری خود را با Civitai قطع کنیم. این تصمیم با تعهد ما برای اطمینان از استفاده‌ی ایمن و مسئولانه از هوش مصنوعی مطابقت دارد.»