نگرانی‌ها در مورد ایمنی کودکان در میان پیشرفت‌های سریع هوش مصنوعی شامل متن و هوش مصنوعی ایجاد می‌شود.

گروهی متشکل از 34 ایالت ایالات متحده علیه متا مالک فیس بوک و اینستاگرام شکایت می کنند و این شرکت را به دستکاری نادرست خردسالانی که از این پلتفرم ها استفاده می کنند متهم می کنند ، این توسعه در بحبوحه پیشرفت‌ های سریع هوش مصنوعی (AI) که هم شامل متن و هم هوش مصنوعی مولد است انجام می‌شود ، نمایندگان قانونی ایالت‌های مختلف از جمله کالیفرنیا ، نیویورک ، اوهایو ، داکوتای جنوبی ، ویرجینیا و لوئیزیانا ادعا می‌کنند که متا از الگوریتم‌های خود برای پرورش رفتار اعتیادآور و تاثیر منفی بر سلامت روانی کودکان از طریق ویژگی‌های درون برنامه‌ای

علیرغم صحبت‌های اخیر دانشمند ارشد هوش مصنوعی در متا ، اصحاب دعوای دولتی در حال پیگیری قانونی هستند ، وکلای ایالت ها به دنبال خسارات مختلف ، استرداد و غرامت برای هر ایالت ذکر شده در سند هستند ، با ارقامی از 5000 تا 25000 دلار در هر واقعه ادعایی.

در همین حال ، بنیاد دیده بان اینترنتی (IWF) مستقر در بریتانیا نگرانی هایی را در مورد گسترش نگران کننده مواد آزار جنسی کودکان (CSAM) ایجاد شده توسط هوش مصنوعی مطرح کرده است ، در گزارش اخیر IWF کشف بیش از 20254 تصویر CSAM تولید شده توسط هوش مصنوعی را در یک انجمن وب تاریک تنها در عرض یک ماه فاش کرد و هشدار داد که این موج در محتوای مزاحم پتانسیل ایجاد غرق در اینترنت را دارد.

این سازمان با پیشنهاد یک استراتژی چند وجهی از جمله تعدیل قوانین موجود ، بهبود آموزش اجرای قانون و اجرای نظارت نظارتی برای مدل‌های هوش مصنوعی ، همکاری جهانی را برای مبارزه با موضوع CSAM ترغیب کرد ، در مورد توسعه‌دهندگان هوش مصنوعی ، IWF توصیه می‌کند که هوش مصنوعی از تولید محتوای کودک آزاری ، حذف مدل‌های مرتبط و تمرکز بر حذف چنین مطالبی از مدل‌هایشان منع شود.

پیشرفت مولدهای تصویر هوش مصنوعی به طور قابل توجهی ایجاد کپی های انسانی واقعی را بهبود بخشیده است ، پلتفرم هایی مانند Midjourney ، Runway ، Stable Diffusion و OpenAI’s Dall E نمونه های محبوبی از ابزارهایی هستند که قادر به تولید تصاویر واقعی هستند.