OPENAI ingatkan semua pengguna untuk tidak membuat konten yang mengandung materipelecehan seksual anak (bahan pelecehan seksual terhadap anak/CSAM) dan materi eksploitasi seksual anak (bahan eksploitasi seksual anak-anak(CSEM) yang dihasilkan oleh kecerdasan buatan (AI). Peringatan ini tercantum dalam kebijakan penggunaanChatGPTyang melarang mengobjektifkan siapa pun yang berusia di bawah 18 tahun.
"Kebijakan ini berlaku bagi pengembang yang membangun aplikasi berdasarkan teknologi kami," tulis OpenAI dalamsitus resmimereka pada Kamis, 29 September 2025.
Perusahaan teknologi asal Amerika Serikat ini melarang bentuk CSAM pada konten yang sebagian dihasilkan oleh AI atau sama sekali tidak.perawatan diriatau strategi manipulatif terhadap anak di bawah umur, konten yang menyakiti diri sendiri, serta seksual atau kekerasan yang vulgar.
Selain itu, juga melarang pengguna untuk mempromosikan perilaku diet atau olahraga yang tidak sehat kepada anak di bawah umur, memperlakukan atau menghina jenis tubuh atau penampilan anak di bawah umur, tantangan berbahaya, dan permainan peran seksual atau kekerasan, serta akses terhadap barang atau aktivitas yang tidak sesuai dengan usia mereka yang di bawah 18 tahun.
"Setiap pengguna yang mencoba membuat atau mengunggah CSAM atau CSEM akan dilaporkan ke National Center for Missing and Exploited Children (NCMEC) di Amerika Serikat, dan dilarang menggunakan layanan kami lebih lanjut," tulis OpenAI.
Jika masih ada pengguna yang ketahuan memproduksi atau mengunggah konten ilegal, OpenAI akan membekukan pengguna yang bermasalah. Jika pengembang gagal memperbaiki pola perilaku yang bermasalah secara terus-menerus, maka mereka akan diblokir dari layanan OpenAI.
Menurut perusahaan, model AI pada ChatGPT dilatih secara bertanggung jawab. Hal-hal yang termasuk CSAM dan CSEM dihapus dari data pelatihan dan dilaporkan kepada otoritas terkait. Selain pendekatan teknologi, OpenAI juga melakukan pendekatan hukum terhadap para pelanggar.
Meskipun sudah dilatih, masih ada pengguna yang mencoba mencari celah untuk tetap menampilkan konten CSAM atau CSEM. "Beberapa pengguna masih mencoba menyalahgunakan produk kami untuk menghasilkan konten berbahaya," tulis OpenAI.
Dalam kebijakan penggunaan, hal-hal yang berkaitan dengan CSAM atau CSEM beserta penipuan, kekerasan, pelanggaran privasi, terorisme, dan aktivitas lainnya, semuanya secara efektif dilarang mulai Rabu, 29 Oktober 2025, di seluruh dunia. OpenAI memantau penggunaan dengan sistem moderasi dan proses peninjauan.
Pelanggaran kebijakan penggunaan dapat menyebabkan pengguna diblokir oleh sistem. "Anda dapat mengajukan banding jika menurut Anda kami telah membuat kesalahan dalam menerapkan kebijakan, dan kami akan bekerja untuk memperbaikinya," tulis OpenAI.