Pendekatan kami terhadap aturan asal-usul teks Uni Eropa
Mendorong transparansi dalam batas kemampuan teknologi saat ini.
Asal-usul konten membantu orang memahami dari mana konten berasal, bagaimana konten dibuat atau diedit, dan apakah konten tersebut mengandung sinyal yang terkait dengan model kami. Kami telah menyediakan alat yang dapat digunakan publik untuk mengidentifikasi gambar dan audio yang dihasilkan oleh model kami. Hari ini, kami menjelaskan pendekatan kami terhadap pemberian tanda air teks sebagai respons terhadap Undang-Undang AI Uni Eropa, serta bagaimana pendekatan ini sesuai dengan upaya kami yang lebih luas.
Undang-Undang AI Uni Eropa mengharuskan penyedia AI generatif untuk membuat teks yang dihasilkan dapat diidentifikasi dengan cara yang dapat dibaca mesin. Pemberian tanda air dan deteksi teks masih merupakan teknologi tahap awal dengan keterbatasan yang signifikan, dan pandangan tentang manfaat serta penggunaan yang bertanggung jawab atas teknologi tersebut masih terus berkembang. Pendekatan bertahap kami mencerminkan persyaratan Undang-Undang AI Uni Eropa sekaligus keterbatasan teknologi ini, dengan menekankan transparansi tentang apa yang dapat dan tidak dapat disampaikan oleh tanda air teks kepada orang-orang:
Mulai hari ini, pelanggan API di seluruh dunia dapat memilih untuk mengaktifkan tanda air teks pada model tertentu. Tanda air teks akan tetap dinonaktifkan secara default di API.
Dalam beberapa minggu mendatang, kami akan menambahkan tanda air tak terlihat pada keluaran teks ChatGPT dan Codex yang memenuhi syarat di Uni Eropa.
Kami mulai menerima permohonan akses ke detektor tanda air teks kami. Pada awalnya, akses hanya akan diberikan kepada peneliti yang disetujui dan organisasi yang memiliki keahlian untuk membantu kami mengevaluasi dan menyempurnakan teknologi ini.
Hal di atas hanya berlaku untuk asal-usul teks—alat verifikasi kami untuk audio dan gambar, termasuk alat web openai.com/verify dan API Asal-Usul Konten(terbuka di jendela baru) kami, akan tetap dapat diakses secara publik oleh organisasi yang ingin mengetahui apakah suatu file gambar atau audio dihasilkan oleh salah satu sistem kami.
Teknologi tanda air teks kami, textGrain, menambahkan sinyal statistik tak terlihat pada pilihan kata model. Detektor kami mencari sinyal tersebut untuk menilai apakah suatu teks mengandung tanda air OpenAI. Detail lebih lanjut tentang cara kerja textGrain dapat ditemukan dalam laporan teknis(terbuka di jendela baru) kami, yang akan diperbarui dengan detail tambahan dalam beberapa minggu mendatang. Kami juga berencana menyediakan teknologi ini sebagai sumber terbuka agar pihak lain dapat mengembangkannya.
Dalam evaluasi kami, textGrain menyamai atau melampaui performa pendekatan lain yang kami uji, termasuk SynthID untuk teks. Meski demikian, performa yang baik dalam kondisi ideal tidak menjamin deteksi yang andal dalam penggunaan sehari-hari.
Detektor dapat membuat dua jenis kesalahan: detektor dapat melaporkan adanya tanda air padahal tidak ada—positif palsu—atau gagal mendeteksi tanda air yang ada—negatif palsu. Evaluasi kami di bawah ini menggambarkan beberapa tantangan:
Teks yang lebih pendek atau lebih terbatas lebih sulit dideteksi. Dengan target tingkat positif palsu sebesar 1%, detektor kami mengidentifikasi tanda air pada sekitar 80% dari teks sepanjang 200 token, dibandingkan dengan sekitar 95% dari teks sepanjang 400 token, untuk konten seperti psikologi. Tingkat deteksi jauh lebih rendah untuk konten seperti matematika, yang memiliki lebih sedikit keleluasaan dalam pemilihan kata.
Pengeditan dapat melemahkan tanda air. Dalam evaluasi terhadap bagian teks sepanjang 400 token, penggantian 10% kata dengan sinonim menurunkan tingkat deteksi dari sekitar 92% menjadi 66%. Penggantian 25% kata menurunkannya menjadi 17%.
Keterbatasan ini turut mendasari keputusan kami untuk memberikan akses awal ke detektor hanya kepada peneliti yang disetujui dan organisasi dengan keahlian khusus, yang dapat membantu kami mengevaluasi keandalan dan penggunaan yang bertanggung jawab.
Bagan ini menunjukkan hasil untuk respons dengan tanda air terhadap pertanyaan matematika dan psikologi dari set data ELI5(terbuka di jendela baru) pada tingkat positif palsu target sebesar 1%. Deteksi meningkat seiring dengan bertambahnya panjang teks, tetapi secara keseluruhan jauh lebih rendah untuk konten yang pilihan katanya kurang fleksibel, seperti matematika.
Pengeditan dapat sangat melemahkan sinyal tanda air. Bagan ini menunjukkan bagaimana penggantian 10% atau 25% kata dalam suatu teks memengaruhi deteksi. Hasil didasarkan pada respons dengan tanda air dalam bahasa Inggris terhadap pertanyaan dari ELI5(terbuka di jendela baru).
Di seluruh tolok ukur yang kami gunakan untuk menilai Astra, model terdepan terbaru kami, kami tidak melihat perbedaan performa yang berarti, baik saat tanda air diterapkan maupun tidak.
Tolok Ukur | Teks tanpa tanda air (Astra, max) | Teks dengan tanda air (Astra, Max) |
|---|---|---|
Indeks Kecerdasan Analisis Buatan | 49,57 poin | 49,76 poin |
AutomationBench | 34,09% | 34,86% |
DeepSWE v1.1 | 72,80% | 71,68% |
Terminal-Bench 4.0 | 53,90% | 56,06% |
Terminal-Bench Science 0.1 | 56,90% | 60,00% |
BrowseComp | 87,92% | 87,35% |
HealthBench Professional | 64,27% | 64,60% |
GPQA Diamond | 94,44% | 93,94% |
Tanda air teks memberikan sinyal terbatas tentang peran yang dimainkan oleh sistem kami dalam suatu bagian teks. Penting untuk memahami apa yang dapat dan tidak dapat disimpulkan dari hasil deteksi.
Tanda air tidak mengukur kontribusi manusia. Tanda air dapat menunjukkan bahwa sistem OpenAI menghasilkan atau memproses sebagian dari suatu teks, tetapi tidak menunjukkan seberapa besar pertimbangan, pengeditan, atau kreativitas manusia yang terlibat.
Tanda air tidak menetapkan kepemilikan atau tanggung jawab. Tanda air tidak menentukan siapa pemilik teks tersebut, apakah penggunaannya sah, apakah pengungkapan diwajibkan, atau siapa yang bertanggung jawab atasnya.
Tanda air tidak mengidentifikasi pengguna. Tanda air tidak mengaitkan seseorang, organisasi, akun, prompt, atau percakapan dengan teks.
Tanda air tidak memverifikasi keakuratan. Tanda air tidak memberi tahu Anda apakah suatu bagian teks benar, menyesatkan, berbahaya, atau disajikan dalam konteks yang tepat.
Tidak terdeteksinya tanda air tidak membuktikan bahwa konten dibuat oleh manusia. Teks yang dihasilkan dengan alat OpenAI mungkin terlalu singkat, telah diedit, atau diterjemahkan sehingga deteksi tidak dapat bekerja secara andal. Teks tersebut juga mungkin berasal dari model yang tidak didukung, dibuat sebelum tanda air diterapkan, atau dihasilkan dengan alat perusahaan lain.
Meluncurkan tanda air teks di Uni Eropa. Dalam beberapa minggu ke depan, kami akan memperkenalkan tanda air teks kepada pengguna ChatGPT dan Codex yang memenuhi syarat di semua paket, khusus di Uni Eropa. Saat peluncuran, kami tidak menjadikan tanda air teks sebagai pengaturan default global. Pendekatan regional ini memberi kami ruang untuk belajar dari penggunaan dan masukan di dunia nyata.
Mengaktifkan pemberian tanda air secara sukarela bagi pelanggan API. Mulai hari ini, pelanggan API di seluruh dunia dapat memilih untuk menerima keluaran teks bertanda air untuk model tertentu. Ini memungkinkan pelanggan menentukan bagaimana pemberian tanda air sesuai dengan kewajiban transparansi mereka dan pengalaman yang mereka berikan kepada pengguna. Kami juga bekerja sama dengan mitra cloud agar pemberian tanda air tersedia untuk keluaran model OpenAI yang diakses melalui layanan mereka dalam beberapa minggu mendatang.
Memberikan akses ke detektor kepada peneliti dan organisasi ahli. Peneliti dan organisasi ahli yang disetujui dapat mengajukan permohonan mulai hari ini. Sesuai dengan Kode Praktik(terbuka di jendela baru), akses pada awalnya akan diberikan berdasarkan kasus per kasus untuk mendukung evaluasi dan peningkatan asal-usul teks. Alat ini akan melaporkan apakah alat tersebut mendeteksi tanda air OpenAI, tanpa mengidentifikasi pengguna atau mengungkapkan prompt atau percakapan mereka. Mengingat risiko tanda air yang tidak terdeteksi dan positif palsu, kami tidak menyediakan alat ini untuk publik saat peluncuran.
Kami memperkirakan akan meninjau kembali setiap bagian dari pendekatan ini seiring berkembangnya teknologi, standar, dan bukti.
Tidak ada satu teknik penelusuran asal-usul pun yang memadai jika berdiri sendiri, jadi kami menerapkan pendekatan berlapis yang menggabungkan standar terbuka, pemberian tanda air yang tahan lama, dan alat verifikasi.
Kami menambahkan Content Credentials pada keluaran gambar yang didukung, mematuhi C2PA(terbuka di jendela baru), menyematkan tanda air SynthID(terbuka di jendela baru) yang tak terlihat pada gambar dan audio yang didukung, serta menyediakan verifikasi gambar dan audio melalui openai.com/verify dan API Asal-Usul Konten(terbuka di jendela baru) kami. Teknik-teknik ini saling melengkapi: Content Credentials dapat mencatat asal dan riwayat file, sementara tanda air tak terlihat dapat mempertahankan sinyal ketika metadata dihapus.
Seperti yang kami jelaskan dalam upaya pengamanan pemilu, penelusuran asal-usul dapat membantu masyarakat dan platform menilai konten buatan AI yang berpotensi menyesatkan, termasuk deepfake. Kami memadukan sinyal ini dengan kebijakan, deteksi penyalahgunaan, pelaporan, investigasi, dan penegakan, serta bekerja sama dengan peneliti, badan standardisasi, platform, dan masyarakat sipil agar penelusuran asal-usul bermanfaat di seluruh ekosistem yang lebih luas.
Memperluas penelusuran asal-usul ke teks mengharuskan kita memperhitungkan betapa mudahnya teks dapat ditulis ulang, diterjemahkan, atau diedit. Seperti yang kami bahas pada bulan Juni, pendekatan kami harus mencerminkan keterbatasan praktis teknologi saat ini. Kami akan terus meningkatkan deteksi, mempelajari ketahanan tanda air terhadap pengeditan dan penerjemahan, serta mencari cara yang lebih efektif untuk membedakan bantuan AI dari kepengarangan AI. Kami akan menyesuaikan pendekatan kami seiring perkembangan bukti, standar, dan persyaratan regulasi, serta memperluas akses ke detektor ketika kami yakin hasilnya dapat ditafsirkan secara bertanggung jawab.
Untuk informasi lebih lanjut, silakan kunjungi artikel pusat bantuan(terbuka di jendela baru) kami.
