Pendekatan kami terhadap peraturan EU tentang asal usul teks
Menggalakkan ketelusan dalam batas teknologi masa kini.
Asal usul kandungan membantu orang memahami dari mana kandungan berasal, cara ia dicipta atau disunting, dan sama ada ia mengandungi isyarat yang dikaitkan dengan model kami. Kami telah menyediakan alat kepada orang ramai untuk mengenal pasti imej dan audio yang dijana oleh model kami. Hari ini, kami berkongsi pendekatan kami terhadap tera air teks sebagai respons kepada Akta AI EU, dan cara pendekatan ini sesuai dengan usaha kami yang lebih luas.
Akta AI EU menghendaki penyedia AI generatif menjadikan teks yang dijana boleh dikenal pasti dalam format yang boleh dibaca mesin. Penandaan tera air pada teks dan pengesanan masih merupakan teknologi peringkat awal yang mempunyai batasan ketara, dan pandangan tentang manfaat serta penggunaan yang bertanggungjawab masih berkembang. Pendekatan berperingkat kami mencerminkan kedua-dua keperluan Akta AI EU dan batasan teknologi tersebut, dengan penekanan pada ketelusan tentang perkara yang dapat dan tidak dapat dimaklumkan kepada orang ramai oleh tera air teks:
Mulai hari ini, pelanggan API di seluruh dunia boleh memilih untuk mengaktifkan tera air teks bagi model terpilih. Tera air teks akan kekal dinyahaktifkan secara lalai dalam API.
Dalam beberapa minggu akan datang, kami akan menambahkan tera air halimunan pada keluaran teks ChatGPT dan Codex yang layak di Kesatuan Eropah.
Kami kini menerima permohonan untuk mendapatkan akses kepada pengesan tera air teks kami. Pada mulanya, akses akan dihadkan kepada penyelidik yang diluluskan dan organisasi pakar yang dapat membantu kami menilai dan menambah baik teknologi ini.
Perkara di atas hanya terpakai pada provenans teks—alat pengesahan kami untuk audio dan imej, termasuk alat web openai.com/verify dan API Provenans Kandungan(dibuka dalam tetingkap baru) kami, akan terus boleh diakses secara umum oleh organisasi yang ingin mengetahui sama ada imej atau fail audio dijana oleh salah satu sistem kami.
Teknologi tera air teks kami, textGrain, menambah isyarat statistik halimunan pada pilihan perkataan model. Pengesan kami mencari isyarat itu untuk menilai sama ada sesuatu petikan mengandungi tera air OpenAI. Butiran lanjut tentang cara textGrain berfungsi boleh didapati dalam laporan teknikal(dibuka dalam tetingkap baru) kami, yang akan dikemas kini dengan butiran tambahan dalam beberapa minggu akan datang. Kami juga merancang untuk menyediakan teknologi ini sebagai sumber terbuka supaya pihak lain dapat membangunkannya.
Dalam penilaian kami, textGrain menyamai atau mengatasi prestasi pendekatan lain yang kami uji, termasuk SynthID untuk teks. Walaupun begitu, prestasi yang baik dalam keadaan ideal tidak menjamin pengesanan yang boleh dipercayai dalam penggunaan harian.
Pengesan boleh melakukan dua jenis kesilapan: melaporkan bahawa terdapat tera air sedangkan sebenarnya tiada—positif palsu—atau gagal mengesan tera air yang sebenarnya ada—negatif palsu. Penilaian kami di bawah menggambarkan beberapa cabaran:
Teks yang lebih pendek atau lebih terkekang lebih sukar dikesan. Pada kadar positif palsu sasaran sebanyak 1%, pengesan kami mengenal pasti tera air dalam kira-kira 80% petikan sepanjang 200 token, berbanding kira-kira 95% petikan sepanjang 400 token, bagi kandungan seperti psikologi. Kadar pengesanan jauh lebih rendah bagi kandungan seperti matematik, yang mempunyai kurang kelonggaran dalam pemilihan kata.
Penyuntingan boleh melemahkan tera air. Dalam penilaian petikan 400 token, penggantian 10% perkataan dengan sinonim mengurangkan pengesanan daripada kira-kira 92% kepada 66%. Penggantian 25% perkataan mengurangkannya kepada 17%.
Had ini menyumbang kepada keputusan kami untuk memberikan akses awal kepada alat pengesan hanya kepada penyelidik dan organisasi pakar yang diluluskan, yang dapat membantu kami menilai kebolehpercayaan dan penggunaan yang bertanggungjawab.
Carta ini menunjukkan hasil bagi respons bertanda tera air terhadap soalan matematik dan psikologi daripada set data ELI5(dibuka dalam tetingkap baru) pada kadar positif palsu sasaran sebanyak 1%. Pengesanan bertambah baik apabila panjang teks meningkat, tetapi secara keseluruhan jauh lebih rendah bagi kandungan yang pilihan katanya kurang fleksibel, seperti matematik.
Pengeditan boleh melemahkan isyarat tera air dengan ketara. Carta ini menunjukkan cara penggantian 10% atau 25% perkataan dalam sesuatu petikan mempengaruhi pengesanan. Hasil adalah berdasarkan respons bahasa Inggeris bertanda air kepada soalan daripada ELI5(dibuka dalam tetingkap baru).
Merentas penanda aras yang kami gunakan untuk menilai Astra, model perbatasan terbaharu kami, kami tidak mendapati perbezaan prestasi yang ketara dengan dan tanpa penandaan tera air.
Penanda aras | Teks tanpa tera air (Astra, max) | Teks bertanda tera air (Astra, max) |
|---|---|---|
Indeks Kecerdasan Analisis Buatan | 49.57 mata | 49.76 mata |
AutomationBench | 34.09% | 34.86% |
DeepSWE v1.1 | 72.80% | 71.68% |
Terminal-Bench 4.0 | 53.90% | 56.06% |
Terminal-Bench Science 0.1 | 56.90% | 60.00% |
BrowseComp | 87.92% | 87.35% |
HealthBench Professional | 64.27% | 64.60% |
GPQA Diamond | 94.44% | 93.94% |
Tera air teks memberikan isyarat terhad tentang peranan yang dimainkan oleh sistem kami dalam sesuatu petikan. Penting untuk memahami perkara yang boleh dan tidak boleh disimpulkan daripada hasil pengesanan.
Tera air tidak mengukur sumbangan manusia. Tera air boleh menunjukkan bahawa sistem OpenAI menjana atau memproses sebahagian daripada sesuatu petikan, tetapi tidak menunjukkan sejauh mana pertimbangan, penyuntingan atau kreativiti manusia terlibat dalam penghasilannya.
Tera air tidak membuktikan pemilikan atau tanggungjawab. Tera air tidak menentukan siapa pemilik teks itu, sama ada penggunaannya sah di sisi undang-undang, sama ada pendedahan diwajibkan, atau siapa yang bertanggungjawab terhadapnya.
Tera air tidak mengenal pasti pengguna. Tera air tidak mengaitkan seseorang, organisasi, akaun, prom atau perbualan dengan teks.
Tera air tidak mengesahkan ketepatan. Ia tidak memberitahu sama ada sesuatu petikan itu benar, mengelirukan, berbahaya, atau dipersembahkan dalam konteks yang betul.
Ketiadaan tera air yang dikesan tidak membuktikan bahawa teks itu dihasilkan oleh manusia. Teks yang dijana menggunakan alat OpenAI mungkin terlalu pendek, disunting atau diterjemahkan sehingga pengesanan tidak dapat dilakukan dengan pasti. Teks itu juga mungkin berasal daripada model yang tidak disokong, dijana sebelum penggunaan tera air, atau dihasilkan menggunakan alat syarikat lain.
Pelancaran berperingkat tera air teks di EU. Dalam beberapa minggu akan datang, kami akan memperkenalkan tera air teks kepada pengguna ChatGPT dan Codex yang layak pada semua pelan, di EU sahaja. Kami tidak akan menetapkan tera air teks sebagai tetapan lalai global semasa pelancaran. Pendekatan serantau ini memberi kami ruang untuk belajar daripada penggunaan dalam situasi sebenar dan maklum balas.
Mendayakan pelanggan API memilih untuk menggunakan tera air. Mulai hari ini, pelanggan API di seluruh dunia boleh memilih untuk menerima output teks yang mempunyai tera air bagi model terpilih. Ini membolehkan pelanggan menentukan kesesuaian peneraan air dengan tanggungjawab ketelusan mereka dan pengalaman yang disediakan kepada pengguna. Kami juga sedang bekerjasama dengan rakan kongsi awan untuk menyediakan peneraan air bagi output model OpenAI yang diakses melalui perkhidmatan mereka dalam beberapa minggu akan datang.
Menyediakan akses kepada pengesan untuk penyelidik dan organisasi pakar. Penyelidik dan organisasi pakar yang diluluskan boleh memohon mulai hari ini. Selaras dengan Kod Amalan(dibuka dalam tetingkap baru), akses pada peringkat awal akan diberikan mengikut kes untuk menyokong penilaian dan penambahbaikan penentuan asal usul teks. Alat ini akan melaporkan sama ada ia mengesan tera air OpenAI, tanpa mengenal pasti pengguna atau mendedahkan prom atau perbualan mereka. Memandangkan risiko tera air yang tidak dikesan dan positif palsu, kami tidak menyediakan alat ini kepada orang ramai semasa pelancaran.
Kami menjangkakan untuk meninjau semula setiap bahagian pendekatan ini apabila teknologi, piawaian dan bukti berkembang.
Tiada satu teknik asal usul pun mencukupi dengan sendirinya, jadi kami mengambil pendekatan berlapis yang menggabungkan standard terbuka, tera air yang tahan lama dan alat pengesahan.
Kami menambah Kelayakan Kandungan pada output imej yang disokong, mematuhi C2PA(dibuka dalam tetingkap baru), membenamkan tera air SynthID(dibuka dalam tetingkap baru) halimunan dalam imej dan audio yang disokong, serta menyediakan pengesahan imej dan audio melalui openai.com/verify dan API Provenans Kandungan(dibuka dalam tetingkap baru) kami. Teknik ini saling melengkapi: Kelayakan Kandungan boleh merekodkan asal usul dan sejarah fail, manakala tera air halimunan boleh mengekalkan isyarat apabila metadata dialih keluar.
Seperti yang kami huraikan dalam usaha perlindungan pilihan raya kami, maklumat asal usul boleh membantu orang ramai dan platform menilai kandungan dijana AI yang berpotensi mengelirukan, termasuk palsuan. Kami menggabungkan isyarat ini dengan dasar, pengesanan penyalahgunaan, pelaporan, penyiasatan dan penguatkuasaan, serta bekerjasama dengan penyelidik, badan piawaian, platform dan masyarakat sivil agar maklumat asal usul berguna di seluruh ekosistem yang lebih luas.
Memperluas provenans kepada teks memerlukan kita mengambil kira betapa mudahnya teks ditulis semula, diterjemahkan atau disunting. Seperti yang kami bincangkan pada Jun, pendekatan kami mesti mencerminkan batasan praktikal teknologi semasa. Kami akan terus menambah baik pengesanan, mengkaji sejauh mana tera air dapat bertahan daripada penyuntingan dan penterjemahan, serta meneroka cara untuk membezakan bantuan AI daripada kepengarangan AI dengan lebih bermakna. Kami akan menyesuaikan pendekatan kami apabila bukti, piawaian dan keperluan kawal selia berkembang, serta memperluas akses kepada pengesan apabila kami percaya hasilnya dapat ditafsirkan secara bertanggungjawab.
Untuk maklumat lanjut, sila kunjungi artikel pusat bantuan(dibuka dalam tetingkap baru) kami.
