AB’nin metin kaynağı kurallarına yaklaşımımız

İçerik kaynağı bilgileri, insanların içeriğin nereden geldiğini, nasıl oluşturulduğunu veya düzenlendiğini ve modellerimizle ilişkili sinyaller içerip içermediğini anlamasına yardımcı olur. Modellerimizin ürettiği görselleri ve sesleri tespit etmek için geliştirdiğimiz araçları daha önce herkesin kullanımına açtık. Bugün, AB Yapay Zekâ Yasası doğrultusunda metinlere filigran eklemeye yönelik yaklaşımımızı ve bunun genel çalışmalarımızdaki yerini paylaşıyoruz.

AB Yapay Zekâ Yasası, üretken yapay zekâ sağlayıcılarının üretilen metinleri makine tarafından okunabilir bir şekilde tanımlanabilir hâle getirmesini gerektiriyor. Metne filigran ekleme ve filigran tespiti, önemli sınırlamaları olan ve henüz erken aşamadaki teknolojiler. Faydaları ve sorumlu kullanım biçimleri hakkındaki görüşler de hâlâ şekilleniyor. Aşamalı yaklaşımımız, hem AB Yapay Zekâ Yasası’nın gerekliliklerini hem de teknolojinin sınırlamalarını dikkate alıyor. Metin filigranının insanlara hangi bilgileri verebileceği ve veremeyeceği konusunda şeffaflığı ön planda tutuyoruz:

• Bugünden itibaren dünya genelindeki API müşterileri, belirli modeller için metin filigranını isteğe bağlı olarak etkinleştirebilecek. Metin filigranı, API’de varsayılan olarak kapalı kalacak.

• Önümüzdeki haftalarda Avrupa Birliği’nde, kapsam dahilindeki ChatGPT ve Codex metin çıktılarına görünmez bir filigran ekleyeceğiz.

• Metin filigranı tespit aracımıza erişim için başvuruları açıyoruz. Erişim, başlangıçta teknolojiyi değerlendirmemize ve geliştirmemize yardımcı olabilecek onaylı araştırmacılar ve uzman kuruluşlarla sınırlı olacak.

  • Yukarıdakiler yalnızca metin kaynağı bilgileri için geçerlidir. openai.com/verify⁠ web aracımız ve Content Provenance API⁠(yeni bir pencerede açılır)'miz dahil olmak üzere ses ve görsel doğrulama araçlarımız, bir görselin veya ses dosyasının sistemlerimizden biri tarafından üretilip üretilmediğini anlamak isteyen kuruluşların erişimine açık olmaya devam edecek.

Metin filigranı teknolojimiz textGrain, modelin kelime seçimlerine görünmez bir istatistiksel sinyal ekler. Tespit aracımız, bir metin parçasının OpenAI filigranı içerip içermediğini değerlendirmek için bu sinyali arar. textGrain’in nasıl çalıştığı hakkında daha fazla bilgiye teknik raporumuzdan⁠(yeni bir pencerede açılır) ulaşabilirsiniz. Rapora önümüzdeki haftalarda yeni ayrıntılar eklenecek. Başkalarının da bu teknolojiyi temel alarak yeni çalışmalar yapabilmesi için teknolojiyi açık kaynak olarak sunmayı planlıyoruz.

Değerlendirmelerimizde textGrain, metin için SynthID dahil olmak üzere test ettiğimiz diğer yaklaşımlarla aynı veya daha yüksek performans gösterdi. Yine de ideal koşullardaki yüksek performans, günlük kullanımda güvenilir tespiti garanti etmez.

Tespit araçları iki tür hata yapabilir: Filigran olmadığı hâlde var olduğunu bildirebilir (yanlış pozitif) veya mevcut bir filigranı gözden kaçırabilir (yanlış negatif). Aşağıdaki değerlendirmelerimiz, karşılaşılan zorluklardan bazılarını gösteriyor:

• Daha kısa veya ifade seçenekleri daha sınırlı metinlerde tespit daha zordur. Tespit aracımız, %1 hedef yanlış pozitif oranında, psikoloji gibi konulardaki 200 token uzunluğundaki metin parçalarının yaklaşık %80’inde filigranı tespit ederken, 400 token uzunluğundaki metinlerde bu oran yaklaşık %95 oldu. Kelime seçiminde daha az esneklik sunan matematik gibi konularda tespit oranları belirgin ölçüde daha düşüktü.

• Düzenleme yapmak filigranı zayıflatabilir. 400 token uzunluğundaki metin parçalarıyla yapılan bir değerlendirmede, kelimelerin %10’unun eş anlamlılarıyla değiştirilmesi tespit oranını yaklaşık %92’den %66’ya düşürdü. Kelimelerin %25’inin değiştirilmesiyle bu oran %17’ye indi.

Bu sınırlamalar, tespit aracına başlangıçta yalnızca güvenilirliği ve sorumlu kullanım biçimlerini değerlendirmemize yardımcı olabilecek onaylı araştırmacılar ve uzman kuruluşlar için erişim sağlama kararımızda etkili oldu.

En yeni en üst seviye modelimiz Astra’yı değerlendirmek için kullandığımız kıyaslama testlerinde, filigranlı ve filigransız çıktılar arasında anlamlı bir performans farkı görmüyoruz.

Metin filigranları, sistemlerimizin bir metin parçasında oynadığı rol hakkında sınırlı bir sinyal sağlar. Bir tespit sonucundan hangi çıkarımların yapılabileceğini ve yapılamayacağını anlamak önemlidir.

• Filigran, insan katkısını ölçmez. Bir OpenAI sisteminin metnin bir bölümünü ürettiğini veya işlediğini gösterebilir, ancak metne ne ölçüde insan muhakemesi, düzenlemesi veya yaratıcılığı katıldığını göstermez.

• Filigran, sahipliği veya sorumluluğu belirlemez. Metnin kime ait olduğunu, kullanımının hukuka uygun olup olmadığını, açıklama yapma zorunluluğu bulunup bulunmadığını veya metinden kimin sorumlu olduğunu belirlemez.

• Filigran, kullanıcının kimliğini belirlemez. Metni bir kişi, kuruluş, hesap, prompt veya konuşmayla ilişkilendirmez.

• Filigran, doğruluğu teyit etmez. Bir metin parçasının doğru, yanıltıcı veya zararlı olup olmadığını ya da doğru bağlamda sunulup sunulmadığını göstermez.

• Filigran tespit edilmemesi, metnin bir insan tarafından yazıldığını kanıtlamaz. OpenAI araçlarıyla üretilmiş bir metin, çok kısa olduğu, düzenlendiği veya çevrildiği için güvenilir biçimde tespit edilemeyebilir. Ayrıca desteklenmeyen bir modelden gelmiş, filigran uygulaması başlamadan önce üretilmiş veya başka bir şirketin araçlarıyla oluşturulmuş olabilir.

• AB’de metin filigranını kullanıma sunmak. Önümüzdeki haftalarda metin filigranını, yalnızca AB’de ve tüm planlarda, kapsam dahilindeki ChatGPT ve Codex kullanıcıları için kullanıma sunacağız. Metin filigranını ilk aşamada küresel olarak varsayılan hâle getirmiyoruz. Bu bölgesel yaklaşım, gerçek kullanım deneyimlerinden ve geri bildirimlerden öğrenmemize olanak tanıyor.

• API müşterilerine isteğe bağlı filigran seçeneği sunmak. Bugünden itibaren dünya genelindeki API müşterileri, belirli modeller için filigranlı metin çıktılarını isteğe bağlı olarak etkinleştirebilecek. Böylece müşteriler, filigranı şeffaflık yükümlülüklerine ve kullanıcılarına sundukları deneyimlere nasıl dahil edeceklerine kendileri karar verebilecek. Bulut iş ortaklarımızın hizmetleri üzerinden erişilen OpenAI model çıktılarında da önümüzdeki haftalarda filigranı kullanıma sunmak için onlarla birlikte çalışıyoruz.

• Araştırmacılara ve uzman kuruluşlara tespit aracına erişim sağlamak. Onaylı araştırmacılar ve uzman kuruluşlar bugünden itibaren başvuru yapabilir. Uygulama Kuralları⁠(yeni bir pencerede açılır) doğrultusunda, metin kaynağı teknolojilerinin değerlendirilmesini ve geliştirilmesini desteklemek için başlangıçta her başvuru ayrı değerlendirilerek erişim verilecek. Araç, kullanıcının kimliğini belirlemeden, promptlarını veya konuşmalarını ifşa etmeden OpenAI filigranı tespit edip etmediğini bildirecek. Filigranların gözden kaçırılması ve yanlış pozitif sonuç riski nedeniyle aracı ilk aşamada herkesin kullanımına açmıyoruz.

Teknoloji, standartlar ve eldeki bulgular geliştikçe bu yaklaşımın her bir unsurunu yeniden değerlendirmeyi öngörüyoruz.

Hiçbir kaynak belirleme tekniği tek başına yeterli değildir. Bu nedenle açık standartları, dayanıklı filigranları ve doğrulama araçlarını birleştiren katmanlı bir yaklaşım benimsiyoruz.

Desteklenen görsel çıktılara İçerik Kimlik Bilgileri ekliyoruz ve C2PA standartlarına uyuyoruz⁠(yeni bir pencerede açılır). Desteklenen görsellere ve seslere görünmez SynthID⁠(yeni bir pencerede açılır) filigranları yerleştiriyor, openai.com/verify⁠ ve Content Provenance API⁠(yeni bir pencerede açılır) üzerinden görsel ve ses doğrulama olanağı sunuyoruz. Bu teknikler birbirini tamamlar: İçerik Kimlik Bilgileri bir dosyanın kaynağını ve geçmişini kaydedebilirken, görünmez filigranlar meta veriler kaldırıldığında bile sinyalin korunmasını sağlayabilir.

Seçim güvenliği çalışmalarımızda açıkladığımız gibi, kaynak bilgileri insanların ve platformların deepfake’ler dahil, yapay zekâyla üretilmiş ve yanıltıcı olabilecek içerikleri değerlendirmesine yardımcı olabilir. Bu sinyalleri politikalar, kötüye kullanım tespiti, bildirimler, incelemeler ve yaptırımlarla birlikte kullanıyoruz. Kaynak bilgilerinin ekosistem genelinde işe yaramasını sağlamak için araştırmacılar, standart kuruluşları, platformlar ve sivil toplumla birlikte çalışıyoruz.

Kaynak belirleme çalışmalarını metinlere genişletmek, metinlerin ne kadar kolay yeniden yazılabildiğini, çevrilebildiğini veya düzenlenebildiğini hesaba katmayı gerektiriyor. Haziran ayında ele aldığımız gibi, yaklaşımımız mevcut teknolojinin uygulamadaki sınırlarını dikkate almalı. Tespit teknolojisini geliştirmeye, filigranların düzenleme ve çeviriye ne ölçüde dayandığını incelemeye ve yapay zekâ desteğiyle yazılan metinlerle yapay zekânın yazdığı metinleri daha anlamlı biçimde ayırt etmenin yollarını araştırmaya devam edeceğiz. Bulgular, standartlar ve yasal gereklilikler değiştikçe yaklaşımımızı uyarlayacak, sonuçların sorumlu biçimde yorumlanabileceğine inandığımızda tespit aracına erişimi genişleteceğiz.

Daha fazla bilgi için yardım merkezi makalemizi⁠(yeni bir pencerede açılır) ziyaret edebilirsiniz.