Näin noudatamme EU:n tekstin alkuperää koskevia sääntöjä
Edistämme läpinäkyvyyttä nykyteknologian rajoissa.
Sisällön alkuperätiedot auttavat ymmärtämään, mistä sisältö on peräisin, miten se on luotu tai miten sitä on muokattu ja sisältääkö se malleihimme liittyviä signaaleja. Olemme jo tuoneet julkisesti saataville työkaluja, joilla voi tunnistaa malliemme tuottamia kuvia ja ääntä. Tänään kerromme, miten toteutamme tekstin vesileimauksen EU:n tekoälyasetuksen mukaisesti ja miten se liittyy laajempaan työhömme.
EU:n tekoälyasetus edellyttää, että generatiivisen tekoälyn tarjoajat tekevät tuotetusta tekstistä koneellisesti tunnistettavaa. Tekstin vesileimaus ja vesileimojen tunnistus ovat yhä alkuvaiheen teknologioita, joihin liittyy merkittäviä rajoituksia. Myös näkemykset niiden hyödyistä ja vastuullisesta käytöstä muotoutuvat edelleen. Vaiheittainen lähestymistapamme huomioi sekä EU:n tekoälyasetuksen vaatimukset että teknologian rajoitukset. Painotamme avoimuutta siitä, mitä tekstin vesileima voi ja ei voi kertoa:
Tästä päivästä alkaen API-asiakkaat kaikkialla maailmassa voivat ottaa tekstin vesileimauksen käyttöön tietyissä malleissa. Tekstin vesileimaus on API:ssa jatkossakin oletusarvoisesti pois käytöstä.
Lisäämme tulevien viikkojen aikana näkymättömän vesileiman soveltuviin ChatGPT:n ja Codexin tuottamiin teksteihin Euroopan unionissa.
Avaamme haun tekstin vesileimojen tunnistustyökalumme käyttöoikeutta varten. Aluksi käyttöoikeus rajataan hyväksytyille tutkijoille ja asiantuntijaorganisaatioille, jotka voivat auttaa meitä arvioimaan ja parantamaan teknologiaa.
Edellä mainittu koskee vain tekstin alkuperätietoja. Äänen ja kuvien varmennustyökalumme, kuten openai.com/verify-verkkotyökalu ja sisällön alkuperätietojen API(avautuu uudessa ikkunassa), ovat jatkossakin julkisesti saatavilla organisaatioille, jotka haluavat selvittää, onko kuva- tai äänitiedosto tuotettu jollakin järjestelmistämme.
Tekstin vesileimausteknologiamme textGrain lisää mallin sanavalintoihin näkymättömän tilastollisen signaalin. Tunnistustyökalumme etsii tätä signaalia arvioidakseen, sisältääkö tekstikatkelma OpenAI:n vesileiman. Lisätietoja textGrainin toiminnasta on teknisessä raportissamme(avautuu uudessa ikkunassa), jota täydennämme tulevien viikkojen aikana. Aiomme myös julkaista teknologian avoimena lähdekoodina, jotta muut voivat hyödyntää sitä omassa kehitystyössään.
Arvioinneissamme textGrain suoriutui yhtä hyvin tai paremmin kuin muut testaamamme menetelmät, mukaan lukien tekstille tarkoitettu SynthID. Hyvä suorituskyky ihanteellisissa olosuhteissa ei kuitenkaan takaa luotettavaa tunnistusta arkikäytössä.
Tunnistustyökalut voivat tehdä kahdenlaisia virheitä: ne voivat ilmoittaa vesileimasta, jota ei ole (väärä positiivinen), tai jättää olemassa olevan vesileiman havaitsematta (väärä negatiivinen). Alla olevat arviointituloksemme havainnollistavat joitakin haasteita:
Vesileima on vaikeampi tunnistaa lyhyestä tekstistä tai tekstistä, jonka sanavalinnat ovat rajatumpia. Kun väärien positiivisten osuuden tavoite oli 1 %, tunnistustyökalumme havaitsi vesileiman noin 80 %:ssa 200 tokenin tekstikatkelmista ja noin 95 %:ssa 400 tokenin katkelmista esimerkiksi psykologiaa käsittelevässä sisällössä. Tunnistusaste oli huomattavasti alhaisempi esimerkiksi matematiikkaa käsittelevässä sisällössä, jossa sanavalinnoille on vähemmän vaihtoehtoja.
Muokkaaminen voi heikentää vesileimaa. Kun arvioimme 400 tokenin tekstikatkelmia, 10 %:n korvaaminen sanoista synonyymeillä laski tunnistusasteen noin 92 %:sta 66 %:iin. Kun sanoista korvattiin 25 %, tunnistusaste laski 17 %:iin.
Nämä rajoitukset ovat osasyy siihen, että annamme tunnistustyökalun aluksi vain hyväksytyille tutkijoille ja asiantuntijaorganisaatioille. Ne voivat auttaa meitä arvioimaan työkalun luotettavuutta ja vastuullisia käyttötapoja.
Kaavio näyttää tunnistustulokset vesileimatuista vastauksista ELI5-aineiston(avautuu uudessa ikkunassa) matematiikan ja psykologian kysymyksiin, kun väärien positiivisten osuuden tavoite on 1 %. Tunnistus paranee tekstin pidentyessä, mutta on kaiken kaikkiaan huomattavasti heikompaa sisällössä, jossa sanavalinnoille on vähemmän vaihtoehtoja, kuten matematiikassa.
Muokkaaminen voi heikentää vesileiman signaalia huomattavasti. Kaavio näyttää, miten 10 %:n tai 25 %:n korvaaminen tekstikatkelman sanoista vaikuttaa tunnistukseen. Tulokset perustuvat vesileimattuihin englanninkielisiin vastauksiin ELI5-aineiston(avautuu uudessa ikkunassa) kysymyksiin.
Vertailutesteissä, joilla arvioimme uusinta edistynyttä malliamme Astraa, emme havaitse merkittäviä suorituskykyeroja vesileimauksen ollessa käytössä tai pois käytöstä.
Vertailutesti | Vesileimaamaton teksti (Astra, Max) | Vesileimattu teksti (Astra, Max) |
|---|---|---|
Artificial Analysis Intelligence Index | 49,57 pistettä | 49,76 pistettä |
AutomationBench | 34,09 % | 34,86 % |
DeepSWE v1.1 | 72,80 % | 71,68 % |
Terminal-Bench 4.0 | 53,90 % | 56,06 % |
Terminal-Bench Science 0.1 | 56,90 % | 60,00 % |
BrowseComp | 87,92 % | 87,35 % |
HealthBench Professional | 64,27 % | 64,60 % |
GPQA Diamond | 94,44 % | 93,94 % |
Tekstin vesileimat antavat rajallisesti tietoa järjestelmiemme osuudesta tekstikatkelman tuottamisessa. On tärkeää ymmärtää, mitä tunnistustuloksesta voi ja ei voi päätellä.
Vesileima ei mittaa ihmisen työpanosta. Se voi osoittaa, että OpenAI:n järjestelmä on tuottanut tai käsitellyt osan tekstikatkelmasta, mutta ei sitä, kuinka paljon ihmisen harkintaa, muokkausta tai luovuutta sen tekemiseen on käytetty.
Vesileima ei osoita omistajuutta tai vastuuta. Se ei määritä, kuka omistaa tekstin, onko sen käyttö ollut laillista, onko tekoälyn käytöstä pitänyt ilmoittaa tai kuka tekstistä vastaa.
Vesileima ei yksilöi käyttäjää. Se ei yhdistä tekstiin henkilöä, organisaatiota, tiliä, kehotetta tai keskustelua.
Vesileima ei varmista tietojen paikkansapitävyyttä. Se ei kerro, onko tekstikatkelma totta, harhaanjohtava tai haitallinen tai onko se esitetty oikeassa asiayhteydessä.
Vesileiman jääminen havaitsematta ei todista tekstiä ihmisen kirjoittamaksi. OpenAI:n työkaluilla tuotettu teksti voi olla liian lyhyt, muokattu tai käännetty, jolloin tunnistus ei välttämättä toimi luotettavasti. Se voi myös olla peräisin mallista, jota tunnistus ei tue, ajalta ennen vesileimauksen käyttöönottoa tai toisen yrityksen työkaluista.
Tekstin vesileimauksen käyttöönotto EU:ssa. Otamme tulevien viikkojen aikana tekstin vesileimauksen käyttöön ehdot täyttävillä ChatGPT:n ja Codexin käyttäjillä kaikissa tilausvaihtoehdoissa vain EU:n alueella. Emme ota tekstin vesileimausta julkaisun yhteydessä oletusarvoisesti käyttöön maailmanlaajuisesti. Tämä alueellinen lähestymistapa antaa meille mahdollisuuden oppia käytännön kokemuksista ja palautteesta.
Valinnaisen vesileimauksen tarjoaminen API-asiakkaille. Tästä päivästä alkaen API-asiakkaat kaikkialla maailmassa voivat ottaa vesileimauksen käyttöön tiettyjen mallien tuottamissa teksteissä. Näin asiakkaat voivat päättää, miten vesileimaus sopii heidän läpinäkyvyysvelvoitteisiinsa ja käyttäjille tarjoamiinsa kokemuksiin. Teemme myös yhteistyötä pilvipalvelukumppaneidemme kanssa, jotta vesileimaus saadaan tulevien viikkojen aikana käyttöön niiden palvelujen kautta saatavissa OpenAI:n mallien tuotoksissa.
Tunnistustyökalun käyttöoikeuden tarjoaminen tutkijoille ja asiantuntijaorganisaatioille. Hyväksytyt tutkijat ja asiantuntijaorganisaatiot voivat hakea käyttöoikeutta tästä päivästä alkaen. Käytännesääntöjen(avautuu uudessa ikkunassa) mukaisesti käyttöoikeus myönnetään aluksi tapauskohtaisesti tekstin alkuperän selvittämisen arviointia ja kehittämistä varten. Työkalu ilmoittaa, havaitseeko se OpenAI:n vesileiman, mutta ei yksilöi käyttäjää eikä paljasta tämän kehotteita tai keskusteluja. Emme tuo työkalua julkisesti saataville julkaisun yhteydessä, koska vesileimoja voi jäädä havaitsematta ja tulokset voivat sisältää vääriä positiivisia.
Odotamme arvioivamme tämän lähestymistavan kaikkia osa-alueita uudelleen teknologian, standardien ja tutkimusnäytön kehittyessä.
Mikään yksittäinen alkuperän selvittämismenetelmä ei riitä sellaisenaan. Siksi käytämme monikerroksista lähestymistapaa, jossa yhdistyvät avoimet standardit, kestävä vesileimaus ja varmennustyökalut.
Lisäämme tuettuihin kuvatuotoksiin Content Credentials -tiedot ja noudatamme C2PA-standardia(avautuu uudessa ikkunassa). Upotamme tuettuihin kuviin ja ääneen näkymättömät SynthID(avautuu uudessa ikkunassa)-vesileimat ja tarjoamme kuvien ja äänen varmennuksen openai.com/verify-palvelussa ja sisällön alkuperätietojen API:ssa(avautuu uudessa ikkunassa). Nämä menetelmät täydentävät toisiaan: Content Credentials -tietoihin voidaan tallentaa tiedoston alkuperä ja historia, ja näkymättömät vesileimat voivat säilyttää signaalin, vaikka metatiedot poistettaisiin.
Kuten kerroimme vaalien turvaamista koskevassa työssämme, alkuperätiedot voivat auttaa ihmisiä ja alustoja arvioimaan mahdollisesti harhaanjohtavaa tekoälyllä tuotettua sisältöä, kuten syväväärennöksiä. Täydennämme näitä signaaleja toimintaperiaatteilla, väärinkäytösten tunnistuksella, ilmoituksilla, tutkinnalla ja valvontatoimilla. Teemme yhteistyötä tutkijoiden, standardointielinten, alustojen ja kansalaisyhteiskunnan kanssa, jotta alkuperätiedoista olisi hyötyä koko ekosysteemissä.
Alkuperätietojen ulottaminen tekstiin edellyttää sen huomioimista, kuinka helposti tekstiä voi kirjoittaa uudelleen, kääntää tai muokata. Kuten totesimme kesäkuussa, lähestymistapamme on huomioitava nykyteknologian käytännön rajoitukset. Jatkamme tunnistuksen parantamista ja tutkimme, miten vesileimat kestävät muokkausta ja kääntämistä. Selvitämme myös tapoja erottaa entistä mielekkäämmin toisistaan tekoälyavusteinen kirjoittaminen ja tekoälyn tuottama teksti. Mukautamme lähestymistapaamme tutkimusnäytön, standardien ja sääntelyvaatimusten kehittyessä. Laajennamme tunnistustyökalun käyttöoikeutta, kun uskomme, että tuloksia voidaan tulkita vastuullisesti.
Lisätietoja on ohjekeskuksemme artikkelissa(avautuu uudessa ikkunassa).
