Tietokonetta käyttävä agentti

Tänään esittelimme esikatseluversion Operator⁠(avautuu uudessa ikkunassa)-agentista, joka voi suorittaa verkossa tehtäviä puolestasi. Powering Operator on tietokonetta käyttävä agentti (CUA), malli, joka yhdistää GPT‑4o:n näköominaisuudet edistyneeseen päättelyyn vahvistusoppimisen avulla. CUA on koulutettu toimimaan graafisten käyttöliittymien (GUI) – näytöllä näkyvien painikkeiden, valikoiden ja tekstikenttien – kanssa aivan kuten ihmisetkin. Se antaa sille joustavuutta suorittaa digitaalisia tehtäviä ilman käyttöjärjestelmä- tai verkkokohtaisia ​​API-rajapintoja. 

CUA rakentuu vuosien perustutkimukselle multimodaalisen ymmärryksen ja päättelyn risteyskohdassa. Yhdistämällä edistyneen graafisen käyttöliittymän havainnoinnin strukturoituun ongelmanratkaisuun se voi jakaa tehtävät monivaiheisiin suunnitelmiin ja korjata ne mukautuvasti, kun haasteita ilmenee. Tämä ominaisuus on seuraava askel tekoälyn kehityksessä, sillä se antaa mallien käyttää samoja työkaluja, joihin ihmiset luottavat päivittäin, ja siten avaa mahdollisuuksia laajalle valikoimalle uusia sovelluksia.

Vaikka CUA on vielä alkuvaiheessa ja siinä on rajoituksia, se asettaa uusia huippuluokan vertailutuloksia ja saavuttaa 38,1 %:n onnistumisen OSWorldissa tietokoneen täysimittaisissa tehtävissä, 58,1 % WebArenassa ja 87 % WebVoyagerissa verkkopohjaisissa tehtävissä. Nämä tulokset korostavat CUA:n kykyä navigoida ja toimia erilaisissa ympäristöissä käyttämällä yhtä yleistä toimintatilaa. 

Olemme kehittäneet CUA:n turvallisuus etusijalla vastataksemme digitaaliseen maailmaan pääsyn aiheuttamiin haasteisiin, kuten Operatorin järjestelmäkortissamme on yksityiskohtaisesti kuvattu. Iteratiivisen käyttöönottostrategiamme mukaisesti julkaisemme CUA:n aluksi Operatorin esikatseluversiona osoitteessa operator.chatgpt.com⁠(avautuu uudessa ikkunassa) Pro⁠(avautuu uudessa ikkunassa)-tason käyttäjille Yhdysvalloissa. Keräämällä reaalimaailman palautetta voimme tarkentaa turvallisuustoimenpiteitä ja parantaa niitä jatkuvasti valmistautuessamme tulevaisuuteen, jossa digitaalisten agenttien käyttö lisääntyy.

CUA käsittelee raakapikselidataa ymmärtääkseen, mitä näytöllä tapahtuu, ja käyttää virtuaalista hiirtä ja näppäimistöä toimintojen suorittamiseen. Se pystyy navigoimaan monivaiheisissa tehtävissä, käsittelemään virheitä ja sopeutumaan odottamattomiin muutoksiin. Se mahdollistaa CUA:n toiminnan monenlaisissa digitaalisissa ympäristöissä ja suorittaa tehtäviä, kuten lomakkeiden täyttämistä ja verkkosivustoilla navigointia, ilman erikoistuneita API-rajapintoja.

Käyttäjän ohjeiden mukaisesti CUA toimii iteratiivisen silmukan kautta, joka yhdistää havainnoinnin, päättelyn ja toiminnan:

• Havainnointi: Tietokoneen näyttökuvat lisätään mallin kontekstiin, jolloin saadaan visuaalinen tilannekuva tietokoneen nykytilasta. 
• Päättely: CUA pohtii seuraavia vaiheita ajatusketjua käyttäen ja ottaa huomioon nykyiset ja aiemmat kuvakaappaukset ja toiminnot. Tämä sisäinen monologi parantaa suoriutumista tehtävistä mahdollistamalla mallille havaintojensa arvioinnin, välivaiheiden seuraamisen ja dynaamisen sopeutumisen.
• Toiminta: Se suorittaa toiminnot – napsauttamisen, vierittämisen tai kirjoittamisen – kunnes se päättää, että tehtävä on suoritettu tai käyttäjän syötettä tarvitaan. Vaikka CUA käsittelee useimmat vaiheet automaattisesti, se pyytää käyttäjän vahvistusta arkaluontoisille toimille, kuten kirjautumistietojen syöttämiselle tai CAPTCHA-lomakkeisiin vastaamiselle.

CUA luo uuden huippuluokan sekä tietokoneen että selaimen käytön vertailuarvoissa käyttämällä samaa universaalia käyttöliittymää, joka koostuu näytöstä, hiirestä ja näppäimistöstä.

Seuraavat visualisoinnit näyttävät esimerkkejä CUA:n navigoinnista erilaisissa standardoiduissa OSWorld-tehtävissä.

Koska CUA on yksi ensimmäisistä agenttituotteistamme, joka pystyy suorittamaan toimintoja suoraan selaimessa, se tuo mukanaan uusia riskejä ja haasteita, jotka on otettava huomioon. Valmistautuessamme Operatorin käyttöönottoon teimme laajoja turvallisuustestejä ja toteutimme lieventäviä toimenpiteitä kolmessa pääasiallisessa turvallisuusriskiluokassa: väärinkäyttö, mallinnusvirheet ja tuntemattomat todennäköisyys- ja vaikutusriskit. Uskomme, että on tärkeää soveltaa kerroksellista lähestymistapaa turvallisuuteen, joten otimme käyttöön suojatoimia koko käyttöönoton kontekstissa: itse CUA-mallissa, Operator-järjestelmässä ja käyttöönoton jälkeisissä prosesseissa. Tavoitteena on, että lievennykset ovat päällekkäisiä ja jokainen kerros pienentää riskiprofiilia asteittain.

Ensimmäinen riskiluokka on väärinkäyttö. Sen lisäksi, että vaadimme käyttäjiltä käyttöehtojemme noudattamista, olemme suunnitelleet seuraavat lieventävät toimenpiteet vähentääksemme Operatorin väärinkäytöstä johtuvaa vahinkoriskiä GPT‑4o:n turvallisuustyömme pohjalta:

• Kieltäytymiset: CUA-malli on koulutettu kieltäytymään monista haitallisista tehtävistä ja laittomista tai säännellyistä toiminnoista.
• Estoluettelo: Operator ei voi käyttää verkkosivustoja, jotka olemme ennaltaehkäisevästi estäneet, kuten monia uhkapelisivustoja, aikuisviihdettä ja huume- tai asekauppoja.
• Moderointi: Käyttäjien vuorovaikutusta tarkastellaan reaaliajassa automaattisilla turvatarkastuksilla, jotka on suunniteltu varmistamaan käyttöehtojen noudattaminen ja joilla on mahdollisuus antaa varoituksia tai estää kiellettyjä toimintoja. 
• Offline-tunnistus: Olemme myös kehittäneet automaattisia tunnistus- ja ihmisen suorittamia tarkastusprosesseja, joiden avulla voimme tunnistaa kielletyn käytön prioriteettialueilla, mukaan lukien lasten turvallisuus ja harhaanjohtava toiminta, mikä mahdollistaa käyttökäytäntöjemme täytäntöönpanon.

Toinen riskiluokka on mallivirheet, joissa CUA-malli vahingossa tekee toiminnon, jota käyttäjä ei tarkoittanut, mikä puolestaan ​​aiheuttaa vahinkoa käyttäjälle tai muille. Hypoteettiset virheet voivat vaihdella vakavuusasteeltaan sähköpostin kirjoitusvirheestä väärän tuotteen ostamiseen tai tärkeän asiakirjan pysyvään poistamiseen. Mahdollisten haittojen minimoimiseksi olemme kehittäneet seuraavat lieventämistoimenpiteet:

• Käyttäjän vahvistukset: CUA-malli on koulutettu pyytämään käyttäjältä vahvistusta ennen ulkoisia sivuvaikutuksia sisältävien tehtävien viimeistelyä, esimerkiksi ennen tilauksen lähettämistä tai sähköpostin lähettämistä, jotta käyttäjä voi tarkastaa mallin työn ennen kuin siitä tulee pysyvä.
• Tehtävien rajoitukset: Toistaiseksi CUA-malli ei auta tietyissä riskialttiimmissa tehtävissä, kuten pankkitapahtumissa ja arkaluontoista päätöksentekoa vaativissa tehtävissä.
• Valvontatila: Erityisen arkaluontoisilla verkkosivustoilla, kuten sähköpostissa, Operator vaatii aktiivista käyttäjän valvontaa varmistaen, että käyttäjät voivat suoraan havaita ja korjata mallin mahdolliset virheet.

Yksi erityisen tärkeä mallivirheiden luokka on verkkosivustoihin kohdistuvat hyökkäykset, jotka saavat CUA-mallin suorittamaan tahattomia toimia esimerkiksi kehotteiden syöttämisen, suojausmurtojen ja tietojenkalasteluyritysten avulla. Edellä mainittujen mallivirheitä ehkäisevien lieventävien toimenpiteiden lisäksi kehitimme useita lisäpuolustuskerroksia suojautuaksemme näiltä riskeiltä:

• Varovainen navigointi: CUA-malli on suunniteltu tunnistamaan ja jättämään huomiotta verkkosivustoilla tehdyt kehotteiden syöttämiset, ja se tunnistaa kaikki paitsi yhden tapauksen varhaisesta sisäisestä red teaming -istunnosta.
• Seuranta: Operatorissa olemme ottaneet käyttöön lisämallin, joka valvoo ja keskeyttää suorituksen, jos se havaitsee näytöllä epäilyttävää sisältöä.
• Havaitsemisprosessi: Käytämme sekä automaattista tunnistusjärjestelmää että ihmisen suorittamia tarkastuksia epäilyttävien käyttötapausten tunnistamiseksi. Nämä mallit voidaan merkitä ja lisätä nopeasti valvontaan (muutamassa tunnissa).

Lopuksi arvioimme CUA-mallia valmiusviitekehyksessämme esitettyjen tuntemattomien todennäköisyys- ja vaikutusriskien⁠(avautuu uudessa ikkunassa) varalta, mukaan lukien skenaariot, joissa käytettiin autonomista replikointia ja bioriskityökaluja. Nämä arvioinnit eivät osoittaneet lisäriskiä GPT‑4o:n lisäksi.

Niitä, jotka ovat kiinnostuneita tutustumaan arviointeihin ja suojatoimiin tarkemmin, kehotamme tutustumaan Operatorin järjestelmäkorttiin, joka on jatkuvasti päivittyvä asiakirja ja tarjoaa läpinäkyvyyttä lähestymistapaamme turvallisuuteen ja jatkuviin parannuksiin.

Koska monet Operatorin ominaisuuksista ovat uusia, niin ovat myös käyttöön ottamamme riskit ja niiden lieventämismenetelmät.  Vaikka olemme pyrkineet huippuluokan, monipuolisiin ja toisiaan täydentäviin riskienhallinnan keinoihin, odotamme näiden riskien ja lähestymistapamme kehittyvän oppiessamme lisää. Odotamme innolla, että voimme käyttää tutkimuksen esikatselujakson tilaisuutena kerätä käyttäjäpalautetta, hioa suojatoimiamme ja parantaa agenttien turvallisuutta.

CUA hyödyntää vuosien tutkimustyötä multimodaalisuuden, päättelyn ja turvallisuuden saralla. Olemme edistyneet merkittävästi syväpäättelyssä o-mallisarjan avulla, näkökyvyssä GPT‑4o:n avulla ja uusissa tekniikoissa, joilla parannetaan luotettavuutta vahvistusoppimisen ja käskyhierarkian avulla. Seuraava haastealue, jota aiomme tutkia, on agenttien toiminta-alueen laajentaminen. Universaalin käyttöliittymän tarjoama joustavuus vastaa tähän haasteeseen mahdollistamalla agentin, joka pystyy navigoimaan missä tahansa ihmisille suunnitellussa ohjelmistotyökalussa. Siirtymällä erikoistuneiden agenttiystävällisten API-rajapintojen ulkopuolelle CUA voi mukautua mihin tahansa käytettävissä olevaan tietokoneympäristöön. Se todella ratkaisee digitaalisten käyttötapausten nk. pitkän hännän, joka on useimpien tekoälymallien ulottumattomissa.

Työskentelemme myös sen eteen, että CUA olisi saatavilla API⁠(avautuu uudessa ikkunassa)-rajapinnassa, jotta kehittäjät voivat käyttää sitä omien tietokonetta käyttävien agenttiensa rakentamiseen. Jatkaessamme CUA:n kehittämistä odotamme innolla, mitä erilaisia ​​käyttötapauksia yhteisö tulee löytämään. Aiomme käyttää tästä varhaisesta esikatselusta keräämäämme reaalimaailman palautetta CUA:n ominaisuuksien ja turvatoimenpiteiden jatkuvaan parantamiseen, jotta voimme edistää turvallisesti tehtäväämme jakaa tekoälyn hyötyjä kaikille.