New and improved content moderation tooling
Per ajudar els desenvolupadors a protegir les seves aplicacions contra possibles usos indeguts, presentem el punt final Moderation(s'obre en una finestra nova) més ràpid i precís. Aquest punt final proporciona als desenvolupadors de l’API d’OpenAI accés gratuït a classificadors basats en GPT que detecten contingut no desitjat —un exemple de l’ús de sistemes d’IA per ajudar en la supervisió humana d’aquests sistemes. També hem publicat tant un article tècnic(s'obre en una finestra nova) que descriu la nostra metodologia com el conjunt de dades(s'obre en una finestra nova) utilitzat per a l’avaluació.
Quan rep una entrada de text, el punt final Moderation avalua si el contingut és sexual, d’odi, violent o promou l’autolesió —contingut prohibit per la nostra política de contingut(s'obre en una finestra nova). El punt final s’ha entrenat per ser ràpid, precís i oferir un rendiment robust en una àmplia gamma d’aplicacions. És important destacar que això redueix les probabilitats que els productes «diguin» alguna cosa inadequada, fins i tot quan es despleguen per a usuaris a gran escala. Com a conseqüència, la IA pot aportar beneficis en entorns sensibles, com ara l’educació, on d’altra manera no es podria utilitzar amb confiança.
El punt final Moderation ajuda els desenvolupadors a beneficiar-se de les nostres inversions en infraestructura. En lloc de crear i mantenir els seus propis classificadors —un procés extens, com documentem al nostre article(s'obre en una finestra nova)—, poden accedir a classificadors precisos mitjançant una sola crida a l’API.
Com a part del compromís d’OpenAI amb fer que l’ecosistema de la IA sigui més segur, oferim aquest punt final per permetre la moderació gratuïta de tot el contingut generat per l’API d’OpenAI. Per exemple, Inworld(s'obre en una finestra nova), un client de l’API d’OpenAI, utilitza el punt final Moderation per ajudar que els seus personatges virtuals basats en IA siguin adequats per als seus públics. Aprofitant la tecnologia d’OpenAI, Inworld es pot centrar en el seu producte principal: crear personatges memorables. Actualment no admetem la supervisió de trànsit de tercers.
Comença a utilitzar el punt final Moderation consultant la documentació(s'obre en una finestra nova). Més detalls sobre el procés d’entrenament i el rendiment del model estan disponibles al nostre article(s'obre en una finestra nova). També hem publicat un conjunt de dades d’avaluació(s'obre en una finestra nova), amb dades de Common Crawl etiquetades dins d’aquestes categories, que esperem que impulsi més recerca en aquesta àrea.
