Nueva y mejorada herramienta de moderación de contenidos
Para ayudar a los desarrolladores a proteger sus aplicaciones contra posibles usos indebidos, presentamos el endpoint Moderation(se abre en una ventana nueva), mucho más rápido y preciso. Este endpoint proporciona a los desarrolladores de la API de OpenAI acceso gratuito a los clasificadores basados en GPT que detectan contenidos no deseados. En otras palabras, es un claro ejemplo del uso de sistemas de IA para ayudar en la supervisión humana de estos sistemas. De igual forma, hemos publicado un documento técnico(se abre en una ventana nueva) que describe nuestra metodología y el conjunto de datos(se abre en una ventana nueva) que se ha usado para la evaluación.
Cuando recibe una entrada de texto, el endpoint Moderation evalúa si el contenido es sexual, incita al odio, es violento o fomenta las autolesiones. Es decir, contenidos prohibidos por nuestra política de contenidos(se abre en una ventana nueva). Hemos entrenado este endpoint para que sea rápido, preciso y funcione con solidez en una amplia gama de aplicaciones. Y, lo que es más importante, reduce las posibilidades de que los productos «digan» algo erróneo, incluso si se despliega a gran escala entre los usuarios. Como consecuencia, la IA puede ofrecer ventajas en entornos sensibles, como la educación, en los que, de otro modo, no podría usarse de forma fiable.
El endpoint Moderation ayuda a los desarrolladores a beneficiarse de nuestras inversiones en infraestructura. En vez de crear y mantener sus propios clasificadores ―un proceso exhaustivo, tal y como indicamos en nuestro documento(se abre en una ventana nueva)―, pueden acceder a clasificadores precisos con tan solo una petición a la API.
Como parte del compromiso de OpenAI por hacer más seguro el ecosistema de la IA, ofrecemos este endpoint para permitir la moderación gratuita de todo el contenido generado por IA de la API de OpenAI. Por ejemplo, Inworld(se abre en una ventana nueva), un cliente de la API de OpenAI, utiliza el endpoint Moderation para ayudar a que sus personajes virtuales basados en la IA sigan siendo apropiados para su público. Así pues, al aprovechar la tecnología de OpenAI, Inworld se puede centrar en su producto principal: crear personajes inolvidables. A día de hoy, no ofrecemos la supervisión del tráfico de terceros.
Echa un vistazo a la documentación(se abre en una ventana nueva) y empieza a utilizar el endpoint Moderation. Descubre más detalles sobre el proceso de entrenamiento y el rendimiento del modelo en nuestro documento(se abre en una ventana nueva). También hemos publicado un conjunto de datos de evaluación(se abre en una ventana nueva) que incluye datos de Common Crawl etiquetados en estas categorías. Esperamos que sirva para fomentar las nuevas investigaciones en este campo.
