Herramientas nuevas y mejoradas para la moderación de contenido
Para ayudar a los desarrolladores a proteger sus aplicaciones contra un posible uso incorrecto, estamos introduciendo el punto final de moderación(se abre en una nueva ventana) más rápido y preciso. Este punto final proporciona a los desarrolladores de la API de OpenAI acceso gratuito a clasificadores basados en GPT que detectan contenido indeseado, una instancia de uso de sistemas de IA para ayudar con la supervisión humana de estos sistemas. También lanzamos un documento técnico(se abre en una nueva ventana) que describe nuestra metodología y el conjunto de datos(se abre en una nueva ventana) usados para evaluación.
Cuando se introduce una entrada de texto, el punto final evalúa si el contenido es sexual, lleno de odio, violento o promueve la autolesión, contenido prohibido según nuestra política de contenido(se abre en una nueva ventana). El punto final está entrenado para ser rápido, preciso y desempeñarse de manera sólida en diversas aplicaciones. Lo más importante es que reduce las posibilidades de productos que «digan» algo erróneo, incluso cuando se implementan para usuarios a escala. Como consecuencia, la IA puede desbloquear beneficios en entornos sensibles, como educación, donde de otra forma no se podría usar con confianza.
El punto final de moderación ayuda a los desarrolladores a obtener beneficios de nuestras inversiones en infraestructura. En lugar de crear y mantener sus propios clasificadores, un proceso extenso, como lo registramos en nuestro documento(se abre en una nueva ventana), pueden acceder a clasificadores precisos a través de una llamada única de API.
Como parte del compromiso de OpenAI para hacer más seguro el ecosistema de IA, proporcionamos este punto final para una moderación gratuita de todo el contenido generado por la API de OpenAI. Por ejemplo, Inworld(se abre en una nueva ventana), un cliente de API de OpenAI, usa el punto final de moderación para ayudar a sus personajes virtuales basados en IA a que continúen siendo adecuados para sus audiencias. Al aprovechar la tecnología de OpenAI, Inworld se puede enfocar en su producto central: crear personajes memorables. Actualmente no admitimos la supervisión de tráfico de terceros.
Comienza con el punto final de moderación al revisar la documentación(se abre en una nueva ventana). En nuestro documento(se abre en una nueva ventana) encontrarás más detalles del proceso de entrenamiento y el rendimiento del modelo. También lanzamos un conjunto de datos de evaluación(se abre en una nueva ventana), con datos de Common Crawl etiquetados dentro de estas categorías, que esperamos estimule más investigaciones en esta área.
