Algunas plataformas como YouTube, Twitch o Discord son moderadas por moderadores humanos y ahora OpenAI ha desarrollado sus propio sistema de moderación de contenidos base en GPT-4.
Según el medio Semafor, OpenAI está probando este nuevo sistema de forma interna en su empresa. De esta manera, se quiere que se cumpla las políticas de contenido de la compañía. El usuario tan solo debe insertar las reglas de moderación a GPT-4 y ya. Para saber si funciona, tan solo se deberá testear con una pequeña muestra de contenido problemático y listo. Los humanos revisan los resultados y analizan cualquier error. Luego, el equipo de políticas le pide a la IA que explique por qué tomó esa decisión, corregirla y entrenarla con la nueva información para que sea más precisa. La directora de sistemas de seguridad, Lilian Weng, dijo en una entrevista al medio Semafor lo siguiente:
“Quiero ver a más personas operando su confianza y seguridad, y la moderación [de] esta manera. Este es un muy buen paso adelante en la forma en que usamos la IA para resolver problemas del mundo real de una manera que sea beneficiosa para la sociedad».
Además, eso no es todo, ya que también se plantea que este sistema para usarse para moderar contenido en otras plataformas como redes sociales y comercio electrónico. Puesto que para muchos, puede ser algo agobiante y estresante.