Investigadores de la UPV participan en el «red team» de GPT-4 de OpenAI

Investigadores de la UPV participan en el «red team» de GPT-4 de OpenAI

Un grupo de investigadores de la Universidad Politécnica de Valencia (UPV) ha colaborado recientemente con OpenAI en la evaluación y mejora de GPT-4, el nuevo modelo de lenguaje basado en inteligencia artificial.
El equipo, liderado por el profesor José Hernández-Orallo e integrado en el instituto VRAIN, ha sido parte del «red team» de GPT-4, cuya misión era encontrar fallos y vulnerabilidades en el sistema, así como evaluar sus capacidades y posibles riesgos asociados a su uso.

La colaboración surgió gracias a la experiencia del grupo de investigación en la evaluación de la inteligencia artificial y sus anteriores trabajos con OpenAI. Investigadores de OpenAI se pusieron en contacto con el equipo de la UPV para solicitar su ayuda en la evaluación de GPT-4, dada la relación entre sus áreas de investigación.

El equipo de la UPV, compuesto por Yael Moros, Lexin Zhou, Wout Schellaert, Cèsar Ferri y José Hernández-Orallo, trabajó estrechamente con otros investigadores de OpenAI en el «red team». Su labor consistió en la identificación de riesgos y vulnerabilidades en el sistema, adoptando la mentalidad y métodos de posibles atacantes, así como en la evaluación de las capacidades de GPT-4 y el potencial exceso de confianza de los usuarios en el mismo.

El trabajo realizado por el equipo de la UPV ayudó a identificar riesgos iniciales, motivar la investigación sobre seguridad, realizar pruebas iterativas en áreas clave y reducir los riesgos en muchas áreas identificadas. También permitió comprender mejor las capacidades de GPT-4, sus mejoras con respecto a modelos anteriores y si estaba avanzando en la dirección deseada.

Los investigadores de la UPV destacan la determinación del «red team» para conseguir sistemas más seguros y el gran salto en rendimiento de GPT-3 a GPT-4 en solo dos años. Aunque consideran que es importante utilizar GPT-4 con cautela para evitar una dependencia excesiva, opinan que tiene un gran potencial para cambiar la forma en que trabajamos, automatizando tareas tediosas y permitiendo centrarse en tareas más desafiantes y divertidas.

En el ámbito de la ingeniería informática, GPT-4 podría influir significativamente en el proceso de desarrollo de software y hardware, mejorando la productividad en tareas como generación de código, detección y corrección de errores, generación de documentación, revisión y optimización de código, extracción y resumen de conocimientos, ciberseguridad, entre otros.

Los investigadores de la UPV subrayan la importancia de fomentar el talento joven en este campo tan prometedor y contar con más recursos y apoyo de la universidad para mantenerse al día con la evolución de la tecnología de inteligencia artificial. Mientras tanto, esperan poder publicar pronto un trabajo en el que se detallen algunas de las tareas realizadas durante su colaboración con OpenAI en GPT-4.

1 Star2 Stars3 Stars4 Stars5 Stars (Ninguna valoración todavía)
Cargando...