OpenAI y Anthropic colaboran en evaluación de seguridad para modelos enviados al gobierno de EE. UU.

OpenAI y Anthropic acuerdan enviar modelos al gobierno de EE. UU. para evaluaciones de seguridad

Un acuerdo firmado entre OpenAI y Anthropic con el Instituto de Seguridad de la Inteligencia Artificial bajo el Instituto Nacional de Estándares y Tecnología (NIST) busca colaborar en la investigación, prueba y evaluación de la seguridad de modelos de inteligencia artificial.

Este acuerdo permitirá al Instituto de Seguridad de la Inteligencia Artificial acceder a los nuevos modelos de inteligencia artificial que ambas compañías planean lanzar antes y después de su lanzamiento público. Este tipo de evaluación de seguridad es similar a la realizada por el Instituto de Seguridad de la Inteligencia Artificial del Reino Unido, donde los desarrolladores de inteligencia artificial brindan acceso a modelos base prelanzados para pruebas.

La directora del Instituto de Seguridad de la Inteligencia Artificial, Elizabeth Kelly, mencionó en un comunicado de prensa: «Con estos acuerdos en marcha, esperamos comenzar nuestras colaboraciones técnicas con Anthropic y OpenAI para avanzar en la ciencia de la seguridad de la inteligencia artificial. Estos acuerdos son solo el comienzo, pero son un hito importante en nuestro trabajo para ayudar a guiar de manera responsable el futuro de la inteligencia artificial».

Además, el Instituto de Seguridad de la Inteligencia Artificial proporcionará a OpenAI y Anthropic comentarios sobre posibles mejoras de seguridad en sus modelos, en estrecha colaboración con sus socios del Instituto de Seguridad de la Inteligencia Artificial del Reino Unido.

Tanto OpenAI como Anthropic han expresado que este acuerdo con el Instituto de Seguridad de la Inteligencia Artificial impulsará el establecimiento de normas para el desarrollo responsable de inteligencia artificial en los Estados Unidos.

Es importante destacar que OpenAI ha manifestado su apoyo a la regulación de sistemas de inteligencia artificial a pesar de las preocupaciones de antiguos empleados sobre la priorización de la seguridad por parte de la empresa. El CEO de OpenAI, Sam Altman, ha declarado recientemente el compromiso de la compañía para proporcionar sus modelos a agencias gubernamentales para pruebas de seguridad y evaluación antes de su lanzamiento.

Por su parte, Anthropic, que ha contratado parte del equipo de seguridad y alineación superior de OpenAI, envió su modelo Claude 3.5 Sonnet al Instituto de Seguridad de la Inteligencia Artificial del Reino Unido antes de su lanzamiento público.

Aunque el Instituto de Seguridad de la Inteligencia Artificial en NIST fue creado mediante una orden ejecutiva del gobierno de Biden, aún no constituye legislación y puede ser revocado por el próximo presidente de los Estados Unidos. Este orden ejecutiva insta a los desarrolladores de modelos de inteligencia artificial a someter sus modelos a evaluaciones de seguridad antes de su lanzamiento público, sin embargo, no tiene capacidad para sancionar a las empresas si no lo hacen ni retirar modelos si no pasan las pruebas de seguridad.

Este acuerdo entre el Instituto de Seguridad de la Inteligencia Artificial de EE. UU. y dos de las principales empresas de desarrollo de inteligencia artificial marca un camino hacia la regulación de la seguridad de modelos. Sin embargo, existen preocupaciones sobre la falta de claridad en las regulaciones y en la definición del término «seguridad».

Grupos dedicados a la seguridad de la inteligencia artificial han expresado que este acuerdo es un «paso en la dirección correcta», sin embargo, se enfatiza la importancia de que las compañías de inteligencia artificial cumplan con sus promesas en términos de seguridad y regulación.