Bo Li, profesor asociado de la Universidad de Chicago especializado en pruebas de estrés y en provocar modelos de IA para descubrir comportamientos inadecuados, se ha convertido en una fuente a la que recurren algunas consultoras. A estas consultoras a menudo les preocupa menos lo inteligentes que son los modelos de IA que lo problemáticos que pueden ser desde el punto de vista legal, ético y de cumplimiento de la normativa.
Li y sus colegas de otras universidades, así como de Virtue AI, cofundada por Li, y Lapis Labs, han desarrollado recientemente una taxonomía de los riesgos de la IA junto con un punto de referencia que revela hasta qué punto infringen las normas los distintos grandes modelos de lenguaje (LLM): “Necesitamos algunos principios para la seguridad de la IA, en términos de cumplimiento normativo y uso ordinario”, explica Li a WIRED.
¿Qué empresas han evaluado?
Los investigadores analizaron las normativas y directrices gubernamentales sobre IA, incluidas las de EE UU, China y la Unión Europea, y estudiaron las políticas de uso de 16 grandes empresas de IA de todo el mundo.
Los investigadores también crearon AIR-Bench 2024, una referencia que utiliza miles de preguntas para determinar cómo se comportan los modelos de IA más populares en términos de riesgos específicos. Muestra, por ejemplo, que Claude 3 Opus de Anthropic ocupa un lugar destacado cuando se trata de evitar generar amenazas de ciberseguridad, mientras que Gemini 1.5 Pro de Google ocupa un lugar destacado cuando se trata de evitar generar desnudos sexuales no consentidos.
¿Para qué evaluar los pro y los contra de los modelos de IA?
Comprender el panorama de riesgos, así como los pros y los contras de modelos específicos, puede ser cada vez más importante para las empresas que buscan desplegar la IA en determinados mercados o para determinados casos de uso. Por ejemplo, una empresa que quiera utilizar un LLM para el servicio de atención al cliente podría preocuparse más por la propensión de un modelo a producir un lenguaje ofensivo cuando le provoca que por su capacidad para diseñar un artefacto nuclear.
Bo sostiene que el análisis también revela algunos problemas interesantes en relación con el desarrollo y la regulación de la IA. Por ejemplo, los investigadores hallaron que las normas gubernamentales son menos exhaustivas que las políticas generales de las empresas, lo que sugiere que hay margen para endurecer la normativa.
El análisis también sugiere que algunas compañías podrían hacer más para garantizar la seguridad de sus modelos. “Si se contrastan algunos modelos con las propias políticas de una empresa, no son necesariamente conformes”, señala Bo. “Esto significa que tienen mucho margen de mejora”.
Otros investigadores intentan poner orden en un panorama de riesgos de IA desordenado y confuso. Esta semana, dos investigadores del MIT revelaron su propia base de datos de peligros de la IA, recopilada a partir de 43 marcos de riesgo de IA diferentes. “Muchas organizaciones todavía están muy al principio de ese proceso de adopción de la IA”, lo que significa que necesitan orientación sobre los posibles peligros, comenta Neil Thompson, un científico investigador del MIT que participa en el proyecto.
Peter Slattery, director del proyecto e investigador del grupo Peter Slattery, que estudia los avances en informática, indica que la base de datos pone de manifiesto que algunos riesgos de la IA reciben más atención que otros. Más del 70% de los marcos mencionan problemas de privacidad y seguridad, por ejemplo, pero solamente alrededor del 40% se refieren a la desinformación.
Los esfuerzos por catalogar y medir los riesgos de la IA tendrán que evolucionar a medida que ésta lo haga. Li afirma que será importante explorar cuestiones emergentes como la adherencia emocional de los modelos de IA. Su empresa analizó recientemente la versión más grande y potente del modelo Llama 3.1 de Meta. “La seguridad no está mejorando de forma significativa”, concluye Li.
Fuente: Wired/ForoVirtualDigital, ACM