El informe “A Flexible Maturity Model for AI Governance” presenta un modelo de madurez flexible basado en el marco de gestión de riesgos de IA desarrollado por el Instituto Nacional de Estándares y Tecnología (NIST). Este marco tiene como objetivo guiar a las organizaciones en la adopción de prácticas responsables en la implementación y gestión de la inteligencia artificial, orientadas a la mitigación de los riesgos sociotécnicos asociados con el uso de esta tecnología.
Contexto y Necesidad de un Modelo de Madurez
En los últimos años, se ha intensificado la demanda por parte de profesionales del ámbito de la ética de la IA para "operacionalizar la ética de la IA". Esto implica un cambio hacia la implementación de procesos prácticos que anticipen, evalúen y mitiguen los riesgos asociados con el uso de sistemas de IA, dejando atrás el énfasis en los principios generales que ha caracterizado la última década.
El modelo de madurez se propone como una herramienta para que las organizaciones puedan evaluar sus prácticas actuales de gestión de riesgos de IA en relación con el marco del NIST. Los modelos de madurez se utilizan en la gestión tecnológica para describir patrones evolutivos en las capacidades organizativas, permitiendo a las empresas comparar su situación actual y establecer metas para la mejora continua.
Estructura del Modelo de Madurez
Este modelo está basado en los pilares de gobernanza del marco NIST, que incluye cuatro componentes clave:
- Mapear: Identificar riesgos y oportunidades.
- Medir: Evaluar riesgos e impactos.
- Gestionar: Implementar prácticas que minimicen riesgos y maximicen beneficios.
- Gobernar: Organizar y sistematizar las actividades en toda la organización.
Cada pilar se subdivide en categorías y subcategorías que permiten a las organizaciones abordar aspectos específicos de la gestión de riesgos en IA. Por ejemplo, dentro del pilar de "Medir", se encuentra la subcategoría "Medir la confianza", que incluye la evaluación de la equidad y el sesgo de los sistemas de IA.
Cuestionario Flexible
El núcleo del modelo es un cuestionario diseñado para evaluar las prácticas de gobernanza de la IA dentro de una organización. Este cuestionario permite a los evaluadores calificar diversas declaraciones basadas en acciones verificables, evitando afirmaciones generales. Las declaraciones se formulan en primera persona plural ("nosotros evaluamos") para enfatizar la responsabilidad de la organización.
El cuestionario se adapta a tres dimensiones de flexibilidad:
- Granularidad: Los evaluadores pueden optar por una evaluación detallada a nivel de subcategoría o una más general basada en temas globales.
- Etapa del ciclo de vida del sistema de IA: El cuestionario está diseñado para adaptarse a las diferentes fases del ciclo de vida de un sistema de IA, desde su planificación hasta su despliegue y monitorización.
- Multiplicidad de sistemas de IA: Permite a las organizaciones con múltiples sistemas de IA evaluar cada sistema por separado o realizar una evaluación conjunta de todos ellos.
Guías de Puntuación
Las guías de puntuación del modelo de madurez aseguran que las evaluaciones se realicen de manera objetiva y fundamentada en evidencia. Los evaluadores asignan una puntuación basada en tres métricas principales:
- Cobertura: Evalúa si la organización aborda adecuadamente todas las subcategorías relevantes dentro de cada pilar del marco NIST.
- Robustez: Refleja el grado en que las actividades de gestión de riesgos están formalizadas, sistematizadas y adaptadas a los cambios en el entorno.
- Diversidad de Entradas: Considera la amplitud de las perspectivas involucradas en la gestión de riesgos, incluyendo aportaciones de diferentes grupos de interés tanto internos como externos.
La puntuación final de cada declaración se basa en una escala de 1 a 5, donde 5 indica que todas las métricas se cumplen en alto grado, y 1 indica que ninguna métrica se cumple.
Agregación de Puntuaciones
Tras evaluar las declaraciones individuales, los evaluadores pueden agregar las puntuaciones para obtener una visión global del desempeño de la organización. El modelo ofrece dos modos de agregación:
- Por Pilares del NIST: Esto permite identificar fortalezas y debilidades en las actividades relacionadas con cada pilar. Por ejemplo, una organización que puntúe alto en "Gobernanza" pero bajo en "Mapear" y "Medir" podría estar implicada en una gestión superficial de los riesgos.
- Por Dimensiones de Responsabilidad: El modelo también permite agrupar las declaraciones en dimensiones específicas de la responsabilidad de IA, como desempeño, equidad, privacidad, seguridad, y transparencia, entre otras.
Este enfoque de agregación permite a las organizaciones no solo evaluar su situación actual, sino también hacer un seguimiento de su progreso a lo largo del tiempo, lo que es especialmente útil para las grandes corporaciones que implementan múltiples sistemas de IA.
Implementación del Modelo
El informe detalla varios ejemplos y estudios de caso que ilustran la implementación del modelo en organizaciones reales. A través de estos casos, se destaca cómo el uso del modelo puede ayudar a identificar áreas de mejora y establecer prioridades claras para la gestión de riesgos. Por ejemplo, una organización puede descubrir que está invirtiendo significativamente en la gobernanza de IA, pero que no está midiendo adecuadamente los impactos de sus sistemas.
El modelo de madurez flexible propuesto proporciona una herramienta valiosa para evaluar y mejorar las prácticas de gobernanza de IA en las organizaciones. Al basarse en un marco respetado y ampliamente aceptado como el del NIST, este modelo ofrece un enfoque riguroso y basado en la evidencia para mitigar los riesgos asociados con la IA. Además, su flexibilidad lo hace aplicable a una amplia variedad de organizaciones y contextos, independientemente del tamaño o la complejidad de los sistemas de IA que gestionen.
Finalmente, el informe resalta la importancia de seguir avanzando hacia una implementación más amplia de estas prácticas, especialmente en vista del crecimiento y la influencia de la IA en diversas industrias. La combinación de herramientas como el modelo de madurez y el marco de gestión de riesgos de IA del NIST son clave para lograr un desarrollo y despliegue de IA seguro, equitativo y responsable.
