El artículo "Why Explainability Matters in AI" de Uri Merhav aborda la importancia de la explicabilidad en los modelos de inteligencia artificial (IA), con un enfoque práctico que trasciende la mera curiosidad científica. Aunque a menudo se podría pensar que la necesidad de explicaciones detalladas de los resultados generados por la IA no es esencial, Merhav argumenta que en ciertos contextos la explicabilidad no solo es útil, sino crítica. Este argumento se sostiene sobre tres grandes principios: la precisión, la utilidad práctica y las implicaciones legales.
La irrelevancia de la explicabilidad en algunos casos
Merhav inicia el artículo con una afirmación provocadora: las explicaciones no siempre son necesarias. En situaciones en las que lo único que importa es la precisión, como en un diagnóstico médico de cáncer basado en una resonancia magnética, lo más relevante es la mejora en la precisión de los resultados, más que la explicación del proceso. Para el autor, si los resultados de un sistema de IA superan el rendimiento humano, no es necesario ofrecer una explicación detallada que justifique cada decisión. Argumenta que perseguir explicaciones solo para generar confianza en la IA es inútil cuando lo que verdaderamente importa es la exactitud del resultado.
Cuándo la explicabilidad es esencial
Sin embargo, Merhav admite que hay contextos en los que la explicabilidad es crucial. Estos escenarios surgen cuando el resultado del modelo de IA requiere validación humana o cuando es necesario tomar acciones basadas en el análisis. En estos casos, las explicaciones ayudan a los usuarios a identificar puntos clave que les permiten mejorar el resultado o tomar decisiones más precisas. El ejemplo de la detección de una cláusula injusta en un contrato ilustra este punto: no basta con que el sistema señale la existencia de una cláusula problemática; es esencial que la IA localice el fragmento específico donde se encuentra la cláusula para que los usuarios puedan actuar en consecuencia.
Uno de los ejemplos más claros proviene de DocuPanda, un servicio cofundado por el autor, que permite a los usuarios transformar documentos complejos en salidas estructuradas en formato JSON. Por ejemplo, al procesar un contrato de alquiler de 51 páginas, el sistema extrae valores clave como el monto mensual del alquiler o si se permiten mascotas. Aquí, la explicabilidad es valiosa en dos frentes: primero, permite verificar si la política de mascotas ha sido correctamente interpretada, y segundo, facilita la propuesta de ediciones al contrato. En lugar de simplemente mostrar una salida en JSON, DocuPanda señala con precisión el párrafo del contrato que justifica la predicción del sistema, lo que permite a los usuarios tomar decisiones bien fundamentadas.
Explicaciones que impulsan la precisión
Uno de los puntos más importantes del artículo es el uso de explicaciones para mejorar la precisión. En ciertos contextos, como en el procesamiento de documentos financieros, la capacidad de un humano para verificar los resultados es fundamental. Por ejemplo, al procesar una factura de $12,000, el margen de error debe ser mínimo, y la capacidad de revisar y validar las predicciones del sistema puede reducir significativamente las tasas de error.
Merhav señala que, en general, los humanos son buenos procesando documentos, aunque este proceso sea costoso. Sin embargo, la combinación de las habilidades humanas con las capacidades automatizadas puede resultar en una mayor precisión, reduciendo el margen de error a niveles mucho más bajos. Este tipo de colaboración entre IA y humanos es un ejemplo de cómo la explicabilidad puede mejorar los resultados finales.
Explicaciones que mejoran la productividad de los trabajadores del conocimiento
Merhav también introduce un segundo paradigma de la explicabilidad que no había anticipado del todo: su capacidad para mejorar la productividad de los trabajadores del conocimiento. En muchos casos, el usuario no busca únicamente una respuesta, sino que utiliza la IA como una herramienta para acceder a la información relevante de manera más eficiente. Un ejemplo concreto es el de una empresa de investigación biológica que utiliza DocuPanda para escanear publicaciones y detectar procesos que aumenten la producción de azúcar en las papas. Al extraer datos como genes que afectan la producción de azúcar, los investigadores pueden hacer clic en los nombres de los genes y saltar directamente al contexto en el que se mencionan. Este proceso no solo les permite verificar la información, sino también determinar si es relevante para su investigación.
En este contexto, la explicación es más importante que la respuesta en bruto, ya que permite a los investigadores llegar rápidamente al núcleo de los artículos y tomar decisiones más informadas. Esta capacidad de la IA para resaltar la información relevante y contextualizarla para el usuario aumenta la productividad de los trabajadores del conocimiento, un beneficio clave de la explicabilidad.
Explicaciones para fines legales y de responsabilidad
Otro uso crucial de las explicaciones es en el contexto de la responsabilidad legal. Merhav argumenta que, además de reducir los errores, las explicaciones permiten a las empresas demostrar que tienen un proceso razonable y legalmente conforme en funcionamiento. En este sentido, las explicaciones no solo son útiles para verificar la precisión, sino que también sirven como una forma de mostrar que el sistema es transparente y que los resultados pueden rastrearse hasta su origen.
Un ejemplo relacionado es el de los sistemas de conducción autónoma, donde los reguladores y la opinión pública tienden a tolerar menos errores en sistemas automatizados que en aquellos donde los humanos están involucrados. Aunque los accidentes per milla pueden ser menores en los sistemas completamente autónomos, las expectativas son más estrictas. Merhav sugiere que la capacidad de involucrar a un humano en el proceso, aunque sea para revisar y aprobar los resultados, puede ser legalmente útil para mitigar la exposición a riesgos. En lugar de depender únicamente de la automatización, las empresas pueden presentar sus sistemas como herramientas que aceleran la productividad de los humanos, manteniendo a estos últimos en la supervisión del proceso.
El artículo concluye con una reflexión sobre la importancia contextual de la explicabilidad en los modelos de IA. Merhav sostiene que, aunque la precisión debe ser siempre prioritaria, la explicabilidad desempeña un papel clave en ciertos escenarios. Cuando la precisión puede mejorarse a través de la validación humana, cuando los resultados requieren acciones específicas o cuando las explicaciones son necesarias para cumplir con normativas legales, la capacidad de un sistema de IA para proporcionar explicaciones detalladas es invaluable.
La argumentación de Merhav no sugiere que la explicabilidad sea necesaria en todos los casos, pero resalta su importancia en situaciones donde los humanos todavía desempeñan un papel crucial en el proceso de toma de decisiones. En última instancia, la clave está en encontrar un equilibrio entre la precisión de los modelos de IA y la capacidad de estos sistemas para ofrecer explicaciones que impulsen la validación, la productividad y el cumplimiento normativo.
Este enfoque hacia la explicabilidad proporciona una visión más pragmática del uso de la IA en el mundo real, donde la precisión y la utilidad deben ir de la mano para garantizar que las tecnologías de IA no solo sean potentes, sino también comprensibles y manejables por los seres humanos.
