En el artículo "Cognitive Prompting in LLMs: Can we teach machines to think like humans?" publicado en Towards Data Science, Oliver Kramer explora la idea de enseñar a los modelos de lenguaje (LLMs) a pensar de manera similar a los humanos mediante la aplicación de operaciones cognitivas. El autor destaca que, aunque la inteligencia artificial (IA) ha avanzado considerablemente, existe una brecha significativa entre la manera en que los humanos y las máquinas procesan la información. Para Kramer, esta diferencia es notoria en conceptos clave de la IA y el aprendizaje automático, como el perceptrón, que se dice estar inspirado en el funcionamiento de las neuronas biológicas, pero que en realidad dista mucho de cómo operan los sistemas neuronales humanos. Del mismo modo, técnicas como la lógica difusa intentan emular la inferencia humana, pero también presentan divergencias en su implementación en las máquinas.
Con la aparición de modelos avanzados de lenguaje como ChatGPT, Claude y LLaMA, basados en miles de millones de parámetros y con mecanismos que emulan ciertos aspectos cognitivos humanos como la atención, los LLMs han demostrado una capacidad impresionante para tareas como la generación de código, la síntesis de artículos y la resolución de preguntas complejas. Sin embargo, Kramer señala que gran parte de su éxito depende de la formulación precisa de los prompts, lo que ha llevado al surgimiento del campo de la "ingeniería de prompts". Aunque el autor reconoce la importancia de esta área, sugiere que el enfoque actual tiene limitaciones al depender de ejemplos concretos y soluciones prediseñadas. Como respuesta, plantea el concepto de "cognitive prompting" o "incitación cognitiva", una metodología que busca cerrar la brecha entre las capacidades de las máquinas y las operaciones cognitivas humanas.
¿Qué es la incitación cognitiva?
La incitación cognitiva, según Kramer, se refiere a la idea de guiar a los modelos de lenguaje mediante pasos estructurados que imitan las operaciones cognitivas humanas. Estas operaciones incluyen la clarificación de objetivos, la descomposición de problemas, la filtración de información irrelevante, el reconocimiento de patrones y la integración de soluciones. Este proceso busca que los LLMs no solo respondan preguntas, sino que también se conduzcan a sí mismos y guíen al usuario a través de procesos complejos de resolución de problemas, de manera similar a cómo lo haría un ser humano.
El artículo proporciona un ejemplo para ilustrar este enfoque. Al resolver un problema matemático, un humano generalmente sigue una serie de pasos: primero, aclara cuál es el objetivo del problema, luego lo descompone en pasos más pequeños, filtra la información irrelevante y busca patrones que puedan facilitar la resolución. Finalmente, el individuo integra las distintas piezas de información para llegar a la solución. Kramer argumenta que estas operaciones cognitivas, denominadas COPs (por sus siglas en inglés, "Cognitive Operations"), pueden aplicarse también a los LLMs para mejorar su capacidad de resolver problemas de manera más eficiente.
Implementación de la incitación cognitiva
Para implementar la incitación cognitiva en los LLMs, Kramer y su equipo diseñaron una secuencia de COPs y la incluyeron en el prompt del modelo de lenguaje. Entre las operaciones que destacan están la clarificación de objetivos, la descomposición, la filtración, el reconocimiento de patrones y la integración. Cada uno de estos pasos imita la manera en que los humanos procesan problemas complejos, permitiendo al modelo organizar su razonamiento de una manera más lógica y estructurada.
Una de las innovaciones del equipo de Kramer fue permitir que el modelo adaptara la secuencia de COPs de manera flexible, en lugar de seguir un orden predefinido. Este enfoque, que llaman "incitación cognitiva reflexiva y auto-adaptativa", otorga al modelo la libertad de elegir el orden y la combinación de COPs más adecuados para el problema en cuestión. Según Kramer, esta estrategia ha mostrado resultados positivos en las pruebas experimentales.
El artículo también destaca que adaptar las COPs a dominios específicos, como la resolución de problemas aritméticos, mejora significativamente el rendimiento del modelo. En lugar de seguir una lista general de COPs, el equipo ajustó las operaciones para que se aplicaran directamente al dominio matemático, lo que llevó a una mayor precisión y eficiencia en la resolución de problemas.
Ejemplo práctico
Kramer presenta un ejemplo de cómo funciona la incitación cognitiva en un problema aritmético utilizando el modelo LLaMA 3.1 de 70 mil millones de parámetros. En el ejemplo, el modelo sigue una secuencia de COPs para resolver uno de los problemas del conjunto de datos GSM8K, un benchmark estándar para evaluar la capacidad de los LLMs en la resolución de problemas matemáticos de nivel escolar.
El resultado del modelo muestra que no solo proporciona la respuesta correcta, sino que también genera una explicación clara del proceso que siguió, lo que facilita la comprensión del problema para los usuarios humanos. Este ejemplo ilustra cómo la incitación cognitiva puede mejorar no solo la precisión de las respuestas, sino también la calidad de las explicaciones generadas por el modelo.
Rendimiento científico de la incitación cognitiva
El equipo de Kramer probó la incitación cognitiva en un conjunto de problemas del benchmark GSM8K utilizando dos versiones del modelo LLaMA: una con 8 mil millones de parámetros y otra con 70 mil millones de parámetros. Los resultados fueron prometedores. En el caso del modelo más grande, el rendimiento mejoró significativamente al aplicar incitación cognitiva, aumentando su tasa de éxito del 87% al 89% cuando se utilizaba una secuencia fija de COPs. Cuando se permitió al modelo elegir su propia secuencia de operaciones, el rendimiento alcanzó el 91%.
Estos resultados sugieren que la incitación cognitiva puede tener un impacto positivo en la capacidad de los LLMs para resolver problemas complejos, especialmente en dominios como las matemáticas. La capacidad de los modelos para elegir dinámicamente las COPs más adecuadas parece ser una estrategia efectiva para mejorar su rendimiento en problemas que requieren un razonamiento estructurado y lógico.
Implicaciones más allá de las matemáticas
Kramer señala que, aunque los experimentos se centraron en problemas matemáticos, la incitación cognitiva tiene el potencial de aplicarse a una amplia variedad de dominios. Áreas como la toma de decisiones, el razonamiento lógico y la creatividad podrían beneficiarse de este enfoque, ya que estos campos requieren más que la simple repetición de información o la predicción de la próxima palabra en una oración. Al enseñar a los modelos a "pensar" de manera más similar a los humanos, se abre la posibilidad de que puedan abordar problemas más complejos y abstractos de una manera más eficiente y comprensible.
Futuras direcciones de investigación
Aunque los resultados de la investigación son prometedores, Kramer reconoce que la incitación cognitiva está todavía en sus primeras etapas de desarrollo. A medida que se exploran versiones más avanzadas de esta técnica, el próximo gran desafío será optimizar su aplicación en diferentes tipos de problemas. Kramer sugiere que, en el futuro, los modelos de lenguaje podrían ser capaces de abordar no solo problemas matemáticos, sino también dilemas morales y cuestiones éticas, todo mientras piensan de manera lógica y creativa como los humanos.
En conclusión, la incitación cognitiva ofrece una manera innovadora de mejorar la capacidad de los modelos de lenguaje para resolver problemas complejos. Al estructurar su razonamiento mediante operaciones cognitivas similares a las humanas, los LLMs pueden avanzar más allá de la simple predicción y generar soluciones más lógicas, comprensibles y eficientes. El artículo de Kramer abre la puerta a nuevas posibilidades en la intersección entre la inteligencia artificial y la ciencia cognitiva, con implicaciones emocionantes para el futuro del desarrollo de IA.
