La inteligencia artificial, particularmente en el ámbito de los modelos de lenguaje grandes (LLMs) que potencian a los chatbots modernos, ha alcanzado capacidades asombrosas. Estos sistemas pueden imitar estilos de escritura específicos o resumir información compleja con notable fluidez. Sin embargo, aún enfrentan desafíos significativos, como la tendencia a desviarse del tema o a generar información incorrecta. Gran parte de este rendimiento irregular se debe a las limitaciones de los datos de entrenamiento.
Tradicionalmente, los chatbots se pre-entrenan con vastas cantidades de texto de internet para aprender una representación abstracta del lenguaje. Luego, durante la fase de ajuste fino o alineación, se les añade información más específica generada por humanos o máquinas. Pero obtener datos de instrucciones de alta calidad es costoso y laborioso para los humanos, y a menudo carece de la profundidad y amplitud necesarias para guiar a los chatbots en situaciones difíciles, raras o ambiguas. Los datos sintéticos son más económicos, pero suelen sufrir de una falta de variedad similar.
El Método LAB de IBM: Una Nueva Receta para Entrenar Chatbots
IBM ha desarrollado una solución innovadora llamada Large-scale Alignment for chatBots (LAB). Este método permite generar sistemáticamente datos sintéticos para las tareas específicas que se desean que un chatbot realice. Además, facilita la asimilación de nuevo conocimiento y capacidades en el modelo fundacional sin sobrescribir lo que el modelo ya ha aprendido. Con LAB, los LLMs pueden mejorarse drásticamente en mucho menos tiempo y a un menor costo que los métodos de entrenamiento tradicionales.
Según Akash Srivastava, arquitecto jefe de alineación de LLMs en IBM Research, «Los datos de instrucciones son la palanca para construir un chatbot que se comporte como tú quieres. Nuestro método te permite escribir una receta para los problemas que quieres que tu chatbot resuelva y generar datos de instrucciones para construir ese chatbot.»
Una Taxonomía para el Conocimiento y las Habilidades
El método de generación de datos de IBM se basa en una taxonomía. Esta taxonomía permite a los desarrolladores de LLMs definir el conocimiento y las habilidades que desean añadir a su chatbot. Organiza el conocimiento y las habilidades existentes del LLM de manera lógica y jerárquica, proporcionando un marco para identificar y llenar las brechas con nuevo conocimiento y habilidades.
La taxonomía guía a un segundo LLM, conocido como el modelo profesor, en la generación de instrucciones de alta calidad. Estas instrucciones se formulan como pares de preguntas y respuestas adaptadas a la tarea en cuestión. Por ejemplo, si se desea que un chatbot redacte un correo electrónico para un CEO resumiendo los resultados del tercer trimestre de su empresa, la tarea requiere comprender estados financieros, matemáticas básicas y razonamiento, y la capacidad de resumir información financiera en un correo con el tono adecuado.
La taxonomía de IBM segrega los datos de instrucciones en tres categorías principales:
- Conocimiento: Información específica sobre un dominio (ej. datos financieros de la empresa).
- Habilidades Fundacionales: Habilidades básicas como matemáticas, comprensión de texto, etc.
- Habilidades Composicionales: Habilidades que combinan conocimiento y habilidades fundacionales (ej. redactar un correo electrónico basado en datos financieros).
El modelo profesor genera instrucciones para cada categoría y realiza control de calidad iterativo sobre sus resultados, actuando como su propio crítico riguroso para descartar preguntas irrelevantes o información incorrecta.
Entrenamiento Graduado y Eficiente
Las instrucciones validadas se segregan en los tres cubos de categorías (conocimiento, habilidades fundacionales, habilidades composicionales) para ser alimentadas al LLM en dos etapas. Este régimen de entrenamiento graduado permite al LLM construir sobre su conocimiento y habilidades previas, de manera similar a como los humanos expanden progresivamente lo que han aprendido antes.
En la primera fase, el modelo recibe instrucciones simples, seguidas de instrucciones más largas y narrativas correspondientes al conocimiento y las habilidades fundacionales necesarias para la tarea objetivo. En la segunda fase, el modelo se entrena en las habilidades específicas de la tarea, como resumir información o poner detalles clave en contexto. Empíricamente, se ha confirmado que el orden importa; el modelo tiene dificultades para asimilar nuevo conocimiento si se intenta enseñarle habilidades complejas primero.
El equipo también descubrió que obtenían mejores resultados entrenando el modelo a una tasa de aprendizaje baja, con un calentamiento extendido, e incorporando los datos en grandes lotes. También utilizaron búferes de reproducción, donde un pequeño subconjunto de datos del entrenamiento inicial se reinyecta al final del proceso, para evitar que el modelo sobrescriba lo aprendido previamente.
Resultados Prometedores de LAB
IBM Research generó un conjunto de datos sintéticos de 1.2 millones de instrucciones con el método LAB y entrenó dos LLMs de código abierto: Labradorite 13B (basado en Llama-2-13B de Meta) y Merlinite 7B (basado en Mistral 7B). Descubrieron que sus modelos alineados eran competitivos con los chatbots de última generación en una variedad de puntos de referencia, incluyendo conversaciones coherentes y atractivas, y razonamiento de sentido común.
Los modelos Labradorite y Merlinite de IBM no solo superaron a los chatbots alineados con datos generados por humanos, sino también a modelos alineados con significativamente más datos sintéticos, como el chatbot Orca-2 de Microsoft, que fue entrenado con 15 millones de instrucciones generadas por el gigante modelo GPT-4.
IBM también utilizó LAB para mejorar significativamente sus propios modelos Granite, enfocados en la empresa, dentro de IBM watsonx.
LAB posee dos características distintivas que explican estos resultados. El modelo profesor genera ejemplos sintéticos de cada nodo hoja de la taxonomía, produciendo una cobertura mucho más amplia de las tareas objetivo. Otros métodos utilizan muestreo aleatorio que limita la amplitud de los datos generados. Además, LAB permite añadir nuevo conocimiento y habilidades al LLM base sin tener que incorporar esta información también en el modelo profesor. Esto significa que no se necesita un modelo profesor todopoderoso que destile sus capacidades en el modelo base. También permite a los desarrolladores de LLMs generar sus propias instrucciones sin preocuparse por la legalidad de usar LLMs propietarios como GPT-4 para generar datos sintéticos.
El método LAB de IBM surgió de la idea de que los datos de alineación de alta calidad pueden aportar capacidades avanzadas a modelos más pequeños y rentables, que pueden adaptarse a las necesidades empresariales. El pre-entrenamiento es importante, pero proporcionar al modelo instrucciones específicas de tareas altamente curadas es igual de importante.
La Promesa de la Computación Neuromórfica
Más allá de los métodos de entrenamiento como LAB, la neurociencia también inspira el desarrollo de hardware de computación radicalmente nuevo. La computación neuromórfica busca imitar la estructura y el funcionamiento del cerebro humano para crear sistemas informáticos mucho más eficientes y escalables para tareas de inteligencia artificial.
En 2022, un chip neuromórfico diseñado por un equipo liderado por Cauwenberghs, el chip NeuRRAM, demostró que estos chips pueden ser altamente dinámicos y versátiles sin comprometer la precisión y la eficiencia. El chip NeuRRAM realiza cálculos directamente en la memoria y puede ejecutar una amplia variedad de aplicaciones de IA, todo ello consumiendo una fracción de la energía que requieren las plataformas informáticas de propósito general para IA.
Para lograr la escala en la computación neuromórfica, se deben optimizar varias características clave, incluida la escasez (sparsity), una característica definitoria del cerebro humano. El cerebro se desarrolla formando numerosas conexiones neuronales (densificación) antes de podar selectivamente la mayoría de ellas. Esta estrategia optimiza la eficiencia espacial mientras retiene información con alta fidelidad. Si se emula con éxito, esta característica podría permitir sistemas neuromórficos significativamente más eficientes energéticamente y compactos.
La escalabilidad expandible y la eficiencia superior derivan del paralelismo masivo y la estructura jerárquica en la representación neuronal, combinando la conectividad sináptica local densa dentro de los núcleos neurosinápticos (modelados según la materia gris del cerebro) con la conectividad global escasa en la comunicación neuronal entre núcleos (modelando la materia blanca del cerebro), facilitada a través de interconexiones reconfigurables de alto ancho de banda en el chip e interconexiones estructuradas jerárquicamente entre chips.
Esta área de investigación muestra un tremendo potencial hacia el uso de la computación neuromórfica a escala para aplicaciones de la vida real. Para avanzar en el campo, los autores también abogan por una colaboración más sólida entre la academia y la industria, así como por el desarrollo de un conjunto más amplio de lenguajes de programación fáciles de usar para reducir la barrera de entrada.
Preguntas Frecuentes
- ¿IBM Watson todavía existe?
- Sí, IBM Watson sigue siendo una marca relevante dentro del portafolio de IBM, aunque su enfoque ha evolucionado y se integra en plataformas más amplias como IBM watsonx, que incorpora los avances en LLMs y otros aspectos de la IA.
- ¿Qué es el método LAB de IBM?
- LAB (Large-scale Alignment for chatBots) es un método desarrollado por IBM para generar datos sintéticos de instrucciones de alta calidad de manera sistemática. Permite entrenar y mejorar LLMs de forma más eficiente, rápida y económica que los métodos tradicionales, utilizando una taxonomía para organizar el conocimiento y las habilidades y un proceso de entrenamiento graduado.
- ¿Es legítima la computación neuromórfica?
- Sí, la computación neuromórfica es un campo de investigación legítimo y activo con resultados prometedores. Chips como el NeuRRAM han demostrado su potencial para lograr una eficiencia energética y una versatilidad significativamente mayores que la computación tradicional para tareas de IA, imitando principios del cerebro como la escasez y el paralelismo.
- ¿El curso de IA de IBM es gratuito?
- La información proporcionada no especifica si los cursos de IA de IBM son gratuitos. Generalmente, IBM ofrece una variedad de recursos educativos, algunos de los cuales pueden ser gratuitos (como materiales introductorios o a través de plataformas asociadas), mientras que otros pueden tener costo (como certificaciones o programas más profundos).
Tanto los avances en metodologías de entrenamiento de IA como el método LAB, como el desarrollo de arquitecturas de hardware innovadoras como la computación neuromórfica, son fundamentales para el futuro de la inteligencia artificial. Permiten crear modelos más capaces y eficientes, abriendo la puerta a aplicaciones de IA más sofisticadas y accesibles.
Si quieres conocer otros artículos parecidos a Avances en IA: LAB de IBM y Computación Neuromórfica puedes visitar la categoría Neurociencia.