Cómo funcionan la IA y el LLM

Pensamiento reductor

El discurso en torno a la inteligencia artificial evoluciona lentamente. De la dichosa fascinación a la desconfianza justificada, estamos llegando a un curioso escepticismo a medida que el campo sigue innovando a gran velocidad. Sin embargo, la comprensión general de la herramienta por parte de los usuarios se reduce a menudo a generalizaciones del tipo "la IA aplica algoritmos estadísticos". Sí, hace eso, pero hace mucho más que eso. Para avanzar en nuestra comprensión, tenemos que ir más allá.

El objetivo de los investigadores en IA es encontrar formas de reproducir y aplicar prácticamente todas las operaciones mentales que realizamos. Observamos, estimamos, evaluamos, concluimos, verificamos, reintentamos y rehacemos estos procesos al tiempo que asignamos un valor de confianza a cada elemento y a cada experiencia.

Por ejemplo, si aprendemos algo y observamos que tres de cada cuatro veces funciona, también nos preguntamos por qué no funcionó la cuarta vez y qué deberíamos cambiar o qué experimento hacer para identificar los elementos del éxito. A partir de ahí, podemos introducir mejoras.

Es este tipo de procesamiento de datos el que ha permitido a los robots desarrollar un enfoque más eficaz que el que se había programado al principio. No caminamos igual sobre una superficie dura que sobre la arena, la nieve o el hielo. Recogemos información y la procesamos de varias formas simultáneamente o en varias etapas, y desarrollamos respuestas adaptadas.

Publicaciones de investigadores

He aquí siete publicaciones recientes que ayudan a comprender cómo funcionan los Grandes Modelos Lingüísticos (LLM). Describen los fundamentos teóricos, las ideas prácticas y ofrecen pruebas empíricas.

En ellas se analiza la evolución de los LLM, cómo se preparan (preentrenamiento), cómo se ajustan, qué estrategias se utilizan y cómo se evalúa su rendimiento. También se discute su adaptación a distintos contextos y escalas; hay diferencias entre procesar miles de millones de datos sobre un único sujeto y unos pocos cientos sobre miles de sujetos. Cuando hay mucho en juego y uno no puede permitirse cometer muchos errores, le interesa aprender rápido.

Aún más interesantes son las técnicas para multiplicar los puntos de atención en paralelo. No todos los datos tienen la misma importancia, y algunos sólo se utilizan en determinadas fases del proceso de razonamiento. Hay que decidir cuáles, dónde y cuándo utilizarlos. Por ejemplo, en algunas situaciones culinarias, los ingredientes secos se mezclan antes de añadir los líquidos.

"Estos artículos abarcan diversos aspectos de los LLM, como sus arquitecturas, métodos de preentrenamiento, propiedades de escalado, capacidades de aprendizaje a corto plazo y aplicaciones en tareas como el razonamiento y el aprendizaje por transferencia. Ofrecen una comprensión exhaustiva de los principios subyacentes y las técnicas de vanguardia en este campo en rápida evolución."

Siga leyendo para entender mejor lo que está pasando con la inteligencia artificial:
Los 7 mejores artículos de arXiv para saber cómo funcionan los LLM

Artículos

• "A Survey of Large Language Models" - https://arxiv.org/abs/2303.18223
  
  
• "Leyes de escala para la transferencia" - https://arxiv.org/abs/2102.01293
  
  
• "Los modelos lingüísticos son aprendices de pocos disparos" - https://arxiv.org/abs/2005.14165
  
  
• "Exploración de los límites del aprendizaje por transferencia con un transformador unificado de texto a texto
  https://arxiv.org/abs/1910.10683
  
  
• "Los grandes modelos lingüísticos pueden aprender reglas" - https://arxiv.org/abs/2310.07064
  
  
• "La atención es todo lo que necesita" - https://arxiv.org/abs/1706.03762
  
  
• "Modelos lingüísticos de gran tamaño: un estudio" - https://arxiv.org/abs/2402.06196

Ilustración - Pixabay