Understand memorization and knowledge acquisition in LLM

¿Cómo adquieren, almacenan y recuperan los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) el conocimiento factual? 

A diferencia de las bases de datos clásicas, que responden a consultas explícitas, los LLMs modelan distribuciones de probabilidad sobre secuencias de tokens, un mecanismo fundamentalmente distinto para codificar el conocimiento del mundo.

En esta charla, Yannis Karmim examinará el funcionamiento interno de la adquisición de conocimiento durante el preentrenamiento de los LLMs, centrando la discusión en el trabajo "How Do Language Models Acquire Knowledge During Pretraining?" (Chang et al., NeurIPS 2024). Este estudio ofrece información sobre las condiciones en las que un modelo asimila de manera confiable un hecho: cuántas exposiciones son necesarias, qué estrategias de presentación son más efectivas y cómo el olvido catastrófico moldea lo que se retiene a lo largo de entrenamientos prolongados. Basándose en estos hallazgos, también presentará resultados complementarios recientes que ayudan a comprender los mecanismos subyacentes, abordando cómo la estructura relacional, la repetición y la paráfrasis interactúan durante la codificación del conocimiento.