dinámica de modelos de lenguaje a gran escala (llms) y sistemas híbridos

El proyecto busca dar continuidad a la colaboración iniciada en 2024 . La investigación fruto de esta colaboración se desarrolla en dos ramas de conocimiento:

1. Métodos diferenciales en machine learning y modelos de lenguaje a gran escala (LLMs). A partir del modelo continuo propuesto por Geshkovski et al. en 2023, hemos investigado el comportamiento asíntotico del mecanismo de autoatención en Transformers mediante el uso de herramientas de teoría de control. Además, hemos extendido el trabajo de Geshkovski et al. para dar cuenta del bloque completo, incluyendo la capa feed-forward y proponiendo una modificación de la arquitectura que permite evitar respuestas tóxicas basada en funciones de control barrera (CBFs). 
   
   El objetivo del proyecto actual es realizar un análisis análogo para otros modelos de lenguaje.
   
   
2. Sistemas híbridos desde una perspectiva sintética. Hemos dado un marco teórico que permite formular los sistemas híbridos como coálgebras, lo que permite generalizar resultados clásicos en teoría de control para sistemas continuos al caso híbrido. En concreto, hemos investigado el problema de equivalencia asintótica de modelos, que consiste en el diseño de un controlador que permita a una cierta planta imitar el comportamiento de otro sistema que actúa como especificación. 
   
   El objetivo del proyecto actual es dar aplicaciones relevantes de la teoría desarrollada, así como utilizar este marco coalgebraico para generalizar otros resultados de la teoría de control clásica.