Nuevo LLM en Español: LeNIA-Chat-1.5B

Desde LenguajeNatural.AI hemos decidido invertir nuestros recursos en desarrollar un nuevo modelo de alto rendimiento, ligero y con gran capacidad para manejar contextos largos. Presentamos al mundo LeNIA-Chat-1.5B.

Potencia y Ligereza en un Solo Modelo

Nos complace anunciar el lanzamiento de nuestro nuevo modelo de lenguaje, LeNIA-Chat-1.5B, diseñado específicamente para la comunidad hispanohablante. Este modelo no solo supera significativamente el rendimiento de su predecesor, sino que también es más compacto, con 1.5 mil millones de parámetros frente a los 2 mil millones del modelo anterior. Además, puede manejar secuencias de hasta 32,000 tokens, lo que es cuatro veces más que su predecesor.

Detalles Técnicos del Modelo

LeNIA-Chat-1.5B ha sido afinado a partir del modelo base Qwen/Qwen2-1.5B, incorporando características avanzadas para mejorar la generación de texto y la comprensión en tareas de chat e instrucciones en español. Este modelo ha sido desarrollado en tres fases distintas para asegurar un rendimiento óptimo en una amplia gama de tareas:

1. Aprendizaje multi-tarea en español: Utilizando múltiples conjuntos de datos supervisados para un entrenamiento al estilo FLAN.
2. Entrenamiento de instrucciones de alta calidad: Afinando el modelo para entender y generar respuestas a instrucciones complejas.
3. Entrenamiento de chat y QA abstractivo: Optimizando el modelo para conversaciones fluidas y la generación de respuestas a preguntas abstractas.

Proceso de Entrenamiento

Para garantizar la calidad del modelo, hemos realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Todo este proceso ha sido posible gracias a nuestra librería autotransformers.

Uso y Limitaciones

LeNIA-Chat-1.5B está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en el contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable. Además, dado que el modelo base es de únicamente 1.5 mil millones de parámetros, comparte las limitaciones inherentes a los modelos de ese tamaño.

Evaluación y Resultados

Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla:

Como se puede apreciar en la tabla de resultados, el rendimiento de este LLM en Español es más que notable, obteniendo métricas equiparables a modelos sustancialmente más grandes y pesados. Por lo tanto, creemos que esta nueva versión de LeNIA-Chat supone un hito para el sector de NLP en español y contribuirá a la creación de valor en Inteligencia Artificial en los países de habla hispana.

Desde LenguajeNatural.AI seguiremos entrenando nuevos modelos de alto rendimiento en español y liberándolos a la comunidad, como parte de nuestro compromiso de tener un impacto social positivo mediante el uso de Inteligencia Artificial Generativa, y aportando nuestro granito de arena a la creación de recursos que impulsen el rendimiento de los sistemas de Inteligencia Artificial en nuestro idioma.