Nuevo LLM en Español: LeNIA-Chat-1.5B
Nuevo LLM en Español: LeNIA-Chat-1.5B Desde LenguajeNatural.AI hemos decidido invertir nuestros recursos en desarrollar un nuevo modelo de alto rendimiento, ligero y con gran capacidad para manejar contextos largos. Presentamos al mundo LeNIA-Chat-1.5B. Potencia y Ligereza en un Solo Modelo Nos complace anunciar el lanzamiento de nuestro nuevo modelo de lenguaje, LeNIA-Chat-1.5B, diseñado específicamente para la comunidad hispanohablante. Este modelo no solo supera significativamente el rendimiento de su predecesor, sino que también es más compacto, con 1.5 mil millones de parámetros frente a los 2 mil millones del modelo anterior. Además, puede manejar secuencias de hasta 32,000 tokens, lo que es cuatro veces más que su predecesor. Detalles Técnicos del Modelo LeNIA-Chat-1.5B ha sido afinado a partir del modelo base Qwen/Qwen2-1.5B, incorporando características avanzadas para mejorar la generación de texto y la comprensión en tareas de chat e instrucciones en español. Este modelo ha sido desarrollado en tres fases distintas para asegurar un rendimiento óptimo en una amplia gama de tareas: Proceso de Entrenamiento Para garantizar la calidad del modelo, hemos realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Todo este proceso ha sido posible gracias a nuestra librería autotransformers. Uso y Limitaciones LeNIA-Chat-1.5B está diseñado para ser utilizado en aplicaciones de generación de texto, chatbots y asistentes virtuales en español. Aunque ha sido entrenado para minimizar sesgos y errores, recomendamos evaluar su desempeño en el contexto específico de uso. Los usuarios deben ser conscientes de las limitaciones inherentes a los modelos de lenguaje y utilizar este modelo de manera responsable. Además, dado que el modelo base es de únicamente 1.5 mil millones de parámetros, comparte las limitaciones inherentes a los modelos de ese tamaño. Evaluación y Resultados Para asegurar la calidad del modelo, se ha realizado una evaluación exhaustiva en varios conjuntos de datos, mostrando un rendimiento significativo en la generación de texto y la comprensión de instrucciones en español. Los detalles específicos de la evaluación de los modelos LeNIA-Chat están disponibles en la siguiente tabla: Como se puede apreciar en la tabla de resultados, el rendimiento de este LLM en Español es más que notable, obteniendo métricas equiparables a modelos sustancialmente más grandes y pesados. Por lo tanto, creemos que esta nueva versión de LeNIA-Chat supone un hito para el sector de NLP en español y contribuirá a la creación de valor en Inteligencia Artificial en los países de habla hispana. Desde LenguajeNatural.AI seguiremos entrenando nuevos modelos de alto rendimiento en español y liberándolos a la comunidad, como parte de nuestro compromiso de tener un impacto social positivo mediante el uso de Inteligencia Artificial Generativa, y aportando nuestro granito de arena a la creación de recursos que impulsen el rendimiento de los sistemas de Inteligencia Artificial en nuestro idioma.