ALIA-40B: Ficha de modelo
Publicado por Nextbit256 S.L. | Última actualización: mayo de 2026 Referencia normativa: Reglamento (UE) 2024/1689 del AI Act, art. 53.1.c y 53.1.d
Identificación del modelo
| Campo | Detalle |
|---|---|
| Nombre completo del modelo | ALIA-40B |
| Desarrollado por | Barcelona Supercomputing Center (BSC), Unidad de Tecnologías del Lenguaje |
| Fecha de publicación | Febrero de 2025 |
| Ficha del modelo | huggingface.co/BSC-LT/ALIA-40b |
| Informe técnico | arXiv:2502.08489, Salamandra Technical Report |
| Blog del desarrollador | github.com/langtech-bsc/alia |
Arquitectura y parámetros
| Campo | Detalle |
|---|---|
| Arquitectura | Densa (transformer solo decodificador) |
| Parámetros totales | 40,4 B (40.433.885.184) |
| Parámetros activos por token | No aplica. Modelo denso, todos los parámetros están activos |
| Parámetros sin incluir embeddings | 38,3 B (parámetros de embeddings: 2,1 B) |
| Capas | 48 |
| Atención | GQA, 64 cabezas Q, 8 cabezas KV |
| Longitud de contexto nativa | 32.768 tokens |
| Contexto extendido | No publicado por BSC |
| Precisión | BF16 |
Licencia y uso comercial
Licencia: Apache License 2.0
Apache 2.0 es una licencia de código abierto permisiva que permite el uso comercial, la distribución y la modificación de forma gratuita, siempre que se conserve el aviso de copyright original y el texto de la licencia, y que cualquier modificación quede documentada.
Verificación de Nextbit: Nextbit ha revisado los términos de licencia aplicables a ALIA-40B y ha confirmado que prestar este modelo por API bajo un servicio de inferencia comercial está permitido conforme a Apache 2.0. No se requiere ningún acuerdo comercial adicional con el Barcelona Supercomputing Center para este caso de uso.
Restricciones relevantes para los usuarios: Ninguna específica de este modelo más allá de los términos estándar de Apache 2.0. Este es un modelo base (no ajustado por instrucciones). BSC recomienda encarecidamente aplicar fine-tuning por instrucciones o de alineación antes de un despliegue en producción, ya que el modelo base puede generar resultados inapropiados, sesgados o inseguros. Los usuarios de la API de Nextbit que integren las salidas del modelo en sus propios productos siguen siendo responsables de su propio cumplimiento de la normativa aplicable y de cualquier requisito de licencia derivado.
Resumen de datos de entrenamiento
A continuación se resume la información públicamente disponible facilitada por BSC sobre los datos de entrenamiento de la familia de modelos ALIA/Salamandra, tal como se documenta en el Salamandra Technical Report (arXiv:2502.08489).
Datos de preentrenamiento
El modelo ALIA-40B se preentrenó con aproximadamente 9,37 billones de tokens (con un subconjunto de alta calidad en la fase final de 160.000 millones de tokens y una fase de extensión de contexto de 6.300 millones de tokens).
Las fuentes de datos de entrenamiento incluyen:
| Fuente | Proporción aproximada |
|---|---|
| Colossal OSCAR (rastreo web) | 53,05 % |
| StarCoder (código de programación) | 13,67 % |
| FineWeb-Edu (contenido web educativo) | 10,24 % |
| HPLT v1/v1.1 (texto de alta calidad) | 4,21 % |
| French-PD (libros y periódicos de dominio público) | 3,59 % |
| MaCoCu, Legal-ES, EurLex | de 1,4 % a 1,7 % cada una |
| Más de 40 fuentes adicionales seleccionadas | resto |
Las fuentes adicionales seleccionadas incluyen conjuntos de datos jurídicos, científicos y específicos de dominio. El entrenamiento se realizó a lo largo de aproximadamente 3,68 épocas sobre el corpus combinado.
Cobertura de idiomas
El modelo se entrenó con datos en 35 idiomas europeos (incluidas las lenguas cooficiales de España) y 92 lenguajes de programación. Distribución de idiomas principal:
| Idioma | Proporción | Notas |
|---|---|---|
| Inglés | 39,31 % | — |
| Español | 16,12 % | sobremuestreado 2x |
| Francés | 6,6 % | — |
| Ruso | 5,56 % | — |
| Alemán | 4,79 % | — |
| Húngaro | 4,59 % | — |
| Código (todos los lenguajes) | 5,78 % | submuestreado 0,5x |
| Catalán | sobremuestreado 2x | — |
| Euskera | sobremuestreado 2x | — |
| Gallego | sobremuestreado 2x | — |
Fecha de corte del conocimiento
Los datos se recopilaron entre abril de 2023 y abril de 2024. Algunas fuentes incluyen datos desde 2014. BSC no ha publicado una fecha de corte formal del conocimiento. A partir de los periodos de recopilación, la fecha de corte efectiva se estima en aproximadamente abril de 2024.
Infraestructura de entrenamiento
ALIA-40B se entrenó en el supercomputador MareNostrum 5 del Barcelona Supercomputing Center, usando entre 256 y 512 nodos (entre 1.024 y 2.048 GPU NVIDIA Hopper), con el NVIDIA NeMo Framework.
Financiación del proyecto
El proyecto ALIA recibió financiación del Gobierno de Cataluña (Proyecto Aina) y del Ministerio para la Transformación Digital y de la Función Pública de España a través de NextGenerationEU (Proyecto ILENIA, referencia 2022/TL22/00215337).
Qué no está disponible públicamente
BSC no ha publicado:
- El recuento exacto de tokens por fuente para las más de 40 fuentes de datos
- El cómputo de entrenamiento (FLOPs u horas de GPU)
- La metodología completa de deduplicación de datos
Idiomas admitidos
ALIA-40B admite de forma nativa 35 idiomas europeos y 92 lenguajes de programación. El modelo está especialmente optimizado para las lenguas ibéricas (español, catalán, euskera, gallego) y otros idiomas europeos principales (francés, alemán, ruso, húngaro, italiano, portugués, entre otros).
Lista completa de idiomas: consulta el Salamandra Technical Report y la ficha del modelo.
Usos previstos
Este modelo está diseñado para:
- Tareas multilingües de procesamiento del lenguaje natural, con enfoque en idiomas europeos e ibéricos
- Generación de texto en español, catalán, euskera, gallego y otros idiomas europeos
- Servir de base para fine-tuning por instrucciones y especialización posterior
- Aplicaciones de investigación y académicas en PLN europeo
Importante: ALIA-40B es un modelo base sin ajuste por instrucciones ni alineación de seguridad. No está pensado para un despliegue directo en aplicaciones orientadas al consumidor sin un fine-tuning adicional. BSC advierte explícitamente que el modelo puede generar contenido inapropiado, sesgado o engañoso.
Usos explícitamente excluidos o desaconsejados (según la documentación de BSC):
- Despliegue directo en sistemas de producción sin fine-tuning de alineación
- Aplicaciones que requieran precisión factual estricta o garantías de seguridad sin salvaguardas adicionales
Evaluación de riesgo sistémico
| Campo | Detalle |
|---|---|
| FLOPs de entrenamiento | No publicados por BSC |
| FLOPs estimados (modelo denso) | ~7 × 10²³ (estimación basada en 40,4 B de parámetros por ~9,37 billones de tokens, fórmula 6 × N × D) |
| ¿Supera el umbral de 10²⁵ FLOPs? | No. Se estima aproximadamente 14 veces por debajo del umbral de riesgo sistémico |
| Nota sobre la arquitectura densa | ALIA-40B es un modelo denso, todos sus 40,4 B de parámetros están activos por token. El recuento total de parámetros es el que se usa para la estimación de FLOPs |
| Designación por la Oficina de IA | No está designado como modelo de riesgo sistémico a fecha de mayo de 2026 |
| ¿Aplican las obligaciones del art. 55? | No |
Esta estimación se basa en información públicamente disponible (recuento de parámetros de la ficha del modelo, recuento de tokens del Salamandra Technical Report). BSC no ha publicado cifras oficiales de cómputo de entrenamiento. Si se publican dichas cifras, esta sección se actualizará.
Esta documentación está publicada por Nextbit256 S.L. de conformidad con el artículo 53(1)(c) y 53(1)(d) del Reglamento (UE) 2024/1689 (AI Act). Nextbit256 S.L. presta este modelo a través de su API de inferencia, pero no lo ha desarrollado ni entrenado. Toda la información sobre datos de entrenamiento y arquitectura procede de la documentación pública publicada por la Unidad de Tecnologías del Lenguaje del Barcelona Supercomputing Center (BSC).
Para consultas: [email protected]