Rocinante 12B v1.1: Ficha de modelo
Publicado por Nextbit256 S.L. | Última actualización: mayo de 2026 Referencia normativa: Reglamento (UE) 2024/1689 del AI Act, art. 53.1.c y 53.1.d
Identificación del modelo
| Campo | Detalle |
|---|---|
| Nombre completo del modelo | Rocinante-12B-v1.1 |
| Desarrollado por | TheDrummer / BeaverAI (autor del fine-tune), modelo base: Mistral AI (Mistral-Nemo-Base-2407) |
| Fecha de publicación | 2024 |
| Ficha del modelo | huggingface.co/TheDrummer/Rocinante-12B-v1.1 |
| Informe técnico | No publicado por TheDrummer |
| Blog del desarrollador | No publicado por TheDrummer |
El nombre del modelo "Rocinante" es una referencia literaria al caballo de Don Quijote en la novela de Cervantes, un nombre deliberadamente humilde pero vivaz que refleja el carácter del modelo como un caballo de batalla creativo versátil.
Arquitectura y parámetros
| Campo | Detalle |
|---|---|
| Arquitectura | Densa (transformer solo decodificador), arquitectura Mistral NeMo (MistralForCausalLM) |
| Parámetros totales | 12 B |
| Parámetros activos por token | No aplica. Modelo denso, todos los parámetros están activos |
| Parámetros sin incluir embeddings | No publicado por TheDrummer |
| Capas | 40 |
| Atención | GQA, 32 cabezas Q, 8 cabezas KV |
| Longitud de contexto nativa | 1.024.000 tokens (1M, según config.json, contexto nativo de Mistral NeMo: 128K) |
| Contexto extendido | No aplica |
| Precisión | BF16 |
Licencia y uso comercial
Licencia: Apache License 2.0
El modelo base, Mistral-Nemo-Base-2407, se publica bajo Apache 2.0. El autor del fine-tune (TheDrummer) indica la licencia como "Other" en los metadatos de la ficha del modelo, pero no ha publicado un archivo de licencia separado. Dado que el modelo base fundacional es Apache 2.0 y TheDrummer no ha publicado una licencia que la sustituya, Nextbit aplica Apache 2.0 como licencia efectiva.
Apache 2.0 es una licencia de código abierto permisiva que permite el uso comercial, la distribución y la modificación de forma gratuita, siempre que se conserve el aviso de copyright original y el texto de la licencia, y que cualquier modificación quede documentada.
Verificación de Nextbit: Nextbit ha revisado la licencia del modelo base (Apache 2.0) y ha confirmado que prestar Rocinante-12B-v1.1 por API bajo un servicio de inferencia comercial está permitido. No se requiere ningún acuerdo comercial adicional con Mistral AI ni con TheDrummer para este caso de uso.
Restricciones relevantes para los usuarios: ninguna más allá de los términos estándar de Apache 2.0. Los usuarios de la API de Nextbit que integren las salidas del modelo en sus propios productos siguen siendo responsables de su propio cumplimiento de la normativa aplicable y de cualquier requisito de licencia derivado. Al tratarse de un fine-tune sin moderación de contenido, los usuarios deben implementar sus propias medidas de seguridad para aplicaciones sensibles.
Resumen de datos de entrenamiento
Este modelo tiene dos capas diferenciadas: los datos de preentrenamiento del modelo base y los datos del fine-tune.
(a) Datos de preentrenamiento del modelo base, Mistral-Nemo-Base-2407
Rocinante-12B-v1.1 se construye sobre Mistral-Nemo-Base-2407 (12B, julio de 2024). Los datos de preentrenamiento de este modelo base están documentados por Mistral AI. Nextbit no reproduce esa documentación aquí. Para más detalles consulta la ficha del modelo Mistral NeMo y la entrada de blog de Mistral NeMo.
Hechos conocidos sobre el preentrenamiento de Mistral-Nemo-Base-2407:
- Ventana de contexto nativa de 128K
- Alta proporción de datos multilingües y de código
- Idiomas: principalmente inglés, con cobertura sustancial de francés, alemán, español, italiano, portugués, ruso, chino y japonés
- Fecha de corte del conocimiento: aproximadamente mediados de 2024 (publicación en julio de 2024)
- Volumen de tokens: no publicado por Mistral AI
(b) Datos del fine-tune, TheDrummer / BeaverAI
No publicado por TheDrummer. La ficha del modelo no describe los conjuntos de datos de fine-tuning, el método de fine-tuning ni los hiperparámetros de entrenamiento. La mejora en el vocabulario creativo y la calidad narrativa del modelo sugiere un fine-tuning por instrucciones sobre conjuntos de datos de escritura creativa y roleplay, pero no se han publicado detalles.
Idiomas admitidos
Principalmente inglés. El modelo base (Mistral NeMo) tiene capacidad multilingüe en inglés, francés, alemán, español, italiano, portugués, ruso, chino y japonés. El fine-tune probablemente se realizó sobre datos en inglés. Para la lista completa de idiomas del modelo base, consulta la ficha del modelo Mistral NeMo.
Usos previstos
Este modelo está diseñado para:
- Escritura creativa y generación de historias, el propósito principal del diseño del modelo
- Roleplay (RP), con formato de prompt ChatML
- Historias de aventura / instrucciones, con formato de prompt Alpaca
- Seguimiento de instrucciones generales, con formato Mistral NeMo
El nombre del modelo hace referencia a Rocinante, el caballo de Don Quijote de Cervantes, reflejando el posicionamiento del modelo como un asistente versátil, enérgico y creativamente ágil. Los evaluadores lo describen como un modelo que ofrece "una prosa más rica y distintiva", "una creatividad al alza" y "narrativa de aventuras atractiva".
Este modelo no está específicamente diseñado para responder preguntas factuales, razonamiento matemático ni tareas de programación.
Evaluación de riesgo sistémico
| Campo | Detalle |
|---|---|
| FLOPs de entrenamiento | No publicados por Mistral AI para Mistral-Nemo-Base-2407, los FLOPs del fine-tune no aplican (no publicados por TheDrummer) |
| Base relevante para la evaluación del umbral | Mistral-Nemo-Base-2407 (el modelo base preentrenado), el fine-tune implica un cómputo adicional insignificante respecto al preentrenamiento |
| FLOPs estimados (preentrenamiento de Mistral NeMo 12B) | ~4,3 × 10²³ (estimación basada en 12 B de parámetros por unos ~6 billones de tokens de entrenamiento asumidos, fórmula 6 × N × D. El recuento de tokens es en sí mismo una estimación, ya que Mistral AI no lo ha publicado) |
| ¿Supera el umbral de 10²⁵ FLOPs? | No. Se estima aproximadamente 23 veces por debajo del umbral de riesgo sistémico |
| Nota sobre la arquitectura densa | Mistral NeMo 12B es un modelo denso, todos sus 12 B de parámetros están activos por token |
| Designación por la Oficina de IA | No está designado como modelo de riesgo sistémico a fecha de mayo de 2026 |
| ¿Aplican las obligaciones del art. 55? | No |
Los FLOPs relevantes para la evaluación del umbral de riesgo sistémico son los del modelo base (preentrenamiento de Mistral-Nemo-Base-2407). Mistral AI no ha publicado recuentos oficiales de tokens de entrenamiento ni FLOPs para este modelo. La estimación de tokens es aproximada. Si se publican cifras oficiales, esta sección se actualizará.
Esta documentación está publicada por Nextbit256 S.L. de conformidad con el artículo 53(1)(c) y 53(1)(d) del Reglamento (UE) 2024/1689 (AI Act). Nextbit256 S.L. presta este modelo a través de su API de inferencia, pero no lo ha desarrollado ni entrenado. El fine-tune lo realizó TheDrummer / BeaverAI. El modelo base lo desarrolló Mistral AI. Toda la información procede de la documentación pública publicada por TheDrummer y Mistral AI.
Para consultas: [email protected]