MythoMax L2 13B: Ficha de modelo
Publicado por Nextbit256 S.L. | Última actualización: mayo de 2026 Referencia normativa: Reglamento (UE) 2024/1689 del AI Act, art. 53.1.c y 53.1.d
Identificación del modelo
| Campo | Detalle |
|---|---|
| Nombre completo del modelo | MythoMax-L2-13b |
| Desarrollado por | Gryphe (autor del merge/fine-tune), modelos base: Meta AI (Llama 2 13B), The-Face-Of-Goonery (Huginn-13b) y el merge intermedio MythoLogic-L2-13B |
| Fecha de publicación | 2023 |
| Ficha del modelo | huggingface.co/Gryphe/MythoMax-L2-13b |
| Informe técnico | No publicado por Gryphe |
| Blog del desarrollador | github.com/Gryphe/BlockMerge_Gradient |
Arquitectura y parámetros
| Campo | Detalle |
|---|---|
| Arquitectura | Densa (transformer solo decodificador), arquitectura Llama 2 |
| Parámetros totales | 13 B |
| Parámetros activos por token | No aplica. Modelo denso, todos los parámetros están activos |
| Parámetros sin incluir embeddings | No publicado por Gryphe |
| Capas | 40 (arquitectura estándar de Llama 2 13B) |
| Atención | Multi-head attention (configuración estándar de Llama 2 13B) |
| Longitud de contexto nativa | 4.096 tokens (base Llama 2) |
| Contexto extendido | No publicado por Gryphe |
| Precisión | No publicada por Gryphe (FP16 es habitual para esta clase de modelo) |
Licencia y uso comercial
Licencia: Meta Llama 2 Community License
MythoMax-L2-13b se construye sobre Llama 2 13B. La Llama 2 Community License es una licencia propietaria de Meta, no es una licencia de código abierto como Apache 2.0 o MIT, y contiene restricciones importantes que difieren de las licencias permisivas estándar.
Términos clave de la Meta Llama 2 Community License:
- Uso comercial: permitido para organizaciones con menos de 700 millones de usuarios activos mensuales (MAU). Las organizaciones cuyos productos o servicios superaran los 700 millones de MAU en el mes natural anterior deben solicitar una licencia separada a Meta antes de ejercer cualquier derecho.
- Restricción sobre la mejora de modelos competidores: las salidas de Llama 2 no pueden usarse para entrenar, mejorar o ajustar modelos de lenguaje grandes de la competencia (salvo el propio Llama 2 o sus derivados).
- Atribución: los licenciatarios deben conservar el aviso de copyright "Llama 2 is licensed under the LLAMA 2 Community License, Copyright © Meta Platforms, Inc."
- Distribución: al compartir materiales de Llama con terceros, debe entregarse a esas partes una copia de la Llama 2 Community License.
- Indemnización: los licenciatarios deben indemnizar a Meta frente a reclamaciones de terceros derivadas de su uso o distribución.
Verificación de Nextbit: Nextbit ha revisado la Llama 2 Community License y ha confirmado que prestar MythoMax-L2-13b por API para uso comercial está permitido, siempre que la base de clientes de Nextbit no constituya en conjunto productos o servicios que superen los 700 millones de usuarios activos mensuales. Nextbit opera actualmente muy por debajo de ese umbral.
Restricciones relevantes para los usuarios: los usuarios de la API de Nextbit que accedan a este modelo quedan sujetos a los términos de la Llama 2 Community License. En particular:
- Los usuarios cuyos propios productos superen los 700 millones de MAU deben obtener la aprobación separada de Meta.
- Las salidas de este modelo no pueden usarse para entrenar modelos de lenguaje grandes de la competencia.
Nota sobre la licencia del autor del merge: la ficha del modelo indica la licencia como "Other" (no estándar). La licencia efectiva que rige el uso es la Meta Llama 2 Community License, ya que el modelo base (Llama 2 13B) es la obra fundacional sobre la que se construye el merge.
Resumen de datos de entrenamiento
Este modelo tiene dos capas diferenciadas: los datos de preentrenamiento del modelo base y los datos específicos del merge.
(a) Datos de preentrenamiento del modelo base, Llama 2 13B
MythoMax-L2-13b se construye sobre el modelo base Llama 2 13B. Los datos de preentrenamiento de Llama 2 están documentados por Meta AI. Nextbit no reproduce esa documentación aquí. Para más detalles consulta la ficha del modelo Meta Llama 2 y el Llama 2 Technical Report.
Hechos conocidos sobre el preentrenamiento de Llama 2 13B:
- Aproximadamente 2 billones de tokens
- Texto web disponible públicamente, principalmente en inglés
- Fecha de corte del conocimiento: septiembre de 2022
(b) Datos del merge, método BlockMerge_Gradient de Gryphe
MythoMax-L2-13b es un merge de modelos, no un fine-tune convencional sobre datos nuevos. Se creó fusionando los pesos de tensores de dos modelos intermedios:
- MythoLogic-L2-13B (para una comprensión de instrucciones robusta)
- Huginn-13b-FP16 de The-Face-Of-Goonery (para capacidad de escritura creativa)
El merge usó la técnica experimental BlockMerge_Gradient de Gryphe, que aplica proporciones individuales a cada una de las 363 capas de tensores únicas en lugar de una proporción de mezcla uniforme. Es un proceso de interpolación de pesos, no se introdujeron nuevos datos de entrenamiento durante el merge.
Datos del merge: no aplica. El proceso de merge no usa datos de entrenamiento, interpola pesos de modelos ya existentes.
No publicado por Gryphe:
- Las proporciones exactas de merge por tensor utilizadas (disponibles como archivos YAML en el repositorio de GitHub enlazado)
- Cualquier dato de fine-tuning aplicado tras el merge
Idiomas admitidos
Principalmente inglés. MythoMax-L2-13b hereda la distribución de idiomas de Llama 2, predominantemente en inglés. La capacidad multilingüe es limitada. Lista completa de idiomas: consulta el Llama 2 Technical Report.
Usos previstos
Este modelo está diseñado para:
- Roleplay y narrativas centradas en personajes
- Escritura creativa y generación de historias
- Ficción interactiva
El modelo se diseñó específicamente para combinar una comprensión de instrucciones sólida (de MythoLogic) con una capacidad de escritura creativa expresiva (de Huginn). Está optimizado para casos de uso de roleplay y narrativa más que para responder preguntas factuales, programar o razonar.
Gryphe no indica usos explícitamente excluidos en la ficha del modelo, pero el linaje de entrenamiento del modelo (Llama 2) está sujeto a la Acceptable Use Policy de Meta. El uso para contenido que involucre a menores en contextos sexuales u otros usos prohibidos está vetado por la Llama 2 Community License y la Acceptable Use Policy de Meta.
Evaluación de riesgo sistémico
| Campo | Detalle |
|---|---|
| FLOPs de entrenamiento | No publicados por Meta AI para Llama 2 13B, no aplica para el paso de merge |
| Base relevante para la evaluación del umbral | Llama 2 13B (el modelo base preentrenado), el paso de merge no implica un cómputo adicional significativo |
| FLOPs estimados (preentrenamiento de Llama 2 13B) | ~2,4 × 10²³ (estimación basada en 13 B de parámetros por ~2 billones de tokens, fórmula 6 × N × D) |
| ¿Supera el umbral de 10²⁵ FLOPs? | No. Se estima aproximadamente 40 veces por debajo del umbral de riesgo sistémico |
| Nota sobre la arquitectura densa | Llama 2 13B es un modelo denso, todos sus 13 B de parámetros están activos por token. El recuento total de parámetros es el que se usa para la estimación de FLOPs |
| Designación por la Oficina de IA | No está designado como modelo de riesgo sistémico a fecha de mayo de 2026 |
| ¿Aplican las obligaciones del art. 55? | No |
Los FLOPs relevantes para la evaluación del umbral de riesgo sistémico son los del modelo base (preentrenamiento de Llama 2 13B). El paso de merge realizado por Gryphe implica únicamente interpolación de pesos y no constituye entrenamiento de modelo en el sentido regulatorio. Esta estimación se basa en información públicamente disponible del Llama 2 Technical Report. Si Meta publica cifras oficiales de cómputo, esta sección se actualizará.
Esta documentación está publicada por Nextbit256 S.L. de conformidad con el artículo 53(1)(c) y 53(1)(d) del Reglamento (UE) 2024/1689 (AI Act). Nextbit256 S.L. presta este modelo a través de su API de inferencia, pero no lo ha desarrollado ni entrenado. El merge lo realizó Gryphe. El modelo base lo desarrolló Meta AI. Toda la información procede de la documentación pública publicada por Gryphe y Meta AI. Este modelo se presta bajo la Meta Llama 2 Community License.
Para consultas: [email protected]