ReMM SLERP L2 13B: Ficha de modelo

Publicado por Nextbit256 S.L. | Última actualización: mayo de 2026 Referencia normativa: Reglamento (UE) 2024/1689 del AI Act, art. 53.1.c y 53.1.d

Identificación del modelo

Campo	Detalle
Nombre completo del modelo	ReMM-SLERP-L2-13B
Desarrollado por	Undi95 (autor del merge), modelos base en la cadena: Meta AI (Llama 2 13B), NousResearch (Nous-Hermes-Llama2-13b), jondurbin (airoboros-l2-13b-2.1), The-Face-Of-Goonery (Chronos-Beluga-v2-13b, Huginn-13b-v1.2)
Fecha de publicación	2023
Ficha del modelo	huggingface.co/Undi95/ReMM-SLERP-L2-13B
Informe técnico	No publicado por Undi95
Blog del desarrollador	github.com/Undi95/LLM-SLERP-MergeTest

Arquitectura y parámetros

Campo	Detalle
Arquitectura	Densa (transformer solo decodificador), arquitectura Llama 2
Parámetros totales	13 B
Parámetros activos por token	No aplica. Modelo denso, todos los parámetros están activos
Parámetros sin incluir embeddings	No publicado por Undi95
Capas	40 (arquitectura estándar de Llama 2 13B)
Atención	Multi-head attention (configuración estándar de Llama 2 13B)
Longitud de contexto nativa	4.096 tokens (base Llama 2)
Contexto extendido	No publicado por Undi95
Precisión	FP16

Licencia: la ficha del modelo indica CC-BY-NC-4.0 (Creative Commons Reconocimiento No Comercial 4.0). Sin embargo, el modelo base fundacional es Llama 2 13B (Meta Llama 2 Community License), que rige los derechos de uso reales.

Nota sobre conflicto de licencias: la ficha del modelo de Undi95 indica CC-BY-NC-4.0 como licencia. Sin embargo, el modelo base (Llama 2 13B, vía TheBloke/Llama-2-13B-fp16) está sujeto a la Meta Llama 2 Community License. Dado que Undi95 no puede conceder derechos más amplios que los que posee sobre el modelo base, la licencia más restrictiva y fundacionalmente aplicable es la Meta Llama 2 Community License. Además, CC-BY-NC-4.0 prohíbe expresamente el uso comercial, mientras que la Llama 2 Community License lo permite para organizaciones por debajo de 700 millones de MAU.

Valoración de Nextbit: la licencia efectiva para el uso comercial por API es la Meta Llama 2 Community License (la licencia raíz del modelo base), no CC-BY-NC-4.0. Nextbit aplica la Llama 2 Community License para la determinación de uso comercial de este modelo.

Términos clave de la Meta Llama 2 Community License:

Uso comercial: permitido para organizaciones con menos de 700 millones de usuarios activos mensuales (MAU). Las organizaciones cuyos productos o servicios superaran los 700 millones de MAU en el mes natural anterior deben solicitar una licencia separada a Meta.
Restricción sobre la mejora de modelos competidores: las salidas de Llama 2 no pueden usarse para entrenar, mejorar o ajustar modelos de lenguaje grandes de la competencia (salvo el propio Llama 2 o sus derivados).
Atribución: los licenciatarios deben conservar el aviso de copyright de Llama 2.
Distribución: al compartir materiales de Llama con terceros, debe entregarse una copia de la Llama 2 Community License.

Verificación de Nextbit: Nextbit ha revisado los términos de licencia aplicables y ha confirmado que prestar ReMM-SLERP-L2-13B por API para uso comercial está permitido bajo la Meta Llama 2 Community License, sujeto al umbral de 700 millones de MAU. Nextbit opera actualmente muy por debajo de ese umbral.

Restricciones relevantes para los usuarios: los usuarios de la API de Nextbit que accedan a este modelo quedan sujetos a la Meta Llama 2 Community License. Los usuarios cuyos propios productos superen los 700 millones de MAU deben obtener la aprobación separada de Meta. Las salidas de este modelo no pueden usarse para entrenar modelos de lenguaje grandes de la competencia.

Resumen de datos de entrenamiento

Este modelo tiene dos capas diferenciadas: los datos de preentrenamiento del modelo base y los datos específicos del merge.

(a) Datos de preentrenamiento del modelo base, Llama 2 13B

ReMM-SLERP-L2-13B tiene su raíz en el modelo base Llama 2 13B. Los datos de preentrenamiento de Llama 2 están documentados por Meta AI. Nextbit no reproduce esa documentación aquí. Para más detalles consulta la ficha del modelo Meta Llama 2 y el Llama 2 Technical Report.

Hechos conocidos sobre el preentrenamiento de Llama 2 13B:

Aproximadamente 2 billones de tokens
Texto web disponible públicamente, principalmente en inglés
Fecha de corte del conocimiento: septiembre de 2022

(b) Datos del merge, método SLERP de Undi95

ReMM-SLERP-L2-13B es un merge de modelos en varias etapas, no un fine-tune convencional sobre datos nuevos. El merge se creó en tres etapas:

Etapa 1, ReML Part 1 (merge TIES): Tres modelos fusionados mediante el algoritmo TIES sobre la base Llama 2 13B:

Chronos-Beluga-v2-13b (densidad 0,42)
airoboros-l2-13b-2.1 (densidad 0,56)
Nous-Hermes-Llama2-13b (densidad 0,30)

Etapa 2, ReML completo (merge TIES): ReML-L2-13B-part1 (densidad 0,70) fusionado con Nous-Hermes-Llama2-13b (densidad 0,30).

Etapa 3, ReMM final (merge SLERP): Huginn-13b-v1.2 y ReML-L2-13B fusionados con igual peso (0,5/0,5) usando Spherical Linear Interpolation (SLERP), una técnica que interpola de forma suave entre vectores de pesos de modelos en un espacio esférico en lugar de lineal, preservando las propiedades direccionales de los vectores de pesos.

Datos del merge: no aplica. Las tres etapas son procesos de interpolación de pesos, no se introdujeron nuevos datos de entrenamiento.

No publicado por Undi95:

Cualquier dato de fine-tuning aplicado tras el merge

Idiomas admitidos

Principalmente inglés. ReMM-SLERP-L2-13B hereda la distribución de idiomas de Llama 2, predominantemente en inglés. La capacidad multilingüe es limitada. Lista completa de idiomas: consulta el Llama 2 Technical Report.

Usos previstos

Este modelo está diseñado para:

Roleplay y ficción creativa (inspirado en el enfoque de escritura creativa de MythoMax)
Seguimiento de instrucciones generales (de los componentes Airoboros y Nous-Hermes)
Generación de historias creativas

ReMM-SLERP-L2-13B se describe como una recreación de MythoMax con modelos componentes actualizados. Combina las capacidades de seguimiento de instrucciones del stack ReML con la capacidad de escritura creativa de Huginn, usando SLERP para una interpolación de pesos más suave que los merges lineales estándar.

El uso está sujeto a la Acceptable Use Policy de Meta y a la Llama 2 Community License.

Evaluación de riesgo sistémico

Campo	Detalle
FLOPs de entrenamiento	No publicados por Meta AI para Llama 2 13B, no aplica para las etapas de merge
Base relevante para la evaluación del umbral	Llama 2 13B (el modelo base raíz preentrenado), todas las etapas de merge implican únicamente interpolación de pesos
FLOPs estimados (preentrenamiento de Llama 2 13B)	~2,4 × 10²³ (estimación basada en 13 B de parámetros por ~2 billones de tokens, fórmula 6 × N × D)
¿Supera el umbral de 10²⁵ FLOPs?	No. Se estima aproximadamente 40 veces por debajo del umbral de riesgo sistémico
Nota sobre la arquitectura densa	Llama 2 13B es un modelo denso, todos sus 13 B de parámetros están activos por token
Designación por la Oficina de IA	No está designado como modelo de riesgo sistémico a fecha de mayo de 2026
¿Aplican las obligaciones del art. 55?	No

Los FLOPs relevantes para la evaluación del umbral de riesgo sistémico son los del modelo base raíz (preentrenamiento de Llama 2 13B). El proceso de merge en varias etapas realizado por Undi95 implica únicamente interpolación de pesos y no constituye entrenamiento de modelo en el sentido regulatorio. Esta estimación se basa en información públicamente disponible del Llama 2 Technical Report.

Esta documentación está publicada por Nextbit256 S.L. de conformidad con el artículo 53(1)(c) y 53(1)(d) del Reglamento (UE) 2024/1689 (AI Act). Nextbit256 S.L. presta este modelo a través de su API de inferencia, pero no lo ha desarrollado ni entrenado. El merge lo realizó Undi95. El modelo base raíz lo desarrolló Meta AI. Toda la información procede de la documentación pública publicada por Undi95 y Meta AI. Este modelo se presta bajo la Meta Llama 2 Community License.

Para consultas: [email protected]