DeepSeek-R1-Distill-Qwen-32B: Ficha de modelo
Publicado por Nextbit256 S.L. | Última actualización: mayo de 2026 Referencia normativa: Reglamento (UE) 2024/1689 del AI Act, art. 53.1.c y 53.1.d
Identificación del modelo
| Campo | Detalle |
|---|---|
| Nombre completo del modelo | DeepSeek-R1-Distill-Qwen-32B |
| Desarrollado por | DeepSeek AI (fine-tune de destilación), modelo base: Qwen Team, Alibaba Cloud (Qwen2.5-32B) |
| Fecha de publicación | Enero de 2025 |
| Ficha del modelo | huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B |
| Informe técnico | arXiv:2501.12948, DeepSeek-R1 |
| Blog del desarrollador | deepseek.com |
Nota importante sobre el modelo base: el identificador de catálogo de Nextbit para este modelo es qwen3-r1-32b, lo que podría sugerir una base Qwen3. Este modelo está en realidad basado en Qwen2.5-32B (no Qwen3). El fine-tune de destilación lo realizó DeepSeek AI sobre los pesos preentrenados de Qwen2.5-32B.
Arquitectura y parámetros
| Campo | Detalle |
|---|---|
| Arquitectura | Densa (transformer solo decodificador), arquitectura Qwen2.5 |
| Parámetros totales | 32,8 B (publicado como "33B" redondeado) |
| Parámetros activos por token | No aplica. Modelo denso, todos los parámetros están activos |
| Parámetros sin incluir embeddings | No publicado por DeepSeek AI |
| Capas | No publicado por DeepSeek AI para esta variante destilada |
| Atención | No publicado por DeepSeek AI para esta variante destilada |
| Longitud de contexto nativa | 32.768 tokens (coincide con la base Qwen2.5-32B) |
| Contexto extendido | No aplica |
| Precisión | BF16 |
Licencia y uso comercial
Licencia: MIT License
La licencia MIT es una licencia de código abierto permisiva que permite el uso comercial, la distribución y la modificación de forma gratuita, con restricciones mínimas (se exige atribución e inclusión del texto de la licencia).
Verificación de Nextbit: Nextbit ha revisado los términos de licencia aplicables a DeepSeek-R1-Distill-Qwen-32B y ha confirmado que:
- El modelo destilado lo publica DeepSeek AI bajo la licencia MIT, que permite el uso comercial por API sin restricciones.
- El modelo base (Qwen2.5-32B) lo publica el Qwen Team bajo Apache 2.0. Apache 2.0 también es plenamente permisiva para uso comercial.
- Ambas licencias son compatibles y no se requiere ningún acuerdo comercial adicional para prestar este modelo por API.
Restricciones relevantes para los usuarios: Ninguna más allá de los términos estándar de MIT y Apache 2.0. Los usuarios de la API de Nextbit que integren las salidas del modelo en sus propios productos siguen siendo responsables de su propio cumplimiento de la normativa aplicable y de cualquier requisito de licencia derivado.
Resumen de datos de entrenamiento
Este modelo tiene dos capas de datos de entrenamiento diferenciadas: el preentrenamiento del modelo base Qwen2.5-32B y el fine-tune de destilación de DeepSeek-R1.
(a) Datos de preentrenamiento del modelo base, Qwen2.5-32B
DeepSeek-R1-Distill-Qwen-32B se construye sobre el modelo preentrenado Qwen2.5-32B. Los datos de preentrenamiento de Qwen2.5-32B están documentados por el Qwen Team y Alibaba Cloud. Nextbit no reproduce esa documentación aquí. Para más detalles consulta la documentación de Qwen2.5 y el informe técnico de Qwen2.5.
Hechos conocidos sobre el preentrenamiento de Qwen2.5-32B:
- Se usaron aproximadamente 18 billones de tokens para el preentrenamiento
- Los datos incluyen texto web, código, matemáticas y datos sintéticos
- Cubre más de 29 idiomas
- Fecha de corte del conocimiento: aproximadamente principios de 2024
(b) Datos del fine-tune de destilación, DeepSeek-R1
DeepSeek AI ajustó Qwen2.5-32B usando aproximadamente 800.000 muestras de razonamiento generadas por el modelo profesor DeepSeek-R1 (un modelo MoE de 671 B de parámetros). Estas muestras consisten en trazas largas de razonamiento en cadena en los dominios de matemáticas, ciencia, programación y razonamiento lógico.
El proceso de destilación no añade nuevo conocimiento factual al modelo más allá del que ya contiene el Qwen2.5-32B base. Su propósito es transferir los patrones de razonamiento y las capacidades de pensamiento extendido del modelo profesor más grande al modelo alumno de 32B.
DeepSeek AI no ha publicado:
- La composición exacta ni las fuentes de las 800.000 muestras de destilación más allá de la descripción anterior
- La metodología de filtrado de datos aplicada al conjunto de datos de destilación
Referencia principal: arXiv:2501.12948.
Fecha de corte del conocimiento
Heredada de la base Qwen2.5-32B: aproximadamente principios de 2024. El fine-tune de destilación no amplía la fecha de corte del conocimiento.
Idiomas admitidos
Principalmente los idiomas admitidos por Qwen2.5-32B: más de 29 idiomas, incluidos árabe, chino (simplificado y tradicional), inglés, francés, alemán, hindi, indonesio, italiano, japonés, coreano, malayo, portugués, ruso, español, tailandés, turco, ucraniano, vietnamita, entre otros. El fine-tune de destilación no modificó el soporte de idiomas. Lista completa de idiomas: consulta la documentación de Qwen2.5.
Usos previstos
Este modelo está diseñado para:
- Razonamiento matemático avanzado (benchmarks AIME, MATH-500)
- Resolución de problemas científicos y lógicos con cadena de razonamiento extendida
- Generación de código con verificación de razonamiento
- Tareas que requieren razonamiento paso a paso donde el pensamiento intermedio se hace visible
El modelo está optimizado para tareas intensivas en razonamiento. Genera trazas de razonamiento extendidas <think>...</think> antes de producir la respuesta final. Mistral AI recomienda:
- Temperatura entre 0,5 y 0,7 (se recomienda 0,6)
- Evitar prompts de sistema, colocando todas las instrucciones en el turno del usuario
- Precompletar las respuestas con
<think>\npara forzar el razonamiento
Este modelo no es un modelo conversacional de propósito general, se adapta mejor a tareas de razonamiento estructurado.
Evaluación de riesgo sistémico
| Campo | Detalle |
|---|---|
| FLOPs de entrenamiento | No publicados por DeepSeek AI ni por el Qwen Team para esta variante destilada |
| Base relevante para la evaluación del umbral | Qwen2.5-32B (el modelo base preentrenado), los FLOPs del fine-tune de destilación son insignificantes en comparación |
| FLOPs estimados (preentrenamiento de Qwen2.5-32B) | ~3,5 × 10²⁴ (estimación basada en 32,8 B de parámetros por ~18 billones de tokens, fórmula 6 × N × D) |
| ¿Supera el umbral de 10²⁵ FLOPs? | No. Se estima aproximadamente 3 veces por debajo del umbral de riesgo sistémico |
| Nota sobre la arquitectura densa | Qwen2.5-32B y esta variante destilada son modelos densos, todos los parámetros están activos por token |
| Designación por la Oficina de IA | No está designado como modelo de riesgo sistémico a fecha de mayo de 2026 |
| ¿Aplican las obligaciones del art. 55? | No |
Los FLOPs relevantes para la evaluación del umbral de riesgo sistémico son los del modelo base (preentrenamiento de Qwen2.5-32B), no los del fine-tune de destilación. Esta estimación se basa en información públicamente disponible (recuento de parámetros de la ficha del modelo, recuento de tokens de la documentación de Qwen2.5). Si se publican cifras oficiales de cómputo, esta sección se actualizará.
Esta documentación está publicada por Nextbit256 S.L. de conformidad con el artículo 53(1)(c) y 53(1)(d) del Reglamento (UE) 2024/1689 (AI Act). Nextbit256 S.L. presta este modelo a través de su API de inferencia, pero no lo ha desarrollado ni entrenado. El fine-tune de destilación lo realizó DeepSeek AI. El modelo base lo desarrolló el Qwen Team / Alibaba Cloud. Toda la información procede de la documentación pública publicada por DeepSeek AI y el Qwen Team.
Para consultas: [email protected]