Phi-4: Ficha de modelo
Publicado por Nextbit256 S.L. | Última actualización: mayo de 2026 Referencia normativa: Reglamento (UE) 2024/1689 del AI Act, art. 53.1.c y 53.1.d
Identificación del modelo
| Campo | Detalle |
|---|---|
| Nombre completo del modelo | Phi-4 |
| Desarrollado por | Microsoft Research |
| Fecha de publicación | Diciembre de 2024 |
| Ficha del modelo | huggingface.co/microsoft/phi-4 |
| Informe técnico | arXiv:2412.08905 |
| Blog del desarrollador | No publicado por Microsoft Research para este modelo |
Arquitectura y parámetros
| Campo | Detalle |
|---|---|
| Arquitectura | Densa (transformer solo decodificador) |
| Parámetros totales | 14 B |
| Parámetros activos por token | No aplica. Modelo denso, todos los parámetros están activos |
| Parámetros sin incluir embeddings | No publicado por Microsoft Research |
| Capas | No publicado por Microsoft Research |
| Atención | No publicado por Microsoft Research (arquitectura descrita como cambios mínimos respecto a phi-3) |
| Longitud de contexto nativa | 16.384 tokens |
| Contexto extendido | No publicado por Microsoft Research |
| Precisión | No publicada por Microsoft Research |
Licencia y uso comercial
Licencia: MIT License
La licencia MIT es una licencia de código abierto permisiva que permite el uso comercial, la distribución y la modificación de forma gratuita, con restricciones mínimas (se exige atribución e inclusión del texto de la licencia).
Verificación de Nextbit: Nextbit ha revisado los términos de licencia aplicables a Phi-4 y ha confirmado que prestar este modelo por API bajo un servicio de inferencia comercial está permitido conforme a la licencia MIT. No se requiere ningún acuerdo comercial adicional con Microsoft Research para este caso de uso.
Restricciones relevantes para los usuarios: ninguna específica de este modelo más allá de los términos estándar de la licencia MIT. Los usuarios de la API de Nextbit que integren las salidas del modelo en sus propios productos siguen siendo responsables de su propio cumplimiento de la normativa aplicable y de cualquier requisito de licencia derivado.
Resumen de datos de entrenamiento
A continuación se resume la información públicamente disponible facilitada por Microsoft Research sobre los datos de entrenamiento de Phi-4, tal como se documenta en el informe técnico (arXiv:2412.08905) y la ficha del modelo en HuggingFace.
Datos de preentrenamiento
Phi-4 se entrenó con aproximadamente 9,8 billones de tokens. La serie Phi de Microsoft Research destaca por su fuerte énfasis en datos sintéticos y curados de alta calidad. Las fuentes de datos de entrenamiento incluyen:
- Documentos disponibles públicamente: texto y documentos web filtrados, seleccionados por calidad
- Datos educativos y de código de alta calidad: curados específicamente para razonamiento y capacidad de programación
- Datos sintéticos "tipo libro de texto": contenido generado sintéticamente para matemáticas, programación, razonamiento y conocimiento general, una característica definitoria de la familia de modelos Phi
- Libros académicos adquiridos y conjuntos de datos de preguntas y respuestas: corpus académicos y de respuesta a preguntas con licencia
- Datos supervisados de chat de alta calidad: usados para el seguimiento de instrucciones y la alineación
El entrenamiento se ejecutó durante 21 días en 1.920 GPU H100-80G (octubre a noviembre de 2024).
Cobertura de idiomas
Phi-4 es principalmente un modelo en inglés. Aproximadamente el 92 % de los datos de entrenamiento están en inglés. Los datos multilingües representan aproximadamente el 8 %. Es intencionado: el modelo está optimizado para tareas de razonamiento en inglés.
Fecha de corte del conocimiento
Junio de 2024 para los datos disponibles públicamente. La generación de datos sintéticos puede extenderse marginalmente más allá de esta fecha, pero junio de 2024 es la fecha de corte declarada para el conocimiento del mundo real.
Post-entrenamiento
El post-entrenamiento incluyó:
- Supervised Fine-Tuning (SFT) para el seguimiento de instrucciones
- Direct Preference Optimization (DPO) para la alineación con las preferencias humanas
Qué no está disponible públicamente
Microsoft Research no ha publicado:
- Recuentos exactos de tokens por fuente ni porcentajes de composición
- Los nombres de conjuntos de datos o corpus específicos utilizados
- La metodología detallada de filtrado de datos
- El cómputo de entrenamiento (FLOPs)
- Detalles de arquitectura (número de capas, cabezas de atención)
La referencia pública principal es el informe técnico de Phi-4 (arXiv:2412.08905).
Idiomas admitidos
Phi-4 es principalmente un modelo en inglés (aproximadamente el 92 % de los datos de entrenamiento en inglés). Tiene capacidad multilingüe limitada por el ~8 % restante de datos de entrenamiento multilingües. Para casos de uso multilingües, otros modelos del catálogo de Nextbit entrenados con corpus multilingües más amplios (por ejemplo, Qwen3, ALIA-40B) son más adecuados.
Usos previstos
Este modelo está diseñado para:
- Respuesta a preguntas centradas en STEM (matemáticas, ciencia, ingeniería)
- Tareas de razonamiento avanzado donde la calidad de los datos importa más que el volumen de entrenamiento
- Generación y análisis de código
- Seguimiento de instrucciones en contextos en inglés
- Aplicaciones de investigación y académicas que requieren un modelo de razonamiento sólido con pocos parámetros
La serie Phi se diseña en torno a la hipótesis de que datos de entrenamiento sintéticos de alta calidad pueden producir capacidades de razonamiento que superan a las de modelos mucho más grandes entrenados con datos más amplios pero de menor calidad.
La ficha del modelo no indica usos explícitamente excluidos más allá de las directrices estándar de uso responsable.
Evaluación de riesgo sistémico
| Campo | Detalle |
|---|---|
| FLOPs de entrenamiento | No publicados por Microsoft Research |
| FLOPs estimados (modelo denso) | ~1,7 × 10²³ (estimación basada en 14 B de parámetros por 9,8 billones de tokens, fórmula 6 × N × D) |
| ¿Supera el umbral de 10²⁵ FLOPs? | No. Se estima aproximadamente 60 veces por debajo del umbral de riesgo sistémico |
| Nota sobre la arquitectura densa | Phi-4 es un modelo denso, todos sus 14 B de parámetros están activos por token. El recuento total de parámetros es el que se usa para la estimación de FLOPs |
| Designación por la Oficina de IA | No está designado como modelo de riesgo sistémico a fecha de mayo de 2026 |
| ¿Aplican las obligaciones del art. 55? | No |
Esta estimación se basa en información públicamente disponible (recuento de parámetros: 14 B, recuento de tokens: 9,8 billones, ambos del informe técnico y de la ficha del modelo). Microsoft Research no ha publicado cifras oficiales de FLOPs. Si se publican dichas cifras, esta sección se actualizará.
Esta documentación está publicada por Nextbit256 S.L. de conformidad con el artículo 53(1)(c) y 53(1)(d) del Reglamento (UE) 2024/1689 (AI Act). Nextbit256 S.L. presta este modelo a través de su API de inferencia, pero no lo ha desarrollado ni entrenado. Toda la información sobre datos de entrenamiento y arquitectura procede de la documentación pública publicada por Microsoft Research.
Para consultas: [email protected]