Transformers documentation
Falcon3
Este modelo fue aportado a Hugging Face Transformers el 2024-12-17.
Falcon3
Resumen
Falcon3 representa una evolución natural de las versiones anteriores, con un énfasis en ampliar las capacidades de ciencia, matemáticas y código de los modelos. Esta iteración incluye cinco modelos base: Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base y Falcon3-10B-Base. En el desarrollo de estos modelos, incorporamos varias innovaciones clave orientadas a mejorar el rendimiento de los modelos y reducir los costos de entrenamiento:
Un solo preentrenamiento: realizamos una única ejecución de preentrenamiento a gran escala en el modelo de 7B, utilizando 2048 chips de GPU H100, aprovechando 14 billones de tokens que incluyen datos de la web, código, STEM y datos multilingües de alta calidad seleccionados. Escala de profundidad para mejorar el razonamiento: basándonos en estudios recientes sobre los efectos de la profundidad del modelo, escalamos el modelo de 7B a un modelo de 10B de parámetros duplicando las capas redundantes y continuando el preentrenamiento con 2TT de datos de alta calidad. Esto dio lugar a Falcon3-10B-Base, que logra un rendimiento zero-shot y few-shot líder en su categoría para modelos con menos de 13B de parámetros. Destilación de conocimiento para mejores modelos pequeños: para ofrecer alternativas compactas y eficientes, desarrollamos Falcon3-1B-Base y Falcon3-3B-Base aprovechando técnicas de poda y destilación de conocimiento, utilizando menos de 100GT de datos de alta calidad seleccionados, redefiniendo así la eficiencia del preentrenamiento.