IA3

IA3 es una excelente opción cuando necesitas el tamaño de adaptador más pequeño posible: utiliza vectores aprendidos en lugar de matrices de bajo rango, lo que lo convierte en uno de los métodos más eficientes en parámetros disponibles. Si tu prioridad es una huella mínima en disco/memoria y un entrenamiento rápido, IA3 es un candidato sólido.

Infused Adapter mediante la inhibición y amplificación de las activaciones internas, o IA3, es un método que añade tres vectores aprendidos para reescalar las claves y los valores de las capas de autoatención y de atención codificador-decodificador, así como la activación intermedia de la red feed-forward por posición.

El resumen del artículo es:

El aprendizaje en contexto de pocos ejemplos (ICL) permite que los modelos de lenguaje preentrenados realicen una tarea previamente no vista sin ningún entrenamiento basado en gradientes, proporcionando un pequeño número de ejemplos de entrenamiento como parte de la entrada. El ICL incurre en costos computacionales, de memoria y de almacenamiento sustanciales, ya que implica procesar todos los ejemplos de entrenamiento cada vez que se realiza una predicción. El ajuste fino eficiente en parámetros (PEFT) (p. ej., módulos de adaptador, ajuste de prompts, métodos de actualización dispersa, etc.) ofrece un paradigma alternativo donde se entrena un pequeño conjunto de parámetros para habilitar al modelo a realizar la nueva tarea. En este artículo, comparamos rigurosamente el ICL de pocos ejemplos y el PEFT, y demostramos que este último ofrece una mejor precisión, así como costos computacionales drásticamente menores. En el proceso, introducimos un nuevo método de PEFT llamado (IA)^3 que escala las activaciones mediante vectores aprendidos, logrando un rendimiento más fuerte mientras solo introduce una cantidad relativamente pequeña de nuevos parámetros. También proponemos una receta simple basada en el modelo T0 llamada T-Few, que puede aplicarse a nuevas tareas sin ajustes o modificaciones específicos de la tarea. Validamos la efectividad de T-Few en tareas completamente no vistas aplicándolo al benchmark RAFT, logrando por primera vez un rendimiento superior al humano y superando al estado del arte en un 6% absoluto. Todo el código utilizado en nuestros experimentos está disponible públicamente.

Para hacer el ajuste fino más eficiente, IA3 (Infused Adapter by Inhibiting and Amplifying Inner Activations) reescala las activaciones internas con vectores aprendidos. Estos vectores aprendidos se inyectan en los módulos de atención y de red feedforward en una arquitectura basada en transformers típica. Estos vectores aprendidos son los únicos parámetros entrenables durante el ajuste fino, por lo que los pesos originales permanecen congelados. Trabajar con vectores aprendidos (en contraposición a actualizaciones de bajo rango aprendidas de una matriz de pesos, como en LoRA) mantiene el número de parámetros entrenables mucho menor.

Al ser similar a LoRA, IA3 presenta muchas de las mismas ventajas:

• IA3 hace que el ajuste fino sea más eficiente al reducir drásticamente el número de parámetros entrenables. (Para T0, un modelo IA3 solo tiene aproximadamente el 0,01 % de parámetros entrenables, mientras que incluso LoRA tiene > 0,1 %)
• Los pesos preentrenados originales se mantienen congelados, lo que significa que puedes tener múltiples modelos IA3 ligeros y portátiles para diversas tareas de nivel inferior construidos sobre ellos.
• El rendimiento de los modelos ajustados con IA3 es comparable al de los modelos completamente ajustados.
• IA3 no añade ninguna latencia de inferencia porque los pesos del adaptador pueden fusionarse con el modelo base.

En principio, IA3 se puede aplicar a cualquier subconjunto de matrices de pesos en una red neuronal para reducir el número de parámetros entrenables. Siguiendo la implementación de los autores, los pesos de IA3 se añaden a las capas de clave, valor y feedforward de un modelo Transformer. Para ser más específicos, en los modelos transformer, los pesos de IA3 se añaden a las salidas de las capas de clave y valor, y a la entrada de la segunda capa feedforward en cada bloque transformer.

Dadas las capas objetivo para la inyección de parámetros IA3, el número de parámetros entrenables se puede determinar en función del tamaño de las matrices de pesos.

Uso

Para los modelos autoregresivos, dirígete a k_proj, v_proj y down_proj; estos son las capas que los autores encontraron más efectivas. Establece feedforward_modules=["down_proj"] para que IA3 sepa qué módulos son capas de feedforward y pueda aplicar la escalada correcta.

Para la tarea de clasificación de secuencias, se puede inicializar la configuración de IA3 para un modelo Llama de la siguiente manera:

from peft import IA3Config, TaskType, get_peft_model
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM-135M")
peft_config = IA3Config(
    task_type=TaskType.CAUSAL_LM,
    target_modules=["k_proj", "v_proj", "down_proj"],
    feedforward_modules=["down_proj"],
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Cuándo usar IA3 frente a LoRA

IA3 es particularmente eficaz cuando necesitas los adaptadores más pequeños posibles para implementaciones con restricciones de almacenamiento, o cuando buscas una convergencia rápida con menos parámetros entrenables. LoRA puede ser preferible cuando necesitas el ecosistema más amplio de variantes de LoRA (DoRA, QLoRA, etc.) o deseas el enfoque más ampliamente probado, con un amplio soporte de la comunidad.

Resumen de las pruebas de rendimiento

API

IA3Config

IA3Model

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import IA3Config, get_peft_model

>>> config = IA3Config(
...     peft_type="IA3",
...     task_type="SEQ_2_SEQ_LM",
...     target_modules=["k", "v", "w0"],
...     feedforward_modules=["w0"],
... )

>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> ia3_model = get_peft_model(model, config)