BOFT

Orthogonal Butterfly (BOFT) es un método genérico diseñado para el ajuste fino de modelos de base. Mejora la eficiencia de parámetros del paradigma de ajuste fino — Orthogonal Finetuning (OFT), tomando inspiración de la transformada rápida de Fourier de Cooley-Tukey, mostrando resultados favorables al ajustar diferentes modelos de base, incluidos grandes transformadores de visión, grandes modelos de lenguaje y modelos de difusión de texto a imagen.

El resumen del artículo es:

Los grandes modelos de base se están volviendo ubicuos, pero entrenarlos desde cero es prohibitivamente costoso. Por lo tanto, adaptar de manera eficiente estos modelos potentes a tareas de bajo nivel es cada vez más importante. En este artículo, estudiamos un paradigma de ajuste fino fundamentado: el ajuste fino ortogonal (Orthogonal Finetuning, OFT) para la adaptación a tareas de bajo nivel. A pesar de demostrar una buena capacidad de generalización, OFT sigue utilizando un número bastante grande de parámetros entrenables debido a la alta dimensionalidad de las matrices ortogonales. Para abordar esto, comenzamos examinando OFT desde la perspectiva de la transmisión de información y luego identificamos algunos requisitos clave que permiten una mayor eficiencia en el uso de parámetros. Inspirados en cómo el algoritmo de transformada rápida de Fourier de Cooley-Tukey permite una transmisión de información eficiente, proponemos una parametrización ortogonal eficiente que utiliza estructuras de mariposa. Aplicamos esta parametrización a OFT, creando un nuevo método de ajuste fino eficiente en parámetros, llamado Orthogonal Butterfly (BOFT). Al subsumir OFT como un caso especial, BOFT introduce un marco generalizado de ajuste fino ortogonal. Finalmente, realizamos un estudio empírico extenso sobre la adaptación de grandes transformadores de visión, grandes modelos de lenguaje y modelos de difusión de texto a imagen a diversas tareas de bajo nivel en visión y lenguaje.

BOFT se centra en preservar las capacidades generativas de un modelo preentrenado, siendo significativamente más eficiente en parámetros que el OFT estándar. Al igual que OFT, BOFT mantiene la misma similitud coseno (energía hipersférica) entre todas las neuronas de un mismo nivel al aplicar una transformación ortogonal a la matriz de pesos preentrenada, lo que garantiza que se conserven las relaciones semánticas entre las neuronas.

En lugar de utilizar una matriz ortogonal bloque-diagonal, BOFT factoriza la transformación ortogonal en un producto de matrices de mariposa dispersas (introducidas originalmente en la FFT de Cooley–Tukey). A diferencia de las rotaciones bloque-diagonales de OFT, que solo mezclan las entradas dentro de cada bloque, la estructura de mariposa garantiza que cada entrada pueda influir en cada salida, produciendo una conectividad densa con solo O(d log d) parámetros. Esta factorización preserva la expresividad mientras reduce drásticamente la cantidad de parámetros en comparación con OFT (a costa del tiempo de cómputo).

En la práctica, BOFT multiplica cada matriz de pesos preentrenada por una secuencia de factores ortogonales con estructura de mariposa, lo que permite rotaciones de neuronas eficientes y expresivas. Esto hace que BOFT sea adecuado para la generación controlable y para tareas donde es crítico mantener la representación del sujeto del modelo preentrenado, al tiempo que escala a modelos más grandes con menor sobrecarga de memoria y cómputo.

BOFT se puede aplicar a cualquier subconjunto de matrices de pesos en una red neuronal para reducir el número de parámetros entrenables. Dadas las capas objetivo para la inyección de parámetros de BOFT, el número de parámetros entrenables se puede determinar en función del tamaño de las matrices de pesos.

Resumen de las pruebas de rendimiento

Fusionar los pesos de BOFT en el modelo base

De manera similar a LoRA, los pesos aprendidos por BOFT pueden integrarse en las matrices de pesos preentrenadas mediante la función [~BOFTModel.merge_and_unload(). Esta función fusiona los pesos del adaptador con el modelo base, lo que permite utilizar el modelo recién fusionado de forma efectiva como un modelo independiente.

Esto funciona porque, durante el entrenamiento, la matriz de pesos ortogonal (R en el diagrama anterior) y las matrices de pesos preentrenadas son independientes. Pero una vez que el entrenamiento está completo, estos pesos pueden fusionarse (multiplicarse) en una nueva matriz de pesos equivalente.

Uso de ejemplo de BOFT

Para un ejemplo de la aplicación del método BOFT a diversas tareas de bajo nivel, consulte las siguientes guías:

Echa un vistazo a las siguientes guías paso a paso sobre cómo ajustar un modelo con BOFT:

• Ajuste fino de Dreambooth con BOFT
• Ajuste fino de generación controlable con BOFT (ControlNet)

Para la tarea de clasificación de imágenes, se puede inicializar la configuración BOFT para un modelo DinoV2 de la siguiente manera:

import transformers
from transformers import AutoModelForSeq2SeqLM, BOFTConfig
from peft import BOFTConfig, get_peft_model

config = BOFTConfig(
    boft_block_size=4,
    boft_n_butterfly_factor=2,
    target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
    boft_dropout=0.1,
    bias="boft_only",
    modules_to_save=["classifier"],
)

model = transformers.Dinov2ForImageClassification.from_pretrained(
    "facebook/dinov2-large",
    num_labels=100,
)

boft_model = get_peft_model(model, config)

API

BOFTConfig

BOFTModel

>>> import transformers
>>> from peft import BOFTConfig, get_peft_model

>>> config = BOFTConfig(
...     boft_block_size=8,
...     boft_n_butterfly_factor=1,
...     target_modules=["query", "value", "key", "output.dense", "mlp.fc1", "mlp.fc2"],
...     boft_dropout=0.1,
...     bias="boft_only",
...     modules_to_save=["classifier"],
... )

>>> model = transformers.Dinov2ForImageClassification.from_pretrained(
...     "facebook/dinov2-large",
...     num_labels=100,
... )
>>> boft_model = get_peft_model(model, config)