PEANuT : Adaptation efficace des paramètres avec des ajusteurs neuronaux sensibles aux poids

PEANuT est une technique de fine-tuning efficace en termes de paramètres qui introduit des « neural tweakers » sensibles aux poids afin de générer des mises à jour d’adaptateurs à partir des poids pré-entraînés gelés eux-mêmes. Plutôt que d’apprendre une mise à jour de faible rang purement linéaire comme dans LoRA, PEANuT conditionne la transformation de l’adaptateur sur le poids de base, ce qui rend la règle de mise à jour plus expressive tout en maintenant le nombre de paramètres entraînables faible.

PEANuT utilise une projection d'entrée A, une projection de sortie B et des paires optionnelles d'encodeur/décodeur résiduel intermédiaires avec des activations non linéaires. Cela permet de modéliser des motifs de mise à jour plus complexes que les adaptateurs linéaires agnostiques des poids, tout en restant dans le cadre de PEFT.

PEANuT présente actuellement les compromis suivants :

Avantages :

• Expressivité théorique supérieure par rapport aux mises à jour de faible rang linéaires.
• Des performances supérieures à celles de LoRA sur une variété de tâches, à budget comparable.
• Fonctionne très bien dans des régimes à très faible nombre de paramètres, par exemple autour de 0.2M paramètres entraînables.

Inconvénients :

• Utilisation de la mémoire plus élevée que LoRA, car ΔW est explicitement construit avant d'être appliqué.
• Entraînement et inférence plus lents que LoRA, et les couches intermédiaires plus profondes augmentent encore la surcharge.
• La non-linéarité peut nécessiter un réglage plus minutieux des hyperparamètres, en particulier le taux d'apprentissage et les paramètres d'optimisation associés.

Si ces compromis ne conviennent pas à votre cas d’usage, envisagez d’autres méthodes PEFT telles que LoRA.

L'abstract de l'article est :

Le fine-tuning de grands modèles de fond pré-entraînés offre souvent d'excellentes performances en aval, mais il est prohibitivement coûteux lorsqu'il met à jour tous les paramètres. Les méthodes de fine-tuning efficace en termes de paramètres (PEFT), telles que LoRA, atténuent ce problème en introduisant des modules de mise à jour légers, mais elles s'appuient généralement sur des approximations linéaires agnostiques des poids, ce qui limite leur expressivité. Dans ce travail, nous proposons PEANuT, un nouveau cadre PEFT qui introduit des « neural tweakers » sensibles aux poids, des modules neuronaux compacts qui génèrent des mises à jour adaptées à la tâche, conditionnées par les poids pré-entraînés figés. PEANuT offre une manière flexible et efficace de capturer des motifs de mise à jour complexes sans entraînement complet du modèle. Nous montrons théoriquement que PEANuT atteint une expressivité équivalente ou supérieure à celle des méthodes PEFT linéaires existantes, avec un nombre comparable ou inférieur de paramètres. Des expériences exhaustives sur quatre benchmarks avec plus de vingt jeux de données démontrent que PEANuT surpasse systématiquement des baselines solides à la fois sur des tâches de NLP et de vision, tout en maintenant une surcharge computationnelle faible.

Aperçu des benchmarks

API

PeanutConfig

PeanutModel