PaCA: Partial Connection Adaptation

PaCA（ICLR 2025）は、学習速度とアクティベーションメモリをターゲットとするPEFT手法です。各ターゲットとなる事前学習済み重みの、r 個のランダムに選択された入力列（「部分接続」）をファインチューニングします。学習可能なパラメータはこれらの列の更新のみであり、LoRAとは異なり、PaCAは追加の低ランク行列を一切加えません。

LoRAのような手法は、事前学習済みレイヤーの隣に小さな低ランクのブランチを実行します。このブランチはFLOPsをほとんど必要としませんが、事前学習済みレイヤーと逐次実行され、バックワードパスのために入力活性化の独自のコピーを保持します。PaCAはこれら両方を回避します：

• レイヤーごとに1回のGEMM。 適応された列は、事前学習済み重みの行列積の直前に書き込まれ、直後に復元されるため、前向きと後向きはそれぞれ1回の行列積のみを実行し、凍結されたベースレイヤーと完全に同じ動作になります。
• 部分活性化。適応された列の勾配は、対応するr個の入力チャネルにのみ依存するため、バックワードパスでは完全な入力の代わりに、それらのチャネルのみが保存されます。

結果として得られる重みの観点では、PaCA アダプターは、A 行列が固定された列セレクターであるランク r の LoRA アダプターと同等です: W' = W + delta @ S。ここで S は r 列を選択します。したがって、convert_to_lora() を使用して、例えば LoRA 推論スタックでサーブするために、損失なくランク r の LoRA アダプターに変換できます。

PaCAを使用するタイミング:

• LoRAレベルの精度を維持しつつ、より高速なファインチューニングステップと低いアクティベーションメモリを必要とする場合（例：同じGPU上でより長いシーケンスやより大きなバッチを処理したい場合）に適用できます。
• ベースの重みに正確にマージされるアダプター（更新が通常の列更新である）が必要です。

現在の制約:

• サポートされているのはnn.Linearレイヤー（量子化された線形レイヤーを含む）のみです。
• PaCAはベースレイヤーのforwardを呼び出すのではなく、matmul自体を実行するため、ベースレイヤーに登録されたforwardフックは呼び出されません（警告が出力されます）。代わりに、PaCAレイヤーにフックを登録してください。
• ミックスされたアダプターバッチ(adapter_names引数)はサポートされていません。
• sharded weights（FSDP、DeepSpeed ZeRO-3）を用いたトレーニングは、まだテストされていません。
• torch.compile はサポートされています。コンパイル下では、カラムスワップ、matmul、およびリストアが不透明なカスタムオペレーション（torch.ops.peft.paca_linear_forward/_backward）として実行されるため、コンパイラはベースの重みをコピーしません。これには torch.library.custom_op（PyTorch >= 2.4）が必要です。それ以外の場合は、eager 実装がトレースされます。
• paca_alpha / rはカラムの更新をスケーリングするため、実質的な学習率の乗数として機能します。
• 推論では、アダプタをマージしてください（merge_and_unload()）。マージされていない forward は、呼び出しのたびにカラムを切り替えます。

使用方法

from transformers import AutoModelForCausalLM
from peft import PacaConfig, get_peft_model

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-3B")
config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear", random_seed=0)
model = get_peft_model(model, config)
model.print_trainable_parameters()

デフォルトでは、対象の各レイヤーはr列をランダムに選択してファインチューニングします。論文では、この方法は重みノルムまたは累積勾配に基づいて列を選択する場合と同等の性能を示しました。別の選択戦略を試す場合や、レイヤーごとの列数を異なるものにする場合は、paca_indices_patternを渡します。そのキーは、LoRAのrank_patternと同様に、レイヤー名または正規表現です。

config = PacaConfig(
    r=16,
    paca_alpha=16,
    target_modules=["q_proj", "v_proj"],
    paca_indices_pattern={"layers.0.self_attn.q_proj": [0, 2, 4, 6], "layers.1.self_attn.v_proj": list(range(32))},
)

キーに一致するレイヤーは指定された列をファインチューニングし、その他の対象レイヤーはr個のランダムな列を選択します。スケーリングはpaca_alpha / rであり、すべてのレイヤーで設定のrを使用するため、paca_alphaはすべてのレイヤーで同じ意味を持ちます。

論文の抄録は以下の通りです:

従来のパラメータ効率型ファインチューニング（PEFT）アルゴリズムは、モデル全体ではなく、追加の少数のアダプタパラメータのみを学習させることで、大規模ニューラルネットワークモデルのファインチューニングにおけるメモリ使用量と計算コストを削減します。 しかし、PEFTによる計算コストの削減が必ずしもトレーニング時間の短縮に直結するとは限りません。アダプタ層の計算コストは事前学習済み層よりもはるかに小さいものの、これら2種類の層はGPU上で逐次処理されることが広く知られており、これが大きなレイテンシオーバーヘッドを生み出します。 LoRAとそのバリアントは、推論時に低ランクのアダプタ行列を事前学習済み重みとマージすることで、このレイテンシオーバーヘッドを回避します。ただし、トレーニング中は事前学習済み重みを凍結したまま低ランクのアダプタ行列を継続的に更新する必要があるため、これらの層をマージすることはできません。さらに、LoRAとそのバリアントはアクティベーションメモリを削減しません。最初の低ランクアダプタ行列は、事前学習済み重みの重み勾配を計算するために、事前学習済み重みへの入力アクティベーションを必要とするためです。この問題を緩和するために、私たちは、モデルにアダプタ層を導入するのではなく、事前学習済み重み内のランダムに選択された部分接続をファインチューニングするPartial Connection Adaptation（PaCA）を提案します。PaCAは、アダプタ層と事前学習済み層の逐次処理による時間オーバーヘッドを排除することでトレーニング速度を向上させるだけでなく、勾配計算のためにフルアクティベーションではなく部分アクティベーションのみを保存すればよいため、アクティベーションメモリも削減します。LoRAと比較して、PaCAはMMLUデータセットでのファインチューニングやOasst1データセットでのインストラクションチューニングなど、さまざまなファインチューニングシナリオにおいて同等の精度を維持しながら、トレーニング時間を22%、総メモリ使用量を16%削減します。 また、PaCAは量子化と組み合わせることができ、LLaMA3.1-70Bのような大規模モデルのファインチューニングを可能にします。さらに、LoRAと比較して、PaCAはNVIDIA A100 GPUおよびINTEL Gaudi2 HPUの両方で、シーケンス長を23%長くしてトレーニングでき、スループットを16%向上させます。

ベンチマーク概要

API

PacaConfig

PacaModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import PacaConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = PacaConfig(r=16, paca_alpha=16, target_modules="all-linear")
>>> model = get_peft_model(base_model, config)