LoRA変換

非LoRA PEFTモデルをLoRAモデルに変換できる関数。

説明

PEFTは、数十種類の異なるパラメータ効率ファインチューニング手法をサポートしています。その中でも、圧倒的に人気があるのはLoRAです。そのため、他の多くのパッケージもLoRAをサポートしています。例えば、DiffusersではLoRAアダプターを読み込むことで、拡散モデルの機能を変更できます。vLLMでは、LoRAアダプター付きのモデルをサービングできます。これは素晴らしいことですが、残念ながら、LoRA以外のPEFT手法はほとんどサポートされていません。したがって、特定のユースケースにおいて他のPEFT手法の方が適している場合でも、下流のパッケージがサポートしていないため、その手法を使用できない可能性があります。

ここでは、一つの解決策を提示します。PEFTには、save_as_lora() と convert_to_lora() という2つの関数が提供されており、PEFTアダプターをLoRAアダプターに変換できます。現時点ではすべてのPEFTメソッドがこの変換に対応しているわけではありませんが、対応している場合、自分に最も適したPEFTメソッドから始め、後からLoRAアダプターとして利用することが可能になります。

例

変換されたアダプターの LoRA ランクは、rank 引数に 0 以上の int を渡すことで固定のランクに設定することも、rank 引数に 0 と 1 間の float を渡すことで各レイヤーに適応する動的ランクに設定することもできます。動的ランクは、より効率的になる可能性があります（パラメータ数を減らしつつ同じパフォーマンスを維持）。

固定されたLoRAランク

save_as_lora()の使い方は比較的シンプルです:

from peft import get_peft_model, save_as_lora

# first load and train your non-LoRA PEFT model as normal
base_model = ...
non_lora_config = ...
model = get_peft_model(base_model, non_lora_config)
# check that this PEFT method can indeed be converted to LoRA
assert model.supports_lora_conversion()
...  # train the model

# the rank of the LoRA adapter that you want to convert to
target_rank = 64
# save as a LoRA checkpoint
save_as_lora(output_path, model, rank=target_rank)

これにより、output_path に LoRA チェックポイントが作成されます。このチェックポイントは、他の LoRA アダプターと同様に読み込むことができ、Diffusers や vLLM などの下流のパッケージでも使用できます。

変換した LoRA アダプターを保存せず、変換後の重みをすぐに使用したい場合（評価の実行など）には、convert_to_lora() 関数が便利です。

from peft import convert_to_lora, get_peft_model, set_peft_model_state_dict

base_model = ...
non_lora_config = ...
model = get_peft_model(base_model, non_lora_config)
...  # train the model

# get the lora config and state dict of the converted lora model
lora_config, lora_state_dict = convert_to_lora(model, rank=target_rank)
# reload the base model, or use model.unload()
base_model = ...
# apply the lora config to the base model
lora_model = get_peft_model(base_model, lora_config)
# load the LoRA weights onto the base model
set_peft_model_state_dict(lora_model, state_dict)

動的LoRAランク

上記の例では、変換に固定のLoRAランクを使用しました。しかし、一部の層は正確な変換に高いランクを必要としない一方で、他の層はより高いランクを必要とする可能性があります。これに対応するため、PEFTではrank引数として0から1の間の浮動小数点数を渡すオプションを提供しています。例えば、rank=0.5を渡すと、各層について、元のアダプタによって導入された重みの分散の50%を説明するようにLoRAアダプタのランクが選択されます。より技術的な表現をすると、内部ではアダプタの重みへの寄与に対して特異値分解を実行し、正規化された上位の特異値の合計が渡された値に達するまでそれらを抽出します。

# set a dynamic rank by passing a float
threshold = 0.7
# save as a LoRA checkpoint
save_as_lora(output_path, model, rank=threshold)
# get the lora config and state dict directly:
lora_config, lora_state_dict = convert_to_lora(model, rank=threshold)
# inspect the different ranks per layer:
print(lora_config.rank_pattern)

異なるレイヤーの寄与が大きく異なる場合、このタイプの動的なLoRAランクを使用すると有用です。デメリットとしては、一部のレイヤーでLoRAランクが非常に高くなる可能性があるため、メモリ使用量の急増を引き起こすことがあります。使用ケースに応じて最適な設定をテストしてください。

モデルのコンパイル

大規模モデルの場合、変換に時間がかかることがあります。例えば、各PEFTモジュールはSVD計算を経る必要があります。compile_kwargsをsave_as_lora()またはconvert_to_lora()に渡すことで、変換関数にtorch.compileを適用し、処理を高速化できる可能性があります。compile_kwargsはtorch.compileに渡されるキーワード引数の辞書です（空の辞書でも動作します）。以下に例を示します。

compile_kwargs = {"dynamic": True, "mode": "max-autotune-no-cudagraphs", "fullgraph": True}
save_as_lora(output_path, model, rank=rank, compile_kwargs=compile_kwargs)

LoRAからLoRAへの変換

LoRA アダプターを別の LoRA アダプターに変換することも可能です。なぜそうしたいのでしょうか。1 つの理由があります。それは、LoRA アダプターのランクを下げたい場合です。学習後に LoRA アダプターを縮小したい場合は、save_as_lora() または convert_to_lora() を使用し、より小さいランクを指定してください。これにより、メモリとストレージのフットプリントが小さい新しい LoRA アダプターが得られます。

メトリクス

非LoRAからLoRAへの変換

もちろん、PEFTアダプターを別のアダプターに変換するプロセスでは情報が失われます。新しいアダプターは、初期のアダプターほど良好なパフォーマンスを発揮しない可能性が高いです。そのため、変換後のLoRAアダプターを評価することを強く推奨します。これにより、変換後のアダプターがあなたのユースケースに対して十分に良好なパフォーマンスを発揮していることを確認できます。LoRAアダプターのランクが高いほど、初期のアダプターをより正確に近似できるという一般的なルールが適用されます。つまり、変換後のLoRAアダプターは、元のアダプターと同等のパフォーマンスを実現するために、より多くのパラメータを必要とする場合があります。

例として、PEFT MetaMathQA ベンチマークから導出された数値を示します。この実験では、LoHa アダプターを使用して meta-llama/Llama-3.2-3B を MetaMathQA でファインチューニングし、GSM8K で評価しました。初期の LoKr アダプターのランクは 32 であり、学習可能なパラメータ数は 18,350,080、テスト精度は 41.85% でした。評価には 12.25 GB のメモリが必要でした。チェックポイントは、rank の値を異なるものにして LoRA に変換されました。その結果は以下の通りです。

ご覧のとおり、ランクが十分に高い場合、元のLoHaアダプターに近いテスト精度を達成できます。適切なランクの選択は、モデルの性能とモデルの効率性のトレードオフです。この実験を再現するには、https://github.com/huggingface/peft/tree/main/scripts/evaluate-lora-conversion.pyのスクリプトに従ってください。

学習可能なパラメータの数は、メモリ使用量に1対1で変換できるものではありません。学習可能なパラメータ数が同じであっても、PEFT手法によってメモリ使用量が多いものもあれば少ないものもあります。したがって、変換後にLoRAアダプタのパラメータ数が元のモデルよりも多くなった場合でも、サービング時のメモリ効率が高くなる可能性があります。

LoRAからLoRAへの変換

上記の実験と同様に、LoRAからLoRAへの変換（つまりLoRA圧縮）も評価できます。ここでは、上記と同じ設定でRS-LoRAを用いて訓練されたランク64のLoRAアダプターから始めます。初期アダプターは18,350,080の学習可能パラメータを持ち、テスト精度は52.92%、評価には12.58 GBのメモリが必要です。以下の表は、このアダプターをより小さいランクのLoRAアダプターに変換した結果を示しています。

例えば、ランク0.95の場合、パラメータ数を30%削減しながら、精度の差をわずか0.3ポイントに縮小できます。また、これらの圧縮されたLoRAは、低いランクで直接トレーニングするよりも性能が向上する場合があります。例えば、ランク32で直接トレーニングするとテスト精度は48.22%ですが、ランク64から変換すると51.48%になります。

注意事項

LoRA変換にはいくつかの制限があります。上記で述べたように、パフォーマンスの低下が予想され、変換後のLoRAは元のアダプターよりもパラメータ効率が悪くなる可能性が高いです。さらに、LoRA変換には以下の制限があります。

• 現在、線形層に適用されたアダプターのみ変換できます。
• 現在、すべてのPEFTメソッドがLoRA変換をサポートしているわけではありません。

LoRA変換の拡張に対する需要が多い場合は、GitHub discussionを作成してご連絡ください。より多くのレイヤータイプやPEFTメソッドとの互換性を確保します。

API

LoRA 以外のモデルを LoRA モデルに変換し、LoraConfig と state_dict を返します

LoRA 以外のモデルを LoRA モデルに変換し、アダプターチェックポイントと設定を指定されたパスに保存します

>>> lora_path = ...
>>> save_as_lora(lora_path, model, rank=...)
>>> base_model = AutoModel.from_pretrained(...)
>>> lora_model = PeftModel.from_pretrained(base_model, lora_path)