جسر الفجوة بين التكيف منخفض الرتبة والتكيف المتعامد عبر تكيف انعكاس هاوس هولدر (HRA)

يوفر HRA منظورًا جديدًا يربط بين LoRA و OFT، مما يعني أنه يمكنه الاستفادة من مزايا كلتا الاستراتيجيتين، وذلك من خلال الاعتماد على Householder reflections لتقليل عدد المعاملات وتكاليف الحساب مع معاقبة فقدان المعرفة المكتسبة أثناء التدريب المسبق. يحقق باستمرار أداءً أفضل بعدد أقل من المعاملات القابلة للتدريب، ويتفوق على محولات الحالة الفنية عبر نماذج مختلفة، بما في ذلك النماذج اللغوية الكبيرة (LLMs) ومولّدات الصور الشرطية.

يبني HRA سلسلة من r انعكاسات Householder القابلة للتدريب (HRs). وبما أن مصفوفة انعكاس Householder هي مصفوفة متعامدة، وأن حاصل ضرب المصفوفات المتعامدة هو أيضاً مصفوفة متعامدة، فإن HRA يحقق الضمان النظري للضبط الدقيق المتعامد (OFT). وفي الوقت نفسه، يمكن النظر إلى HRA أيضاً على أنه مُكيّف (adapter) للضبط الدقيق منخفض الرتبة. كلما ارتفعت قيمة r, ، زادت عدد المعلمات القابلة للتدريب، مما يؤدي إلى سعة نموذج أكبر وأداء أفضل. بالإضافة إلى ذلك، بسبب البنية السلسلة، يؤثر تعامد مستويات HR على سعة HRA وانتظامها. لتحقيق توازن بين سعة النموذج وانتظامه، يُضاف مُنظِّم تعامد لمستويات HR إلى دالة الخسارة. يمكن للوزن$\lambda$ أن يتحكم في قوة المُنظِّم.

ملخص الورقة البحثية هو:

وعلى الرغم من اتباع مسارات تقنية مختلفة، يمكن لكلتا تقنيتي التكيف ذات الرتبة المنخفضة والتكيف المتعامد أن تكيفا بنماذج التدريب المسبق واسعة النطاق بكفاءة في مهام أو مجالات محددة بناءً على جزء صغير من المعلمات القابلة للتدريب. في هذه الدراسة، نسدّ الفجوة بين هاتين التقنيتين، مقترحين طريقة تكيف بسيطة لكنها فعالة تعتمد على انعكاسات هاوسهولدر. بالنظر إلى نموذج مدرَّب مسبقًا، تعيد طريقة طبقاته الضبط عن طريق ضرب كل مصفوفة أوزان مجمّدة بمصفوفة متعامدة مبنية بواسطة سلسلة من انعكاسات هاوسهولدر القابلة للتدريب (HRs). إن الضبط المتعامد القائم على HRs هذا مكافئ لتكيف رتبة منخفضة متكيف. علاوة على ذلك، نوضح أن تعامد مستويات الانعكاس المقابلة لـ HRs يؤثر على سعة النموذج وانتظامه. يحفزنا هذا التحليل على تنظيم تعامد HRs، مما يؤدي إلى تنفيذات مختلفة لطريقة تكيف انعكاسات هاوسهولدر المقترحة (HRA). مقارنةً بالطرق المتقدمة حاليًا، تحقق HRA أداءً متفوقًا بعدد أقل من المعلمات القابلة للتدريب عند تكيف نماذج اللغة الكبيرة والمولّدات الشرطية للصور. الكود متاح في peft و HRA.

واجهة برمجة التطبيقات

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAConfig, get_peft_model

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)