C3A: Эффективное по параметрам дообучение с помощью круговой свёртки

C3A — это метод дообучения с высокой эффективностью по параметрам, который использует свёртку по кругу (Circular Convolution) для достижения адаптации высокого ранга в рамках разумных ограничений ресурсов.

Обратите внимание, что для C3A следует использовать значительно более высокую скорость обучения (LR), чем для других методов. Например, LR 1e-1 для C3A является хорошей отправной точкой. Кроме того, следует использовать значительно меньшее значение weight decay. Дополнительные сведения можно найти в папке method_comparison.

Для параметра block_size, он влияет на настраиваемые параметры и производительность. Для начала можно выбрать $\mathrm{gcd}(d_1,d_2)$ вблизи $\frac{\sqrt{d_1 \times d_2}}{r}$, где $r$ — это ранг LoRA, который вы планируете использовать для этой задачи.

В настоящее время C3A имеет следующие ограничения:

• Поддерживаются только слои nn.Linear.
• Квантованные слои не поддерживаются.
• Размер блока должен быть общим делителем как входного, так и выходного размеров целевых слоёв.

Если эти ограничения не подходят для вашего сценария использования, рассмотрите другие методы.

Аннотация из статьи:

Метод Low-Rank Adaptation (LoRA) получил широкое распространение для дообучения крупных базовых моделей, используя матрицы низкого ранга $\mathbf{A}$ и $\mathbf{B}$ для представления изменений весов (то есть $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$). Этот метод сокращает количество обучаемых параметров и снижает значительное потребление памяти, связанное с полными матрицами дельта, за счёт последовательного умножения $\mathbf{A}$ и $\mathbf{B}$ на активацию. Несмотря на свою эффективность, внутренняя характеристика низкого ранга может ограничивать производительность. Хотя было предложено несколько вариантов для решения этой проблемы, они часто упускают из виду важную вычислительную и энергетическую эффективность, обеспечиваемую LoRA. В данной статье мы предлагаем Circular Convolution Adaptation (C3A), который не только обеспечивает адаптацию высокого ранга с улучшенной производительностью, но и превосходит по вычислительной мощности и использованию памяти. Многочисленные эксперименты показывают, что C3A стабильно превосходит LoRA и его варианты в различных задачах дообучения.

Обзор бенчмарков

API

C3AConfig

C3AModel