Parámetros

• r (int) — Rango de Lily. Determina la dimensión oculta interna de cada adaptador y el rango de la actualización de pesos A @ B. En Lily, dado que el número de adaptadores suele ser menor que en LoRA, cada adaptador necesita tener más capacidad, por lo que se recomienda usar un r mayor que en LoRA, típicamente 2x, 3x o 4x el rango de LoRA que se usaría normalmente. El número total de parámetros entrenables escala con r * (total_layers / stride_A + num_B), por lo que aumentar r manteniendo stride_A grande y num_B pequeño es el compromiso recomendado.
• stride_A (int) — El número de capas consecutivas que comparten un adaptador A. Por ejemplo, si stride_A=4, cada 4 capas adyacentes comparten el mismo adaptador A, lo que resulta en total_layers / stride_A adaptadores A distintos en total. El adaptador A comprime la entrada en una representación de bajo rango de tamaño r. stride_A no debe ser menor que
  1. Valores sugeridos: 2, 3 o 4 (es decir, compartir cada 2, 3 o 4 capas). Mantener stride_A grande (menos adaptadores A distintos) y aumentar r en su lugar conduce a un mejor rendimiento que el compromiso opuesto (pequeño stride_A, pequeño r). Establecer stride_A=1 significa que cada capa tiene su propio adaptador A. NOTA: el compartimiento de A ocurre dentro de cada objetivo (capas con el mismo sufijo de objetivo). Por ejemplo, si sus target_modules son ['q_proj', 'v_proj'] y establece stride_A=2, entonces cada 2 capas q_proj adyacentes compartirán un adaptador A, y cada 2 capas v_proj adyacentes compartirán otro adaptador A, pero las capas q_proj y v_proj no compartirán adaptadores A entre sí ya que tienen sufijos diferentes.
• num_B (int) — El número de adaptadores B compartidos. A diferencia de los adaptadores A (que se agrupan por capa), todos los adaptadores B se comparten globalmente entre todas las capas. En cada pasada hacia adelante, un router calcula una combinación ponderada de todos los num_B adaptadores B (usando pesos normalizados con softmax) para producir un único adaptador B combinado, que luego proyecta la representación de bajo rango de vuelta a la dimensión original. Se recomienda establecer num_B en un orden similar al de total_layers / stride_A. Valores sugeridos: total_layers / 2, total_layers / 3 o total_layers / 4. Al igual que con stride_A, se prefiere un num_B más pequeño con un r más grande que un num_B más grande con un r más pequeño. NOTA: para entrenar el router, se necesitan al menos 2 adaptadores B (es decir, num_B >= 2), ya que el router aprende a calcular una combinación ponderada de los adaptadores B. NOTA: el compartimiento de B ocurre dentro de cada objetivo (capas con el mismo sufijo de objetivo). Por ejemplo, si tus target_modules son ['q_proj', 'v_proj'] y estableces num_B=4, entonces habrá 4 adaptadores B compartidos entre todas las capas q_proj, y otros 4 adaptadores B compartidos entre todas las capas v_proj, pero las capas q_proj y v_proj no compartirán adaptadores B entre sí, ya que tienen sufijos diferentes.
• target_modules (Union[List[str], str], opcional) — Los nombres de los módulos a los que se aplicará Lily. Puede ser una lista de cadenas de nombres de módulos (p. ej. ['q_proj', 'v_proj']) o un patrón de expresión regular (p. ej. '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'). Si no se especifica, Lily se aplicará a todas las capas lineales compatibles.
• scaling (float) — Un multiplicador escalar aplicado a la salida combinada del adaptador (scaling * A @ combined_B) antes de sumarla a la paso de adelante del peso congelado. A diferencia de LoRA, Lily no utiliza una formulación de alpha / r; en su lugar, scaling es un multiplicador directo. Este diseño facilita realizar barridos de valores en una escala logarítmica (p. ej. 0.01, 0.1, 1.0, 10.0). El valor óptimo depende de la tarea y debe tratarse como un hiperparámetro. Recomendamos comenzar con 1.0.
• modules_to_save (List[str], opcional) — Lista de módulos, aparte de las capas de Lily, que se configurarán como entrenables y se guardarán en el checkpoint final. Por ejemplo, en tareas de clasificación de secuencias o clasificación de tokens, la capa final classifier/score se inicializa aleatoriamente y, por lo tanto, debe ser entrenable y guardada.
• exclude_modules (Union[List[str], str], opcional) — Los nombres de los módulos a los que no se aplicará el adaptador. Al pasar una cadena de caracteres, se realizará una coincidencia con una expresión regular. Al pasar una lista de cadenas de caracteres, se realizará una coincidencia exacta o se comprobará si el nombre del módulo termina con alguna de las cadenas de caracteres pasadas.
• layers_to_transform (Union[list[int], int], opcional) — Los índices de las capas a transformar. Si se especifica este argumento, PEFT transformará únicamente los índices de las capas especificados en esta lista. Si se pasa un solo entero, PEFT transformará únicamente la capa en ese índice.
• layers_pattern (Optional[Union[List[str], str]], opcional) — El nombre del patrón de capas, utilizado solo si layers_to_transform es diferente de None y si el patrón de capas no está en el patrón de capas común. Esto debe apuntar al nn.ModuleList del modelo, que a menudo se llama 'layers' o 'h'.
• init_weights (bool) — Si se deben inicializar los pesos del adaptador Lily usando el esquema de inicialización predeterminado: las matrices A se inicializan con Kaiming uniform y las matrices B se inicializan a cero, lo que garantiza que la salida del adaptador sea cero al inicio del entrenamiento y no altere el modelo preentrenado. Se recomienda encarecidamente mantenerlo como True a menos que se tenga una razón específica para cambiarlo.

Parámetros

• model (torch.nn.Module) — El modelo que se va a adaptar.
• config (LilyConfig) — La configuración del modelo Lily.
• adapter_name (str) — El nombre del adaptador, por defecto es "default".