Transformers documentation

ColQwen2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 27.06.2024 и добавлена в Hugging Face Transformers 02.06.2025.

ColQwen2

ColQwen2 — это вариант модели ColPali, предназначенный для поиска документов путём анализа их визуальных характеристик. В отличие от традиционных систем, которые в значительной степени опираются на извлечение текста и OCR, ColQwen2 рассматривает каждую страницу как изображение. Он использует базовую модель Qwen2-VL для захвата не только текста, но и макета, таблиц, диаграмм и других визуальных элементов, чтобы создавать детализированные многовекторные эмбеддинги, которые можно использовать для поиска путём вычисления попарных оценок сходства позднего взаимодействия. Это обеспечивает более полное понимание документов и позволяет осуществлять более эффективный и точный поиск.

Эта модель была предоставлена @tonywu71 (ILLUIN Technology) и @yonigozlan (HuggingFace).

Все исходные контрольные точки ColPali можно найти в коллекции Hf-native ColVision Models Vidore.

Щёлкните по моделям ColQwen2 в боковой панели справа, чтобы увидеть дополнительные примеры использования ColQwen2 для поиска изображений.

поиск изображений

Квантование снижает нагрузку на память при работе с большими моделями, представляя веса в пониженной точности. Подробнее о доступных бэкендах квантования см. в обзоре Квантование.

Приведённый ниже пример использует bitsandbytes для квантования весов до int4.

import requests
import torch
from PIL import Image

from transformers import BitsAndBytesConfig, ColQwen2ForRetrieval, ColQwen2Processor


model_name = "vidore/colqwen2-v1.0-hf"

# 4-bit quantization configuration
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

model = ColQwen2ForRetrieval.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto",
).eval()

processor = ColQwen2Processor.from_pretrained(model_name)

url1 = "https://upload.wikimedia.org/wikipedia/commons/8/89/US-original-Declaration-1776.jpg"
url2 = "https://upload.wikimedia.org/wikipedia/commons/thumb/4/4c/Romeoandjuliet1597.jpg/500px-Romeoandjuliet1597.jpg"

images = [
    Image.open(requests.get(url1, stream=True).raw),
    Image.open(requests.get(url2, stream=True).raw),
]

queries = [
    "When was the United States Declaration of Independence proclaimed?",
    "Who printed the edition of Romeo and Juliet?",
]

# Process the inputs
inputs_images = processor(images=images, return_tensors="pt").to(model.device)
inputs_text = processor(text=queries, return_tensors="pt").to(model.device)

# Forward pass
with torch.no_grad():
    image_embeddings = model(**inputs_images).embeddings
    query_embeddings = model(**inputs_text).embeddings

# Score the queries against the images
scores = processor.score_retrieval(query_embeddings, image_embeddings)

print("Retrieval scores (query x image):")
print(scores)

Вы также можете использовать контрольные точки для ColQwen2.5, которые совместимы с архитектурой ColQwen2. В этой версии модели в качестве основы используется Qwen2_5_VL.

from transformers import ColQwen2ForRetrieval, ColQwen2Processor
from transformers.utils.import_utils import is_flash_attn_2_available


model_name = "Sahil-Kabir/colqwen2.5-v0.2-hf" # An existing compatible checkpoint

model = ColQwen2ForRetrieval.from_pretrained(
    model_name,
    device_map="auto",
    attn_implementation="flash_attention_2" if is_flash_attn_2_available() else "sdpa"
)
processor = ColQwen2Processor.from_pretrained(model_name)

Примечания

score_retrieval() возвращает тензор размерности 2D, где первое измерение соответствует количеству запросов, а второе — количеству изображений. Более высокий показатель означает большую степень сходства между запросом и изображением.
В отличие от ColPali, ColQwen2 поддерживает произвольные разрешения и соотношения сторон изображений, что означает, что изображения не масштабируются до квадратов фиксированного размера. Это позволяет сохранить больше исходной информации.
Более крупные входные изображения генерируют более длинные многовекторные эмбеддинги, что позволяет пользователям настраивать разрешение изображений для баланса между производительностью и потреблением памяти.

ColQwen2Config

класс transformers.ColQwen2Config

< source >

Параметры

vlm_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Объект конфигурации или словарь конфигурации для визуального языкового бэкбона.
embedding_dim (int, необязательный, по умолчанию 128) — Размерность эмбеддингов и скрытых состояний.
initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.

Это класс конфигурации для хранения настроек модели Colqwen2Model. Он используется для создания модели Colqwen2 в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации vidore/colqwen2-v1.0-hf

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Пример:

from transformers.models.colqwen2 import ColQwen2Config, ColQwen2ForRetrieval

config = ColQwen2Config()
model = ColQwen2ForRetrieval(config)

ColQwen2Processor

класс transformers.ColQwen2Processor

< source >

( image_processor = Nonetokenizer = Nonechat_template = Nonevisual_prompt_prefix: str | None = Nonequery_prefix: str | None = None**kwargs )

Параметры

image_processor (Qwen2VLImageProcessor) — Обработчик изображений является обязательным входным параметром.
tokenizer (Qwen2Tokenizer) — Токенизатор является обязательным входным параметром.
chat_template (str) — Jinja-шаблон для преобразования списков сообщений в чате в строку, пригодную для токенизации.
visual_prompt_prefix (str, необязательный, по умолчанию "<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Describe the image.<|im_end|><|endoftext|>") — Строка, которая токенизируется и добавляется перед токенами изображения.
query_prefix (str, необязательный, по умолчанию "Query -- "): Префикс, используемый для запроса.

Создаёт ColQwen2Processor, который объединяет процессор изображений и токенизатор в единый процессор.

ColQwen2Processor предоставляет все возможности Qwen2VLImageProcessor и Qwen2Tokenizer. Подробнее см. в документации ~Qwen2VLImageProcessor и ~Qwen2Tokenizer.

call

< source >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Nonetext: str | list[str] | list[list[str]] = None**kwargs: *<class 'transformers.models.colqwen2.processing_colqwen2.ColQwen2ProcessorKwargs'> ) → BatchFeature

Параметры

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], необязательный) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
text (Union[str, list[str], list[list[str]]], необязательный) — Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предварительно токенизированная строка). Если вы передаёте предварительно токенизированный вход, установите is_split_into_words=True, чтобы избежать неоднозначности с батчированными входами.
return_tensors (str или TensorType, необязательный) — Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:
- 'pt': возвращает объекты torch.Tensor PyTorch.
- 'np': возвращает объекты NumPy np.ndarray.
**kwargs (ProcessingKwargs, optional) — Дополнительные параметры обработки для каждой модальности (текст, изображения, видео, аудио). Специфичные для модели параметры перечислены выше; полный список поддерживаемых аргументов см. в классе TypedDict.

Возвращает

BatchFeature

Объект BatchFeature со следующими полями:

input_ids — список идентификаторов токенов, передаваемых в модель. Возвращается, если text не равно None. Если указан suffix, то input_ids также будет содержать идентификаторы токенов суффикса.
attention_mask — список индексов, указывающих, на какие токены модель должна обращать внимание (когда return_attention_mask=True или если “attention_mask” входит в self.model_input_names и если text не равно None).
pixel_values — Пиксельные значения, передаваемые в модель. Возвращается, если images не равно None.
labels — Метки, совместимые с обучением, если suffix не равен None

ColQwen2ForRetrieval

класс transformers.ColQwen2ForRetrieval

< source >

( config: ColQwen2Config )

Параметры

config (ColQwen2Config) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Используйте метод from_pretrained() для загрузки весов модели.

В соответствии с подходом ColPali, ColQwen2 использует VLM для построения эффективных многовекторных эмбеддингов непосредственно из изображений документов («скриншотов») для поиска документов. Модель обучается максимизировать сходство между этими эмбеддингами документов и соответствующими эмбеддингами запросов, используя метод позднего взаимодействия, предложенный в ColBERT.

Использование ColQwen2 устраняет необходимость в потенциально сложных и хрупких конвейерах распознавания макета и OCR, поскольку одна модель учитывает как текстовое, так и визуальное содержание (макет, диаграммы, …) документа.

ColQwen2 входит в семейство моделей ColVision, которое было представлено вместе с ColPali в следующей статье: ColPali: Efficient Document Retrieval with Vision Language Models.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Nonepixel_values: typing.Optional[torch.Tensor] = Noneimage_grid_thw: typing.Optional[torch.LongTensor] = None**kwargs ) → ColQwen2ForRetrievalOutput or tuple(torch.Tensor)

Параметры

input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.
Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

Что такое входные идентификаторы?
attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
Что такое маски внимания?
position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].
Что такое идентификаторы позиций?
past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.
В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

Модель будет выводить тот же формат кэша, который был передан на вход.

Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).
labels (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне [0, ..., config.vocab_size] или быть равны -100 (см. docstring input_ids). Токены с индексами, установленными в -100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне [0, ..., config.vocab_size].
inputs_embeds (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.
use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
output_attentions (bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описании attentions в разделе возвращаемых тензоров.
output_hidden_states (bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описании hidden_states среди возвращаемых тензоров.
return_dict (bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.
pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size), необязательный) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью Qwen2VLImageProcessor. Подробности см. в Qwen2VLImageProcessor.call() (ColQwen2Processor использует Qwen2VLImageProcessor для обработки изображений).
image_grid_thw (torch.LongTensor формы (num_images, 3), необязательный) — Временное, высотное и широтное размеры формы признаков каждого изображения в LLM.

Возвращает

ColQwen2ForRetrievalOutput или tuple(torch.Tensor)

ColQwen2ForRetrievalOutput или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (ColQwen2Config) и входных данных.

Метод forward класса ColQwen2ForRetrieval переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

loss (torch.Tensor формы (1,), необязательный, возвращается, если задан labels) — Потери языковой модели (для предсказания следующего токена).
embeddings (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Векторные представления модели.
past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход past_key_values) для ускорения последовательного декодирования.
hidden_states (tuple[torch.Tensor], необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (tuple[torch.Tensor], необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

Update on GitHub

←ColPali Cosmos3 Edge→