# Утилиты для конвейеров

На этой странице перечислены все вспомогательные функции, которые библиотека предоставляет для конвейеров.

Большинство из них полезны только в том случае, если вы изучаете код моделей в библиотеке.

## Обработка аргументов[[transformers.pipelines.ArgumentHandler]]

#### transformers.pipelines.ArgumentHandler[[transformers.pipelines.ArgumentHandler]]

```python
transformers.pipelines.ArgumentHandler()
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L388)

Базовый интерфейс для обработки аргументов каждого [Pipeline](/docs/transformers/v5.23.0/ru/main_classes/pipelines#transformers.Pipeline).

#### transformers.pipelines.ZeroShotClassificationArgumentHandler[[transformers.pipelines.ZeroShotClassificationArgumentHandler]]

```python
transformers.pipelines.ZeroShotClassificationArgumentHandler()
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/zero_shot_classification.py#L13)

Обрабатывает аргументы для zero-shot-классификации текста, превращая каждую возможную метку в пару premise/hypothesis для NLI.

## Формат данных[[transformers.PipelineDataFormat]]

#### transformers.PipelineDataFormat[[transformers.PipelineDataFormat]]

```python
transformers.PipelineDataFormat(output_path: str | None, input_path: str | None, column: str | None, overwrite: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L398)

**Параметры:**

output_path (`str`) : Место для сохранения исходящих данных.

input_path (`str`) : Где искать входные данные.

column (`str`) : столбец, который нужно прочитать.

overwrite (`bool`, *необязательный*, по умолчанию `False`) : Переопределять ли `output_path`.

Базовый класс для всех поддерживаемых форматами данных пайплайнов, как для чтения, так и для записи. В настоящее время поддерживаются следующие форматы данных:

- JSON
- CSV
- stdin/stdout (конвейер)

`PipelineDataFormat` также включает утилиты для работы с несколькими столбцами, например, сопоставление столбцов датасета с аргументами-ключевыми словами пайплайна в формате `dataset_kwarg_1=dataset_column_1`.

#### from_str[[transformers.PipelineDataFormat.from_str]]

```python
from_str(format: str, output_path: str | None, input_path: str | None, column: str | None, overwrite = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L475)

**Параметры:**

format (`str`) : Формат требуемого конвейера. Допустимые значения: `"json"`, `"csv"` или `"pipe"`.

output_path (`str`, *необязательный*) : Место для сохранения исходящих данных.

input_path (`str`, *необязательный*) : Где искать входные данные.

column (`str`, *необязательный*) : столбец для чтения.

overwrite (`bool`, *необязательный*, по умолчанию `False`) : Переопределять ли `output_path`.

**Возвращает:** [PipelineDataFormat](/docs/transformers/v5.23.0/ru/internal/pipelines_utils#transformers.PipelineDataFormat)

Правильный формат данных.

Создаёт экземпляр подходящего подкласса [PipelineDataFormat](/docs/transformers/v5.23.0/ru/internal/pipelines_utils#transformers.PipelineDataFormat) в зависимости от `format`.

#### save[[transformers.PipelineDataFormat.save]]

```python
save(data: dict | list[dict])
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L447)

**Параметры:**

data (`dict` или список `dict`) : Данные для сохранения.

Сохраните предоставленный объект данных с представлением для текущего [PipelineDataFormat](/docs/transformers/v5.23.0/ru/internal/pipelines_utils#transformers.PipelineDataFormat).

#### save_binary[[transformers.PipelineDataFormat.save_binary]]

```python
save_binary(data: dict | list[dict])
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L457)

**Параметры:**

data (`dict` или список `dict`) : Данные для сохранения.

**Возвращает:** `str`

Путь, по которому были сохранены данные.

Сохраните предоставленный объект данных на диск в формате двоичных данных pickle.

#### transformers.CsvPipelineDataFormat[[transformers.CsvPipelineDataFormat]]

```python
transformers.CsvPipelineDataFormat(output_path: str | None, input_path: str | None, column: str | None, overwrite = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L511)

**Параметры:**

output_path (`str`) : Место для сохранения исходящих данных.

input_path (`str`) : Где искать входные данные.

column (`str`) : столбец, который нужно прочитать.

overwrite (`bool`, *необязательный*, по умолчанию `False`) : Переопределять ли `output_path`.

Поддержка конвейеров с использованием формата данных CSV.

#### save[[transformers.CsvPipelineDataFormat.save]]

```python
save(data: list[dict])
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L541)

**Параметры:**

data (`list[dict]`) : Данные для сохранения.

Сохраните предоставленный объект данных с представлением для текущего [PipelineDataFormat](/docs/transformers/v5.23.0/ru/internal/pipelines_utils#transformers.PipelineDataFormat).

#### transformers.JsonPipelineDataFormat[[transformers.JsonPipelineDataFormat]]

```python
transformers.JsonPipelineDataFormat(output_path: str | None, input_path: str | None, column: str | None, overwrite = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L555)

**Параметры:**

output_path (`str`) : Место для сохранения исходящих данных.

input_path (`str`) : Где искать входные данные.

column (`str`) : столбец, который нужно прочитать.

overwrite (`bool`, *необязательный*, по умолчанию `False`) : Переопределять ли `output_path`.

Поддержка конвейеров, использующих формат файлов JSON.

#### save[[transformers.JsonPipelineDataFormat.save]]

```python
save(data: dict)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L586)

**Параметры:**

data (`dict`) : Данные для сохранения.

Сохраните предоставленный объект данных в файл json.

#### transformers.PipedPipelineDataFormat[[transformers.PipedPipelineDataFormat]]

```python
transformers.PipedPipelineDataFormat(output_path: str | None, input_path: str | None, column: str | None, overwrite: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L597)

**Параметры:**

output_path (`str`) : Место для сохранения исходящих данных.

input_path (`str`) : Где искать входные данные.

column (`str`) : столбец, который нужно прочитать.

overwrite (`bool`, *необязательный*, по умолчанию `False`) : Переопределять ли `output_path`.

Чтение данных из конвейерного ввода в процесс python. Для данных с несколькими столбцами столбцы должны разделяться

Если указаны столбцы, то выводом будет словарь вида {column_x: value_x}

#### save[[transformers.PipedPipelineDataFormat.save]]

```python
save(data: dict)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L626)

**Параметры:**

data (`dict`) : Данные для сохранения.

Выведите данные.

## Утилиты[[transformers.pipelines.PipelineException]]

#### transformers.pipelines.PipelineException[[transformers.pipelines.PipelineException]]

```python
transformers.pipelines.PipelineException(task: str, model: str, reason: str)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/pipelines/base.py#L371)

**Параметры:**

task (`str`) : Задача, которую выполняет конвейер.

model (`str`) : модель, используемая в конвейере.

reason (`str`) : Сообщение об ошибке, которое нужно отобразить.

Возникает в [Pipeline](/docs/transformers/v5.23.0/ru/main_classes/pipelines#transformers.Pipeline) при обработке __call__.

