LLM Course

0. Установка

1. Трансформеры

2. Использование 🤗 Transformers

3. Fine-tuning предобученной модели

4. Hugging Face Hub

5. Библиотека 🤗 Datasets

6. Бибилиотека 🤗 Tokenizers

7. Основные задачи NLP

Введение Классификация токенов Дообучение модели маскированного языкового моделирования Перевод Суммаризация Обучение каузальной языковой модели с нуля Ответы на вопросы Освоение NLP Тест в конце главы

8. Как попросить о помощи

9. Создание и распространение демо

События курса

Глоссарий

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Тест в конце главы

Давайте проверим, чему вы научились в этой главе!

1. Какую из следующих задач можно сформулировать как проблему классификации токенов?

2. Какая часть предварительной обработки для классификации токенов отличается от других конвейеров предварительной обработки?

3. Какая проблема возникает при токенизации слов в проблеме классификации токенов и при необходимости их маркировки?

4. Что означает “доменная адаптация”?

5. Что такое метки в проблеме маскированного языкового моделирования?

Некоторые токены во входном предложении маскируются случайным образом, а метками служат оригинальные входные токены. Некоторые токены во входном предложении случайным образом маскируются, а метками служат исходные токены, сдвинутые влево. Некоторые токены во входном предложении маскируются случайным образом, а метка означает, является ли предложение положительным или отрицательным. Некоторые токены в двух входных предложениях маскируются случайным образом, а метка означает, похожи эти два предложения или нет.

6. Какую из этих задач можно рассматривать как проблему преобразования последовательности-в-последовательность (sequence-to-sequence problem)?

7. Каков правильный способ предварительной обработки данных для проблемы преобразования последовательности-в-последовательность?

8. Почему существует специальный подкласс Trainer для проблем преобразования ” последовательности-в-последовательность”?

Поскольку проблемы преобразования последовательности-в-последовательность используют определенные пользователем потери, для игнорирования меток задайте -100. Поскольку проблемы преобразования последовательности-в-последовательность требуют специального цикла оценки Поскольку целью являются тексты в проблемах преобразования последовательности-в-последовательность Поскольку в проблемах преобразования последовательности-в-последовательность мы используем две модели

10. Когда следует проводить предварительное обучение новой модели?

11. Почему легко провести предварительное обучение языковой модели на большом количестве текстов?

12. Какие основные проблемы возникают при предварительной обработке данных для задачи ответа на вопрос (question answering)?

13. Как обычно выполняется постобработка в задаче ответов на вопросы?

Модель дает вам начальную и конечную позиции ответа, и вам остается только декодировать соответствующий промежуток токенов. Модель возыращает вам начальную и конечную позиции ответа для каждого признака, созданного одним примером, а вам остается только декодировать соответствующий промежуток токенов в том из них, который имеет наилучшую оценку. Модель возвращает вам начальную и конечную позиции ответа для каждого признака, созданного одним примером, а вам остается только сопоставить их с промежутком в контексте, чтобы выбрать тот, который набрал наибольшую оценку. Модель генерирует ответ, а вам остается только декодировать его.

Update on GitHub

←Освоение NLP