Transformers documentation
コミュニティ
コミュニティ
このページでは、コミュニティによって開発された🤗 Transformersに関するリソースをまとめています。
コミュニティリソース
| リソース | 説明 | 著者 |
|---|---|---|
| Hugging Face Transformers用語集フラッシュカード | Transformers Docs Glossaryをベースにしたフラッシュカードのセットです。Ankiは、長期記憶の定着を目的として設計されたオープンソースのクロスプラットフォームアプリであり、このフラッシュカードは、Ankiで簡単に学習・復習できる形式に整えられています。フラッシュカードの使い方については、この導入ビデオをご覧ください。 | Darigov Research |
コミュニティノートブック
| ノートブック | 説明 | 著者 | |
|---|---|---|---|
| 事前学習済み Transformer をファインチューニングして歌詞を生成する | GPT-2モデルをファインチューニングして、お気に入りのアーティストのスタイルで歌詞を生成する方法 | Aleksey Korshuk |  |
| T5をTPUで学習する | TransformersとNlpでSQUADにT5を学習する方法 | Suraj Patil | |
| T5のファインチューニング: 分類と複数選択 | PyTorch Lightning を使用して、テキストからテキストへの形式で T5 を分類タスクおよび選択問題タスクにファインチューニングする方法 | Suraj Patil | |
| 新しいデータセットや言語で DialoGPT をファインチューニングする | オープンダイアログ型会話チャットボット向けに、新しいデータセットでDialoGPTモデルをファインチューニングする方法 | ネイサン・クーパー | |
| Reformerによる長文シーケンスモデリング | Reformer を使用して最大 500,000 トークンのシーケンスで学習する方法 | Patrick von Platen | |
| BARTの要約タスクへのファインチューニング | blurr を使用して fastai で BART を要約のためにファインチューニングする方法 | Wayde Gilliam | |
| 任意のユーザーのツイートで事前学習済み Transformer をファインチューニングする | お気に入りのTwitterアカウントのスタイルでツイート生成を行う方法（GPT-2モデルのファインチューニングによる） | Boris Dayma | |
| Weights & Biasesで🤗 Hugging Faceモデルを最適化 | Hugging Face と W&B の統合を紹介する完全なチュートリアル | Boris Dayma | |
| Longformerの事前学習 | 既存の事前学習済みモデルの「ロング」バージョンを構築する方法 | Iz Beltagy | |
| LongformerのQA向けファインチューニング | QAタスク向けにLongformerモデルをファインチューニングする方法 | Suraj Patil | |
| 🤗nlpでモデルを評価する | nlp を使用して TriviaQA で longformer を評価する方法 | Patrick von Platen | |
| T5を感情スパン抽出のためにファインチューニングする | PyTorch Lightning を使用して、テキストからテキストへの形式で T5 をファインチューニングし、感情スパン抽出を行う方法 | Lorenzo Ampil | |
| DistilBert を多クラス分類のためにファインチューニングする | PyTorchでDistilBertを多クラス分類のためにファインチューニングする方法 | Abhishek Kumar Mishra | |
| BERTのファインチューニングによるマルチラベル分類 | PyTorch を使用して BERT をマルチラベル分類のためにファインチューニングする方法 | Abhishek Kumar Mishra | |
| T5の要約向けファインチューニング | PyTorchでT5を要約タスクにファインチューニングし、WandBで実験を追跡する方法 | Abhishek Kumar Mishra | |
| Dynamic Padding / Bucketing を用いた Transformers での Fine-Tuning の高速化 | 動的パディング / バケット化を使用してファインチューニングを2倍速くする方法 | Michael Benesty | |
| Reformerのマスク言語モデリング向け事前学習 | 双方向自己注意レイヤーを用いたReformerモデルの学習方法 | Patrick von Platen | |
| Sci-BERT の拡張とファインチューニング | AllenAI の事前学習済み SciBERT モデルの語彙を CORD データセットで拡張し、パイプライン化する方法 | Tanmay Thakur | |
| Trainer API を使用して BlenderBotSmall を要約タスクにファインチューニングする | Trainer API を使用して、カスタムデータセットで BlenderBotSmall を要約タスクにファインチューニングする方法。 | Tanmay Thakur | |
| ElectraのファインチューニングとIntegrated Gradientsによる解釈 | Electraの感情分析へのファインチューニングと、Captum Integrated Gradientsによる予測の解釈方法 | Eliza Szczechla | |
| Trainerクラスで非英語のGPT-2モデルをファインチューニングする | Trainerクラスを用いて非英語のGPT-2モデルをファインチューニングする方法 | Philipp Schmid | |
| マルチラベル分類タスク向けにDistilBERTモデルをファインチューニングする | マルチラベル分類タスク向けにDistilBERTモデルをファインチューニングする方法 | Dhaval Taunk | |
| ALBERTを文ペア分類のためにファインチューニングする | ALBERTモデルやその他のBERTベースのモデルを、文ペア分類タスクのためにファインチューニングする方法 | ナディル・エル・マヌージ | |
| Roberta を感情分析のためにファインチューニングする | 感情分析用のRobertaモデルのファインチューニング方法 | Dhaval Taunk | |
| 質問生成モデルの評価 | seq2seq Transformerモデルによって生成された質問に対する回答の精度はどの程度ですか? | パスケル・ゾレコ | |
| CNN/Dailymailでのエンコーダー・デコーダー要約にBERTを活用する | CNN/Dailymailでの要約タスクにおいて、google-bert/bert-base-uncasedのチェックポイントを使用してEncoderDecoderModelをウォームスタートする方法 | Patrick von Platen | |
| BBC XSumにおけるエンコーダー-デコーダー型要約にRoBERTaを活用する | BBC/XSumでの要約タスクにおいて、FacebookAI/roberta-baseのチェックポイントで共有EncoderDecoderModelをウォームスタートする方法 | Patrick von Platen | |
| TAPASをSequential Question Answering (SQA)でファインチューニングする | Sequential Question Answering (SQA) データセット上で、tapas-base チェックポイントを用いて TapasForQuestionAnswering をファインチューニングする方法 | Niels Rogge | |
| Table Fact Checking (TabFact) で TAPAS を評価する | 🤗 datasetsと🤗 transformersライブラリの組み合わせを使用して、tapas-base-finetuned-tabfactチェックポイントでファインチューニングされたTapasForSequenceClassificationを評価する方法 | Niels Rogge | |
| 翻訳のための mBART のファインチューニング | Seq2SeqTrainer を使用してヒンディー語から英語への翻訳のために mBART をファインチューニングする方法 | Vasudev Gupta | |
| FUNSD(フォーム理解データセット)でLayoutLMをファインチューニングする | スキャンされた文書からの情報抽出のために、FUNSDデータセットでLayoutLMForTokenClassificationをファインチューニングする方法 | Niels Rogge | |
| DistilGPT2のファインチューニングとテキスト生成 | DistilGPT2のファインチューニングとテキスト生成の方法 | Aakash Tripathi | |
| 最大8KトークンでLEDをファインチューニングする | LEDをPubMedでファインチューニングして長文要約を行う方法 | Patrick von Platen | |
| Arxiv 上で LED を評価する | 長文要約においてLEDを効果的に評価する方法 | Patrick von Platen | |
| LayoutLMをRVL-CDIP(文書画像分類データセット)でファインチューニングする | スキャン文書の分類のために、RVL-CDIPデータセットでLayoutLMForSequenceClassificationをファインチューニングする方法 | Niels Rogge | |
| GPT2調整付きWav2Vec2 CTCデコーディング | 言語モデルの調整を用いたCTCシーケンスのデコード方法 | Eric Lam | |
| Trainerクラスを使用して、BARTを2言語の要約にファインチューニングする | Trainerクラスを使用して、2言語での要約のためにBARTをファインチューニングする方法 | Eliza Szczechla | |
| Trivia QAでのBig Birdの評価 | Trivia QAの長文書質問応答タスクでBigBirdを評価する方法 | Patrick von Platen | |
| Wav2Vec2を使用して動画キャプションを作成する | Wav2Vecで音声を書き起こして、任意の動画からYouTube字幕を作成する方法 | Niklas Muennighoff | |
| PyTorch Lightningを使用してVision TransformerをCIFAR-10でファインチューニングする | HuggingFace Transformers、Datasets、PyTorch Lightning を使用して、CIFAR-10 で Vision Transformer (ViT) をファインチューニングする方法 | Niels Rogge | |
| 🤗 Trainer を使用して CIFAR-10 で Vision Transformer をファインチューニングする | HuggingFace Transformers、Datasets、および🤗 Trainerを使用して、CIFAR-10でVision Transformer (ViT)をファインチューニングする方法 | Niels Rogge | |
| エンティティタイピングデータセットである Open Entity で LUKE を評価する | Open Entity データセットでLukeForEntityClassificationを評価する方法 | 山田 育也 | |
| 関係抽出データセットであるTACREDでLUKEを評価する | TACREDデータセットでLukeForEntityPairClassificationを評価する方法 | 山田 育也 | |
| LUKEを重要なNERベンチマークであるCoNLL-2003で評価する | CoNLL-2003データセットでLukeForEntitySpanClassificationを評価する方法 | 山田 育也 | |
| PubMedデータセットでBigBird-Pegasusを評価する | PubMedデータセットでBigBirdPegasusForConditionalGenerationを評価する方法 | Vasudev Gupta | |
| Wav2Vec2による音声感情分類 | MEGAデータセットでの感情分類に事前学習済みWav2Vec2モデルを活用する方法 | Mehrdad Farahani | |
| DETRで画像内のオブジェクトを検出する | 学習済みのDetrForObjectDetectionモデルを使用して、画像内のオブジェクトを検出し、アテンションを可視化する方法 | Niels Rogge | |
| カスタム物体検出データセットでDETRをファインチューニングする | カスタムな物体検出データセットでDetrForObjectDetectionをファインチューニングする方法 | Niels Rogge | |
| T5のファインチューニングによる固有名詞認識 | T5を名前実体認識タスクでファインチューニングする方法 | Ogundepo Odunayo | |
| MLflowとPEFTを用いたQLoRAによるオープンソースLLMのファインチューニング | QLoRAとPEFTを使用して、MLflowで実験トラッキングを管理しながら、メモリ効率よくLLMをファインチューニングする方法 | Yuki Watanabe | |