LLM Course documentation
🤗 Datasets,回顧!
0. 安裝
1. Transformer 模型
2. 使用 🤗 Transformers
3. 微調一個預訓練模型
4. 分享你的模型和標記器
5. 🤗 Datasets庫
6. 🤗 Tokenizers庫
7. 主要的 NLP 任務
8. 如何尋求幫助
9. 構建並分享你的模型
課程活動
🤗 Datasets,回顧!
這是對 🤗 Datasets 庫的一次完整遊覽——祝賀你走到這一步!憑藉從本章中獲得的知識,您應該能夠:
- 從任何地方加載數據集,無論是 Hugging Face Hub、您的筆記本電腦還是您公司的遠程服務器。
- 混合使用Dataset.map()和Dataset.filter()函數來整理數據。
- 使用
Dataset.set_format()在 Pandas 和 NumPy 等數據格式之間快速切換. - 創建您自己的數據集並將其推送到 Hugging Face Hub。.
- 使用 Transformer 模型為您的文檔創建詞嵌入,並使用 FAISS 構建語義搜索引擎。.
在第七章,當我們深入研究 Transformer 模型非常適合的核心 NLP 任務時,我們將充分利用所有這些。
Update on GitHub