# MADLAD-400

## Tổng quan

Các mô hình MADLAD-400 đã được công bố trong bài báo [MADLAD-400: A Multilingual And Document-Level Large Audited Dataset](https://huggingface.co/papers/2309.04662).

Tóm tắt từ bài báo như sau:

*Chúng tôi giới thiệu MADLAD-400, một bộ dữ liệu đơn ngữ 3T token thuộc lĩnh vực chung, được kiểm tra thủ công, dựa trên CommonCrawl, bao phủ 419 ngôn ngữ. Chúng tôi thảo luận về những hạn chế được phát hiện khi tự kiểm tra MADLAD-400, và vai trò của việc kiểm tra dữ liệu trong quy trình tạo bộ dữ liệu. Sau đó, chúng tôi huấn luyện và phát hành một mô hình dịch máy đa ngôn ngữ 10,7B tham số trên 250 tỷ token bao phủ hơn 450 ngôn ngữ bằng cách sử dụng dữ liệu công khai, và nhận thấy rằng nó có khả năng cạnh tranh với các mô hình lớn hơn đáng kể, đồng thời báo cáo kết quả trên các lĩnh vực khác nhau. Ngoài ra, chúng tôi huấn luyện một mô hình ngôn ngữ 8B tham số và đánh giá kết quả trên dịch few-shot. Chúng tôi cung cấp các mô hình baseline 1 cho cộng đồng nghiên cứu.*

Mô hình này được thêm bởi [Juarez Bochi](https://huggingface.co/jbochi). Các checkpoint gốc có thể được tìm thấy [tại đây](https://github.com/google-research/google-research/tree/master/madlad_400).

Đây là một mô hình dịch máy hỗ trợ nhiều ngôn ngữ ít tài nguyên và có hiệu năng cạnh tranh với các mô hình lớn hơn đáng kể.

Có thể sử dụng trực tiếp trọng số MADLAD-400 mà không cần tinh chỉnh mô hình:

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")

inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']
```

Google đã phát hành các biến thể sau:

- [google/madlad400-3b-mt](https://huggingface.co/google/madlad400-3b-mt)

- [google/madlad400-7b-mt](https://huggingface.co/google/madlad400-7b-mt)

- [google/madlad400-7b-mt-bt](https://huggingface.co/google/madlad400-7b-mt-bt)

- [google/madlad400-10b-mt](https://huggingface.co/google/madlad400-10b-mt)

Các checkpoint gốc có thể được tìm thấy [tại đây](https://github.com/google-research/google-research/tree/master/madlad_400).

Tham khảo [trang tài liệu của T5](t5) để xem tất cả các tham chiếu API, ví dụ mã và notebook. Để biết thêm chi tiết về việc huấn luyện và đánh giá MADLAD-400, hãy tham khảo thẻ mô hình.