Transformers documentation
BERTweet
Model ini dipublikasikan di HF papers pada 2020-05-20 dan disumbangkan ke Hugging Face Transformers pada 2020-11-16.
BERTweet
BERTweet
BERTweet memiliki arsitektur yang sama dengan BERT-base, tetapi dipretrain seperti RoBERTa pada Tweet berbahasa Inggris. Model ini menunjukkan kinerja yang sangat baik pada tugas-tugas terkait Tweet seperti part-of-speech tagging, named entity recognition, dan klasifikasi teks.
Anda dapat menemukan semua checkpoint BERTweet asli di bawah organisasi VinAI Research.
Lihat dokumentasi BERT untuk contoh lebih lanjut tentang cara menerapkan BERTweet ke tugas bahasa yang berbeda.
Contoh di bawah ini menunjukkan cara memprediksi token <mask> dengan Pipeline, AutoModel, dan dari baris perintah.
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="vinai/bertweet-base",
device=0
)
pipeline("Plants create <mask> through a process known as photosynthesis.")import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"vinai/bertweet-base",
)
model = AutoModelForMaskedLM.from_pretrained(
"vinai/bertweet-base",
device_map="auto"
)
inputs = tokenizer("Plants create <mask> through a process known as photosynthesis.", return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
predictions = outputs.logits
masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print(f"The predicted token is: {predicted_token}")Catatan
- Gunakan AutoTokenizer atau BertweetTokenizer karena sudah dimuat dengan kosakata khusus yang disesuaikan untuk token spesifik tweet seperti hashtag (#), mention (@), emoji, dan singkatan umum. Pastikan juga untuk menginstal pustaka emoji.
- Input harus di-*pad* di sisi kanan (
padding="max_length") karena BERT menggunakan *embedding* posisi absolut.
BertweetTokenizer
kelas transformers.BertweetTokenizer
< source >( vocab_filemerges_filenormalization = Falsebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'**kwargs )
Parameter
- vocab_file (
str) — Path ke file kosakata. - merges_file (
str) — Path ke file merges. - normalization (
bool, opsional, defaultFalse) — Apakah akan menerapkan prapemrosesan normalisasi. - bos_token (
str, opsional, defaultnya"<s>") — Token awal urutan yang digunakan selama pretraining. Dapat digunakan sebagai token klasifikator urutan. Saat membangun urutan menggunakan token khusus, ini bukan token yang digunakan untuk awal urutan. Token yang digunakan adalah cls_token.Saat membangun sebuah sekuens menggunakan token khusus, token ini bukan token yang digunakan untuk awal sekuens. Token yang digunakan adalah
cls_token. - eos_token (
str, opsional, defaultnya"</s>") — Token akhir urutan.Saat membangun sebuah urutan menggunakan token khusus, token ini bukan yang digunakan untuk akhir urutan. Token yang digunakan adalah
sep_token. - sep_token (
str, opsional, default"</s>") — Token pemisah, yang digunakan saat membangun satu rangkaian dari beberapa rangkaian, misalnya dua rangkaian untuk klasifikasi rangkaian atau untuk teks dan pertanyaan untuk penjawaban pertanyaan. Token ini juga digunakan sebagai token terakhir dari rangkaian yang dibangun dengan token khusus. - cls_token (
str, opsional, default"<s>") — Token klasifikator yang digunakan saat melakukan klasifikasi sekuens (klasifikasi seluruh sekuens, bukan klasifikasi per-token). Token ini merupakan token pertama dari sekuens ketika dibangun dengan token khusus. - unk_token (
str, opsional, default"<unk>") — Token yang tidak diketahui. Token yang tidak ada dalam kosakata tidak dapat dikonversi menjadi ID dan akan diset sebagai token ini sebagai gantinya. - pad_token (
str, opsional, defaultnya"<pad>") — Token yang digunakan untuk padding, misalnya saat membatching urutan dengan panjang yang berbeda. - mask_token (
str, opsional, default"<mask>") — Token yang digunakan untuk memask nilai. Ini adalah token yang digunakan saat melatih model ini dengan pemodelan bahasa ter-mask. Ini adalah token yang akan diprediksi oleh model.
Membangun tokenizer BERTweet, menggunakan Byte-Pair-Encoding.
Tokenizer ini mewarisi dari PreTrainedTokenizer yang berisi sebagian besar metode utama. Pengguna harus merujuk ke superclass ini untuk informasi lebih lanjut mengenai metode-metode tersebut.
Memuat kamus yang sudah ada dari file teks dan menambahkan simbolnya ke instance ini.
Mengonversi urutan token (string) dalam satu string.
Normalisasi token dalam Tweet
Normalisasi Tweet mentah
Simpan file kosa kata dan penggabungan ke sebuah direktori.