# myt5

## نظرة عامة

قُدِّم نموذج myt5 في [MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling](https://huggingface.co/papers/2403.10691) من قِبل Tomasz Limisiewicz وTerra Blevins وHila Gonen وOrevaoghene Ahia وLuke Zettlemoyer. MyT5 (**My**te **T5**) هو نموذج لغوي متعدد اللغات مبني على بنية T5. يستخدم النموذج تمثيلاً **m**orphologically-driven **byte** (**MYTE**) كما هو موصوف في ورقتنا البحثية. يستخدم **MYTE** نقاط رمز (codepoints) تتوافق مع المورفيمات (morphemes) على عكس الأحرف المستخدمة في ترميز UTF-8. كشرط مسبق، استخدمنا التقسيم المورفولوجي غير المُشرف ([Morfessor](https://aclanthology.org/E14-2006.pdf)) للحصول على قوائم المورفيمات لـ 99 لغة. ومع ذلك، لا حاجة لخطوة التقسيم المورفولوجي عند استخدام قائمة المورفيمات المُعرَّفة مسبقاً من المستودع (انظر: [Tomli/myt5-base](https://huggingface.co/Tomlim/myt5-base)).

المستخلص من الورقة البحثية هو كالتالي:

*تُعدّ الطريقة الأمثل لتمثيل اللغات ذات المفردات والخطوط المتنوعة من أبرز الاعتبارات في نمذجة اللغات متعددة اللغات. وعلى الرغم من أن طرق ترميز النص المعاصرة تغطي معظم أنظمة الكتابة في العالم، إلا أنها تُظهر انحيازًا لصالح اللغات عالية الموارد في الغرب العالمي. ونتيجةً لذلك، تميل نصوص اللغات الأقل تمثيلًا إلى أن تُقسَّم إلى تسلسلات طويلة من الوحدات التي تفتقر إلى المعنى اللغوي. لمعالجة هذه الفجوات، نُقدّم نموذجًا جديدًا يرمّز المعلومات نفسها باستخدام مقاطع ذات حجم متسق عبر لغات متنوعة. يعتمد نظام الترميز الخاص بنا (MYTE) على المورفيمات، إذ إن مخزونها أكثر توازنًا عبر اللغات مقارنةً بالحروف المستخدمة في الطرق السابقة. نُظهر أن MYTE ينتج ترميزات أقصر لجميع اللغات التسعين والتسعين التي تم تحليلها، مع تحقيق أبرز التحسينات في اللغات غير الأوروبية والخطوط غير اللاتينية. وهذا بدوره يحسّن أداء نماذج اللغة متعددة اللغات ويقلّص فجوة الحيرة (perplexity) عبر اللغات المتنوعة.*

تمت مساهمة هذا النموذج من قِبل [Tomasz Limisiewicz](https://huggingface.co/Tomlim). يمكن العثور على الكود الأصلي [هنا](https://github.com/tomlimi/MYTE).

## MyT5Tokenizer[[transformers.MyT5Tokenizer]]

#### transformers.MyT5Tokenizer[[transformers.MyT5Tokenizer]]

```python
transformers.MyT5Tokenizer(vocab_file, eos_token = '</s>', unk_token = '<unk>', pad_token = '<pad>', extra_ids = 125, additional_special_tokens = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L133)

**المعاملات:**

vocab_file (`str`) : الملف الذي يحتوي على قواعد إعادة كتابة البايتات.

eos_token (`str`, *اختياري*, الافتراضي هو `"</s>"`) : رمز نهاية التسلسل.

unk_token (`str`، *اختياري*، القيمة الافتراضية `"<unk>"`) : رمز المجهول. الرمز غير الموجود في قاموس الكلمات لا يمكن تحويله إلى معرّف، لذا يُعيَّن هذا الرمز بدلاً منه.

pad_token (`str`، *اختياري*، القيمة الافتراضية هي `"<pad>"`) : الرمز المستخدم للتعبئة، على سبيل المثال عند تجميع تسلسلات ذات أطوال مختلفة.

extra_ids (`int`، *اختياري*، القيمة الافتراضية 125) : يضيف عددًا من المعرّفات الإضافية إلى نهاية قاموس الرموز لاستخدامها كرموز حدّية. يمكن الوصول إلى هذه الرموز على شكل "" حيث أن "{%d}" هو رقم يتراوح بين 0 و extra_ids-1. تُفهرس الرموز الإضافية من نهاية قاموس الرموز حتى بدايته ("" هو الرمز الأخير في قاموس الرموز كما في معالجة ByT5 الأولية انظر [هنا](https://github.com/google-research/text-to-text-transfer-transformer/blob/9fd7b14a769417be33bc6c850f9598764913c833/t5/data/preprocessors.py#L2117)).

additional_special_tokens (`list[str]`، *اختياري*) : رموز خاصة إضافية يستخدمها مُجزِّئ النص.

أنشئ مُرمِّز MyT5.

يرث هذا المُجزِّئ من [PreTrainedTokenizer](/docs/transformers/v5.23.0/ar/main_classes/tokenizer#transformers.PythonBackend) التي تحتوي على معظم الطرق الرئيسية. ينبغي للمستخدمين الرجوع إلى هذه الفئة الأصلية لمزيد من المعلومات حول تلك الطرق.

#### build_inputs_with_special_tokens[[transformers.MyT5Tokenizer.build_inputs_with_special_tokens]]

```python
build_inputs_with_special_tokens(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L282)

**المعاملات:**

token_ids_0 (`list[int]`) : قائمة بالمعرّفات التي ستُضاف إليها الرموز الخاصة.

token_ids_1 (`list[int]`، *اختياري*) : قائمة ثانية اختيارية من المعرّفات لأزواج التسلسلات.

**يعيد:** `list[int]`

قائمة [معرفات الإدخال](../glossary#input-ids) مع الرموز الخاصة المناسبة.

إنشاء مدخلات النموذج من تسلسل أو زوج من التسلسلات لمهام تصنيف التسلسل عن طريق الربط وإضافة الرموز الخاصة. يتبع التسلسل التنسيق التالي:

- تسلسل واحد: `X </s>`
- زوج من التسلسلات: `A </s> B </s>`

#### get_special_tokens_mask[[transformers.MyT5Tokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L220)

**المعاملات:**

token_ids_0 (`list[int]`) : قائمة من المعرّفات.

token_ids_1 (`list[int]`، *اختياري*) : قائمة ثانية اختيارية من المعرّفات لأزواج التسلسلات.

already_has_special_tokens (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كانت قائمة الرموز مُنسّقة مسبقًا برموز خاصة للنموذج أم لا.

**يعيد:** `list[int]`

قائمة من الأعداد الصحيحة في المدى [0, 1]: 1 للرمز الخاص، و0 لرمز التسلسل.

استرجاع معرّفات التسلسل من قائمة رموز لم تُضف إليها رموز خاصة. يُستدعى هذا الأسلوب عند إضافة رموز خاصة باستخدام أسلوب `prepare_for_model` في tokenizer.

#### إنشاء معرّفات أنواع الرموز من التسلسلات[[transformers.MyT5Tokenizer.create_token_type_ids_from_sequences]]

```python
create_token_type_ids_from_sequences(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L259)

**المعاملات:**

token_ids_0 (`list[int]`) : قائمة من المعرّفات.

token_ids_1 (`list[int]`، *اختياري*) : قائمة ثانية اختيارية من المعرّفات لأزواج التسلسلات.

**يعيد:** `list[int]`

قائمة من الأصفار.

أنشئ قناعًا من التسلسلين المُمرَّرين لاستخدامه في مهمة تصنيف أزواج التسلسلات. لا يستخدم MyT5 معرّفات أنواع الرموز، لذلك يُعاد قائمة من الأصفار.

#### save_vocabulary[[transformers.MyT5Tokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/myt5/tokenization_myt5.py#L366)

