YuITC/vietnamese-embedding-vn-legal

SentenceTransformer based on AITeamVN/Vietnamese_Embedding

This is a sentence-transformers model finetuned from AITeamVN/Vietnamese_Embedding. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: AITeamVN/Vietnamese_Embedding
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Khi mở sổ, ghi sổ, khóa sổ và lưu trữ sổ kế toán thì doanh nghiệp siêu nhỏ phải thực hiện theo những quy định nào?',
    'Sổ kế toán\n1. Nội dung sổ kế toán, hệ thống sổ kế toán, việc mở sổ, ghi sổ, khóa sổ, lưu trữ sổ kế toán và sửa chữa sổ kế toán tại doanh nghiệp siêu nhỏ được thực hiện theo quy định tại Điều 24, Điều 25, Điều 26, 27 Luật kế toán và hướng dẫn cụ thể tại Thông tư này.',
    '"Điều 147. Thế chấp dự án đầu tư xây dựng nhà ở và thế chấp nhà ở hình thành trong tương lai\n1. Chủ đầu tư dự án xây dựng nhà ở được thế chấp dự án hoặc nhà ở xây dựng trong dự án tại tổ chức tín dụng đang hoạt động tại Việt Nam để vay vốn cho việc đầu tư dự án hoặc xây dựng nhà ở đó; trường hợp chủ đầu tư đã thế chấp nhà ở mà có nhu cầu huy động vốn góp để phân chia nhà ở theo quy định của pháp luật về nhà ở hoặc có nhu cầu bán, cho thuê mua nhà ở đó thì phải giải chấp nhà ở này trước khi ký hợp đồng huy động vốn góp, hợp đồng mua bán, thuê mua nhà ở với khách hàng, trừ trường hợp được bên góp vốn, bên mua, thuê mua nhà ở và bên nhận thế chấp đồng ý.\nViệc xác định nhà ở đã được giải chấp trước khi ký hợp đồng huy động vốn góp, hợp đồng mua bán, thuê mua nhà ở với khách hàng theo quy định tại khoản này được nêu rõ trong văn bản thông báo nhà ở đủ điều kiện được bán của cơ quan quản lý nhà ở cấp tỉnh nơi có nhà ở.\n2. Tổ chức, cá nhân xây dựng nhà ở hình thành trong tương lai trên thửa đất ở hợp pháp của mình; tổ chức, cá nhân mua nhà ở hình thành trong tương lai trong dự án đầu tư xây dựng nhà ở của chủ đầu tư được thế chấp nhà ở này tại tổ chức tín dụng đang hoạt động tại Việt Nam để vay vốn phục vụ cho xây dựng nhà ở hoặc để mua chính nhà ở đó."',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.8255, -0.0291],
#         [ 0.8255,  1.0000, -0.0851],
#         [-0.0291, -0.0851,  1.0000]])

Evaluation

Metrics

Information Retrieval

• Dataset: val_ir
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.906
cosine_accuracy@3	0.976
cosine_accuracy@5	0.99
cosine_accuracy@10	0.996
cosine_precision@1	0.906
cosine_precision@3	0.3493
cosine_precision@5	0.214
cosine_precision@10	0.1082
cosine_recall@1	0.8642
cosine_recall@3	0.9677
cosine_recall@5	0.9845
cosine_recall@10	0.9932
cosine_ndcg@1	0.906
cosine_ndcg@3	0.9414
cosine_ndcg@5	0.9489
cosine_ndcg@10	0.952
cosine_mrr@1	0.906
cosine_mrr@3	0.9385
cosine_mrr@5	0.9417
cosine_mrr@10	0.9426
cosine_map@100	0.9362

Training Details

Training Dataset

Unnamed Dataset

• Size: 105,683 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 9 tokens mean: 23.79 tokens max: 47 tokens	min: 56 tokens mean: 263.51 tokens max: 512 tokens

• Samples:

  anchor	positive
  Văn phòng Chính phủ là cơ quan thực hiện nhiệm vụ phát ngôn của Chính phủ có đúng không?	Nhiệm vụ và quyền hạn
  ...
  5. Về cung cấp thông tin cho công chúng
  a) Cung cấp thông tin cho công chúng về các hoạt động chủ yếu, những quyết định quan trọng trong lãnh đạo, chỉ đạo, điều hành của Chính phủ, Thủ tướng Chính phủ, những sự kiện chính trị, kinh tế, xã hội nổi bật và các thông tin khác theo quy định của pháp luật và chỉ đạo của Thủ tướng Chính phủ;
  b) Thực hiện nhiệm vụ phát ngôn của Chính phủ, Thủ tướng Chính phủ;
  c) Chủ trì, phối hợp với các bộ, ngành, Ủy ban nhân dân cấp tỉnh, các cơ quan, tổ chức liên quan tổ chức họp báo Chính phủ, cung cấp thông tin cho báo chí định kỳ, đột xuất; tham mưu trả lời phỏng vấn báo chí của Thủ tướng Chính phủ; thực hiện thông cáo báo chí theo quy định của pháp luật;
  d) Yêu cầu các cơ quan liên quan hiệu chỉnh, cơ quan báo chí cải chính, hiệu chỉnh nội dung thông tin không chính xác, chưa phù hợp với yêu cầu lãnh đạo, chỉ đạo, điều hành của Chính phủ, Thủ tướng Chính phủ theo quy định của pháp luật;
  đ) Thực hiện quản lý nhà nước về công báo...
  Đỗ xe trên dốc cầu Rạch Chiếc mà không chèn bánh thì bị xử phạt bao nhiêu tiền?	"Điều 5. Xử phạt người điều khiển xe ô tô và các loại xe tương tự xe ô tô vi phạm quy tắc giao thông đường bộ
  ....
  2. Phạt tiền từ 400.000 đồng đến 600.000 đồng đối với người điều khiển xe thực hiện một trong các hành vi vi phạm sau đây:
  a) Chuyển làn đường không đúng nơi cho phép hoặc không có tín hiệu báo trước, trừ các hành vi vi phạm quy định tại điểm g khoản 5 Điều này;
  b) Điều khiển xe chạy tốc độ thấp hơn các xe khác đi cùng chiều mà không đi về bên phải phần đường xe chạy, trừ trường hợp các xe khác đi cùng chiều chạy quá tốc độ quy định;
  c) Chở người trên buồng lái quá số lượng quy định;
  d) Không tuân thủ các quy định về nhường đường tại nơi đường bộ giao nhau, trừ các hành vi vi phạm quy định tại điểm m, điểm n khoản 3 Điều này;
  đ) Điều khiển xe có liên quan trực tiếp đến vụ tai nạn giao thông mà không dừng lại, không giữ nguyên hiện trường, không tham gia cấp cứu người bị nạn, trừ hành vi vi phạm quy định tại điểm b khoản 8 Điều này;
  e) Xe được quyền ưu tiên lắp đặt, sử dụng...
  Phẫu thuật kết hợp xương gãy khung chậu chỉ định trong những trường hợp nào?	PHẪU THUẬT KHX GÃY KHUNG CHẬU - TRẬT KHỚP MU ... II. CHỈ ĐỊNH Chỉ định mổ kết hợp xương khi gãy khung chậu toác khớp mu loại B, C theo phân loại của AO. - Loại B: Gãy không hoàn toàn khung sau khung chậu, tổn thương không vững, xoay quanh trục ngang. Di lệch xoay mở quyển sách khi bị cơ chế ép trước sau. - Loại C: Gãy hoàn toàn cung sau, tổn thương mất vững cả chiều ngang và chiều dọc. ...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 64
• num_train_epochs: 1
• learning_rate: 1e-05
• lr_scheduler_type: cosine_with_restarts
• warmup_steps: 100
• weight_decay: 0.01
• bf16: True
• load_best_model_at_end: True
• dataloader_num_workers: 16
• dataloader_persistent_workers: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• per_device_train_batch_size: 64
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: cosine_with_restarts
• lr_scheduler_kwargs: None
• warmup_steps: 100
• optim: adamw_torch
• optim_args: None
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 16
• dataloader_pin_memory: True
• dataloader_persistent_workers: True
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	val_ir_cosine_ndcg@10
0	0	-	0.8719
0.0303	50	0.1413	-
0.0605	100	0.0658	-
0.0908	150	0.0637	-
0.1211	200	0.0550	-
0.1513	250	0.0666	-
0.1816	300	0.0702	-
0.2119	350	0.0538	-
0.2421	400	0.0541	-
0.2724	450	0.0506	-
0.3027	500	0.0520	0.9434
0.3329	550	0.0491	-
0.3632	600	0.0520	-
0.3935	650	0.0512	-
0.4237	700	0.0505	-
0.4540	750	0.0505	-
0.4843	800	0.0448	-
0.5145	850	0.0529	-
0.5448	900	0.0455	-
0.5751	950	0.0450	-
0.6053	1000	0.0429	0.9514
0.6356	1050	0.0376	-
0.6659	1100	0.0434	-
0.6961	1150	0.0451	-
0.7264	1200	0.0427	-
0.7567	1250	0.0448	-
0.7869	1300	0.0442	-
0.8172	1350	0.0426	-
0.8475	1400	0.0518	-
0.8777	1450	0.0372	-
0.9080	1500	0.0473	0.9520
0.9383	1550	0.0350	-
0.9685	1600	0.0426	-
0.9988	1650	0.0378	-
1.0	1652	-	0.952

• The bold row denotes the saved checkpoint.

Training Time

• Training: 38.5 minutes
• Evaluation: 1.3 minutes
• Total: 39.8 minutes

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 5.4.1
• Transformers: 5.5.4
• PyTorch: 2.4.1+cu124
• Accelerate: 1.13.0
• Datasets: 4.8.4
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}