deberta-v3-base-emobank-vad

This model is a fine-tuned version of microsoft/deberta-v3-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0617
• Pearson V: 0.7741
• Mae V: 0.2133
• Pearson A: 0.5715
• Mae A: 0.1914
• Pearson D: 0.3832
• Mae D: 0.1748
• Avg Pearson: 0.5763

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Pearson V	Mae V	Pearson A	Mae A	Pearson D	Mae D	Avg Pearson
9.2581	1.0	126	8.7946	0.0038	2.9832	0.0521	2.8927	0.0138	2.9830	0.0232
4.3424	2.0	252	1.2829	-0.0945	0.7757	0.0719	1.1714	0.0129	1.2900	-0.0032
0.1384	3.0	378	0.1301	0.2267	0.3005	0.0943	0.2892	0.0542	0.2918	0.1251
0.1016	4.0	504	0.1061	0.5828	0.2776	0.2247	0.2613	0.2420	0.2685	0.3498
0.0834	5.0	630	0.0994	0.6477	0.2818	0.3395	0.2594	0.2599	0.2348	0.4157
0.0732	6.0	756	0.0692	0.6854	0.2302	0.4174	0.2051	0.2845	0.1840	0.4624
0.0691	7.0	882	0.0738	0.7077	0.2209	0.4683	0.2276	0.2771	0.1949	0.4844
0.064	8.0	1008	0.0714	0.7234	0.2169	0.5006	0.2198	0.3041	0.1991	0.5094
0.0646	9.0	1134	0.0674	0.7368	0.2406	0.5197	0.1932	0.3150	0.1802	0.5238
0.0596	10.0	1260	0.0785	0.7349	0.2605	0.5127	0.2013	0.3072	0.2039	0.5182
0.0592	11.0	1386	0.0717	0.7487	0.2448	0.5194	0.1985	0.3308	0.1904	0.5330
0.0553	12.0	1512	0.0684	0.7577	0.2141	0.5358	0.2211	0.3446	0.1831	0.5460
0.056	13.0	1638	0.0662	0.7553	0.2229	0.5366	0.2028	0.3499	0.1755	0.5473
0.055	14.0	1764	0.0622	0.7637	0.1998	0.5556	0.2030	0.3468	0.1791	0.5554
0.0521	15.0	1890	0.0687	0.7623	0.2213	0.5557	0.2033	0.3480	0.1951	0.5553
0.0518	16.0	2016	0.0664	0.7652	0.2149	0.5564	0.1995	0.3486	0.1917	0.5567
0.0492	17.0	2142	0.0672	0.7657	0.2124	0.5581	0.2086	0.3619	0.1884	0.5619
0.0522	18.0	2268	0.0585	0.7705	0.2040	0.5659	0.1877	0.3729	0.1706	0.5698
0.0499	19.0	2394	0.0647	0.7715	0.2166	0.5653	0.2029	0.3710	0.1779	0.5693
0.0491	20.0	2520	0.0596	0.7698	0.2025	0.5676	0.1855	0.3673	0.1801	0.5682
0.0489	21.0	2646	0.0624	0.7742	0.2184	0.5745	0.1887	0.3719	0.1788	0.5735
0.0491	22.0	2772	0.0583	0.7758	0.2038	0.5749	0.1844	0.3728	0.1748	0.5745
0.0479	23.0	2898	0.0608	0.7726	0.2113	0.5715	0.1888	0.3727	0.1747	0.5723
0.0484	24.0	3024	0.0632	0.7716	0.2123	0.5700	0.1970	0.3794	0.1791	0.5737
0.047	25.0	3150	0.0638	0.7727	0.2155	0.5707	0.1969	0.3803	0.1792	0.5746
0.0462	26.0	3276	0.0628	0.7744	0.2188	0.5733	0.1901	0.3811	0.1800	0.5762
0.0474	27.0	3402	0.0633	0.7739	0.2179	0.5717	0.1925	0.3814	0.1802	0.5756
0.0466	28.0	3528	0.0623	0.7743	0.2142	0.5702	0.1951	0.3815	0.1730	0.5753
0.0461	29.0	3654	0.0612	0.7741	0.2108	0.5716	0.1910	0.3827	0.1749	0.5761
0.0464	30.0	3780	0.0617	0.7741	0.2133	0.5715	0.1914	0.3832	0.1748	0.5763

Framework versions

• PEFT 0.16.0
• Transformers 4.44.2
• Pytorch 2.6.0+cu124
• Datasets 4.1.1
• Tokenizers 0.19.1