[*] Loading tokenizer...
[*] Building token bin (5,000,000,000 toks)...
Resolving data files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2410/2410 [00:00<00:00, 73891.96it/s]
Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
Resolving data files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 104/104 [00:00<00:00, 11861.20it/s]
Resolving data files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 104/104 [00:00<00:00, 12369.42it/s]
tok: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5000000000/5000000000 [1:33:07<00:00, 894805.19tok/s]
[+] Train: 4,877,929 chunks | Val: 4,882 chunks
[*] Params: 1,410,688
[*] Start loss (ln vocab): 8.318
  0%|                                                                                                                                                                                                              | 0/19055 [00:00<?, ?it/s]W0527 17:54:23.983000 1618 torch/_inductor/utils.py:1731] [0/0] Not enough SMs to use max_autotune_gemm mode
{'loss': '8.227', 'grad_norm': '0.7283', 'learning_rate': '5.88e-05', 'epoch': '0.002624'}                                                                                                                                                   
{'loss': '8.038', 'grad_norm': '0.6902', 'learning_rate': '0.0001188', 'epoch': '0.005248'}                                                                                                                                                  
{'loss': '7.801', 'grad_norm': '0.696', 'learning_rate': '0.0001788', 'epoch': '0.007872'}                                                                                                                                                   
{'loss': '7.514', 'grad_norm': '0.668', 'learning_rate': '0.0002388', 'epoch': '0.0105'}                                                                                                                                                     
{'loss': '7.195', 'grad_norm': '0.6472', 'learning_rate': '0.0002988', 'epoch': '0.01312'}                                                                                                                                                   
{'loss': '6.88', 'grad_norm': '0.6181', 'learning_rate': '0.0003588', 'epoch': '0.01574'}                                                                                                                                                    
{'loss': '6.577', 'grad_norm': '0.5743', 'learning_rate': '0.0004188', 'epoch': '0.01837'}                                                                                                                                                   
{'loss': '6.298', 'grad_norm': '0.7578', 'learning_rate': '0.0004788', 'epoch': '0.02099'}                                                                                                                                                   
{'loss': '6.038', 'grad_norm': '0.7954', 'learning_rate': '0.0005388', 'epoch': '0.02362'}                                                                                                                                                   
{'loss': '5.809', 'grad_norm': '0.6836', 'learning_rate': '0.0005988', 'epoch': '0.02624'}                                                                                                                                                   
{'loss': '5.606', 'grad_norm': '0.684', 'learning_rate': '0.0006', 'epoch': '0.02886'}                                                                                                                                                       
{'loss': '5.436', 'grad_norm': '0.8624', 'learning_rate': '0.0006', 'epoch': '0.03149'}                                                                                                                                                      
{'loss': '5.29', 'grad_norm': '0.9148', 'learning_rate': '0.0006', 'epoch': '0.03411'}                                                                                                                                                       
{'loss': '5.167', 'grad_norm': '0.8274', 'learning_rate': '0.0006', 'epoch': '0.03674'}                                                                                                                                                      
{'loss': '5.059', 'grad_norm': '1.218', 'learning_rate': '0.0006', 'epoch': '0.03936'}                                                                                                                                                       
{'loss': '4.964', 'grad_norm': '1', 'learning_rate': '0.0006', 'epoch': '0.04198'}                                                                                                                                                           
{'loss': '4.881', 'grad_norm': '1.025', 'learning_rate': '0.0006', 'epoch': '0.04461'}                                                                                                                                                       
{'loss': '4.806', 'grad_norm': '1.083', 'learning_rate': '0.0006', 'epoch': '0.04723'}                                                                                                                                                       
{'loss': '4.741', 'grad_norm': '1.216', 'learning_rate': '0.0006', 'epoch': '0.04986'}                                                                                                                                                       
{'loss': '4.679', 'grad_norm': '1.171', 'learning_rate': '0.0006', 'epoch': '0.05248'}                                                                                                                                                       
{'eval_loss': '4.657', 'eval_runtime': '5.59', 'eval_samples_per_second': '873.3', 'eval_steps_per_second': '13.77', 'epoch': '0.05248'}                                                                                                     
{'loss': '4.625', 'grad_norm': '1.318', 'learning_rate': '0.0006', 'epoch': '0.05511'}                                                                                                                                                       
{'loss': '4.576', 'grad_norm': '1.34', 'learning_rate': '0.0006', 'epoch': '0.05773'}                                                                                                                                                        
{'loss': '4.534', 'grad_norm': '1.206', 'learning_rate': '0.0006', 'epoch': '0.06035'}                                                                                                                                                       
{'loss': '4.494', 'grad_norm': '1.141', 'learning_rate': '0.0006', 'epoch': '0.06298'}                                                                                                                                                       
{'loss': '4.455', 'grad_norm': '0.9871', 'learning_rate': '0.0006', 'epoch': '0.0656'}                                                                                                                                                       
{'loss': '4.421', 'grad_norm': '1.049', 'learning_rate': '0.0006', 'epoch': '0.06823'}                                                                                                                                                       
{'loss': '4.391', 'grad_norm': '1.222', 'learning_rate': '0.0006', 'epoch': '0.07085'}                                                                                                                                                       
{'loss': '4.361', 'grad_norm': '1.092', 'learning_rate': '0.0006', 'epoch': '0.07347'}                                                                                                                                                       
{'loss': '4.337', 'grad_norm': '1.139', 'learning_rate': '0.0006', 'epoch': '0.0761'}                                                                                                                                                        
{'loss': '4.308', 'grad_norm': '1.121', 'learning_rate': '0.0006', 'epoch': '0.07872'}                                                                                                                                                       
{'loss': '4.284', 'grad_norm': '1.174', 'learning_rate': '0.0006', 'epoch': '0.08135'}                                                                                                                                                       
{'loss': '4.265', 'grad_norm': '1.132', 'learning_rate': '0.0006', 'epoch': '0.08397'}                                                                                                                                                       
{'loss': '4.243', 'grad_norm': '1.116', 'learning_rate': '0.0006', 'epoch': '0.08659'}                                                                                                                                                       
{'loss': '4.224', 'grad_norm': '1.198', 'learning_rate': '0.0006', 'epoch': '0.08922'}                                                                                                                                                       
{'loss': '4.208', 'grad_norm': '1.088', 'learning_rate': '0.0006', 'epoch': '0.09184'}                                                                                                                                                       
{'loss': '4.19', 'grad_norm': '1.184', 'learning_rate': '0.0006', 'epoch': '0.09447'}                                                                                                                                                        
{'loss': '4.172', 'grad_norm': '1.203', 'learning_rate': '0.0006', 'epoch': '0.09709'}                                                                                                                                                       
{'loss': '4.162', 'grad_norm': '1.132', 'learning_rate': '0.0006', 'epoch': '0.09971'}                                                                                                                                                       
{'loss': '4.147', 'grad_norm': '0.9959', 'learning_rate': '0.0006', 'epoch': '0.1023'}                                                                                                                                                       
{'loss': '4.13', 'grad_norm': '1.091', 'learning_rate': '0.0006', 'epoch': '0.105'}                                                                                                                                                          
{'eval_loss': '4.13', 'eval_runtime': '4.881', 'eval_samples_per_second': '1000', 'eval_steps_per_second': '15.78', 'epoch': '0.105'}                                                                                                        
{'loss': '4.12', 'grad_norm': '1.091', 'learning_rate': '0.0006', 'epoch': '0.1076'}                                                                                                                                                         
{'loss': '4.103', 'grad_norm': '1.21', 'learning_rate': '0.0006', 'epoch': '0.1102'}                                                                                                                                                         
{'loss': '4.091', 'grad_norm': '1.367', 'learning_rate': '0.0006', 'epoch': '0.1128'}                                                                                                                                                        
{'loss': '4.084', 'grad_norm': '1.342', 'learning_rate': '0.0006', 'epoch': '0.1155'}                                                                                                                                                        
{'loss': '4.075', 'grad_norm': '1.142', 'learning_rate': '0.0006', 'epoch': '0.1181'}                                                                                                                                                        
{'loss': '4.064', 'grad_norm': '1.112', 'learning_rate': '0.0006', 'epoch': '0.1207'}                                                                                                                                                        
{'loss': '4.049', 'grad_norm': '1.185', 'learning_rate': '0.0006', 'epoch': '0.1233'}                                                                                                                                                        
{'loss': '4.042', 'grad_norm': '1.343', 'learning_rate': '0.0006', 'epoch': '0.126'}                                                                                                                                                         
{'loss': '4.038', 'grad_norm': '0.8788', 'learning_rate': '0.0006', 'epoch': '0.1286'}                                                                                                                                                       
{'loss': '4.027', 'grad_norm': '1.12', 'learning_rate': '0.0006', 'epoch': '0.1312'}                                                                                                                                                         
{'loss': '4.014', 'grad_norm': '1.072', 'learning_rate': '0.0006', 'epoch': '0.1338'}                                                                                                                                                        
{'loss': '4.017', 'grad_norm': '0.9065', 'learning_rate': '0.0006', 'epoch': '0.1365'}                                                                                                                                                       
{'loss': '4.003', 'grad_norm': '0.9136', 'learning_rate': '0.0006', 'epoch': '0.1391'}                                                                                                                                                       
{'loss': '3.996', 'grad_norm': '1.087', 'learning_rate': '0.0006', 'epoch': '0.1417'}                                                                                                                                                        
{'loss': '3.989', 'grad_norm': '1.02', 'learning_rate': '0.0006', 'epoch': '0.1443'}                                                                                                                                                         
{'loss': '3.983', 'grad_norm': '1.069', 'learning_rate': '0.0006', 'epoch': '0.1469'}                                                                                                                                                        
{'loss': '3.979', 'grad_norm': '1.15', 'learning_rate': '0.0006', 'epoch': '0.1496'}                                                                                                                                                         
{'loss': '3.971', 'grad_norm': '1.034', 'learning_rate': '0.0006', 'epoch': '0.1522'}                                                                                                                                                        
{'loss': '3.972', 'grad_norm': '1.279', 'learning_rate': '0.0006', 'epoch': '0.1548'}                                                                                                                                                        
{'loss': '3.962', 'grad_norm': '1.05', 'learning_rate': '0.0006', 'epoch': '0.1574'}                                                                                                                                                         
{'eval_loss': '3.964', 'eval_runtime': '4.878', 'eval_samples_per_second': '1001', 'eval_steps_per_second': '15.79', 'epoch': '0.1574'}                                                                                                      
{'loss': '3.953', 'grad_norm': '1.111', 'learning_rate': '0.0006', 'epoch': '0.1601'}                                                                                                                                                        
{'loss': '3.943', 'grad_norm': '1.161', 'learning_rate': '0.0006', 'epoch': '0.1627'}                                                                                                                                                        
{'loss': '3.943', 'grad_norm': '1.406', 'learning_rate': '0.0006', 'epoch': '0.1653'}                                                                                                                                                        
{'loss': '3.94', 'grad_norm': '1.054', 'learning_rate': '0.0006', 'epoch': '0.1679'}                                                                                                                                                         
{'loss': '3.935', 'grad_norm': '1.063', 'learning_rate': '0.0006', 'epoch': '0.1706'}                                                                                                                                                        
{'loss': '3.928', 'grad_norm': '1.263', 'learning_rate': '0.0006', 'epoch': '0.1732'}                                                                                                                                                        
{'loss': '3.926', 'grad_norm': '1.178', 'learning_rate': '0.0006', 'epoch': '0.1758'}                                                                                                                                                        
{'loss': '3.921', 'grad_norm': '1.169', 'learning_rate': '0.0006', 'epoch': '0.1784'}                                                                                                                                                        
{'loss': '3.915', 'grad_norm': '1.211', 'learning_rate': '0.0006', 'epoch': '0.1811'}                                                                                                                                                        
{'loss': '3.914', 'grad_norm': '1.05', 'learning_rate': '0.0006', 'epoch': '0.1837'}                                                                                                                                                         
{'loss': '3.909', 'grad_norm': '0.9622', 'learning_rate': '0.0006', 'epoch': '0.1863'}                                                                                                                                                       
{'loss': '3.907', 'grad_norm': '1.089', 'learning_rate': '0.0006', 'epoch': '0.1889'}                                                                                                                                                        
{'loss': '3.9', 'grad_norm': '1.001', 'learning_rate': '0.0006', 'epoch': '0.1916'}                                                                                                                                                          
{'loss': '3.896', 'grad_norm': '1.125', 'learning_rate': '0.0006', 'epoch': '0.1942'}                                                                                                                                                        
{'loss': '3.892', 'grad_norm': '1.257', 'learning_rate': '0.0006', 'epoch': '0.1968'}                                                                                                                                                        
{'loss': '3.891', 'grad_norm': '1.007', 'learning_rate': '0.0006', 'epoch': '0.1994'}                                                                                                                                                        
{'loss': '3.889', 'grad_norm': '1.002', 'learning_rate': '0.0006', 'epoch': '0.2021'}                                                                                                                                                        
{'loss': '3.878', 'grad_norm': '1.135', 'learning_rate': '0.0006', 'epoch': '0.2047'}                                                                                                                                                        
{'loss': '3.88', 'grad_norm': '1.252', 'learning_rate': '0.0006', 'epoch': '0.2073'}                                                                                                                                                         
{'loss': '3.879', 'grad_norm': '1.155', 'learning_rate': '0.0006', 'epoch': '0.2099'}                                                                                                                                                        
{'eval_loss': '3.88', 'eval_runtime': '4.863', 'eval_samples_per_second': '1004', 'eval_steps_per_second': '15.83', 'epoch': '0.2099'}                                                                                                       
{'loss': '3.876', 'grad_norm': '0.9475', 'learning_rate': '0.0006', 'epoch': '0.2125'}                                                                                                                                                       
{'loss': '3.872', 'grad_norm': '1.052', 'learning_rate': '0.0006', 'epoch': '0.2152'}                                                                                                                                                        
{'loss': '3.864', 'grad_norm': '1.361', 'learning_rate': '0.0006', 'epoch': '0.2178'}                                                                                                                                                        
{'loss': '3.862', 'grad_norm': '1.043', 'learning_rate': '0.0006', 'epoch': '0.2204'}                                                                                                                                                        
{'loss': '3.859', 'grad_norm': '0.9569', 'learning_rate': '0.0006', 'epoch': '0.223'}                                                                                                                                                        
{'loss': '3.865', 'grad_norm': '1.077', 'learning_rate': '0.0006', 'epoch': '0.2257'}                                                                                                                                                        
{'loss': '3.855', 'grad_norm': '1.143', 'learning_rate': '0.0006', 'epoch': '0.2283'}                                                                                                                                                        
{'loss': '3.852', 'grad_norm': '1.075', 'learning_rate': '0.0006', 'epoch': '0.2309'}                                                                                                                                                        
{'loss': '3.851', 'grad_norm': '1.295', 'learning_rate': '0.0006', 'epoch': '0.2335'}                                                                                                                                                        
{'loss': '3.843', 'grad_norm': '1.165', 'learning_rate': '0.0006', 'epoch': '0.2362'}                                                                                                                                                        
{'loss': '3.848', 'grad_norm': '1.212', 'learning_rate': '0.0006', 'epoch': '0.2388'}                                                                                                                                                        
{'loss': '3.842', 'grad_norm': '0.9721', 'learning_rate': '0.0006', 'epoch': '0.2414'}                                                                                                                                                       
{'loss': '3.84', 'grad_norm': '1.315', 'learning_rate': '0.0006', 'epoch': '0.244'}                                                                                                                                                          
{'loss': '3.84', 'grad_norm': '1.171', 'learning_rate': '0.0006', 'epoch': '0.2467'}                                                                                                                                                         
{'loss': '3.836', 'grad_norm': '1.172', 'learning_rate': '0.0006', 'epoch': '0.2493'}                                                                                                                                                        
{'loss': '3.829', 'grad_norm': '1.083', 'learning_rate': '0.0006', 'epoch': '0.2519'}                                                                                                                                                        
{'loss': '3.83', 'grad_norm': '1.111', 'learning_rate': '0.0006', 'epoch': '0.2545'}                                                                                                                                                         
{'loss': '3.825', 'grad_norm': '1.074', 'learning_rate': '0.0006', 'epoch': '0.2572'}                                                                                                                                                        
{'loss': '3.82', 'grad_norm': '1.07', 'learning_rate': '0.0006', 'epoch': '0.2598'}                                                                                                                                                          
{'loss': '3.818', 'grad_norm': '1.247', 'learning_rate': '0.0006', 'epoch': '0.2624'}                                                                                                                                                        
{'eval_loss': '3.827', 'eval_runtime': '4.858', 'eval_samples_per_second': '1005', 'eval_steps_per_second': '15.85', 'epoch': '0.2624'}                                                                                                      
Writing model shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 25.40it/s]
{'loss': '3.822', 'grad_norm': '0.9996', 'learning_rate': '0.0006', 'epoch': '0.265'}                                                                                                                                                        
{'loss': '3.817', 'grad_norm': '0.902', 'learning_rate': '0.0006', 'epoch': '0.2677'}                                                                                                                                                        
{'loss': '3.816', 'grad_norm': '1.125', 'learning_rate': '0.0006', 'epoch': '0.2703'}                                                                                                                                                        
{'loss': '3.811', 'grad_norm': '1.227', 'learning_rate': '0.0006', 'epoch': '0.2729'}                                                                                                                                                        
{'loss': '3.81', 'grad_norm': '1.1', 'learning_rate': '0.0006', 'epoch': '0.2755'}                                                                                                                                                           
{'loss': '3.803', 'grad_norm': '0.9489', 'learning_rate': '0.0006', 'epoch': '0.2781'}                                                                                                                                                       
{'loss': '3.8', 'grad_norm': '0.9645', 'learning_rate': '0.0006', 'epoch': '0.2808'}                                                                                                                                                         
{'loss': '3.805', 'grad_norm': '1.035', 'learning_rate': '0.0006', 'epoch': '0.2834'}                                                                                                                                                        
{'loss': '3.793', 'grad_norm': '1.34', 'learning_rate': '0.0006', 'epoch': '0.286'}                                                                                                                                                          
{'loss': '3.792', 'grad_norm': '1.168', 'learning_rate': '0.0006', 'epoch': '0.2886'}                                                                                                                                                        
{'loss': '3.795', 'grad_norm': '1.125', 'learning_rate': '0.0006', 'epoch': '0.2913'}                                                                                                                                                        
{'loss': '3.793', 'grad_norm': '1.004', 'learning_rate': '0.0006', 'epoch': '0.2939'}                                                                                                                                                        
{'loss': '3.789', 'grad_norm': '1.365', 'learning_rate': '0.0006', 'epoch': '0.2965'}                                                                                                                                                        
{'loss': '3.784', 'grad_norm': '1.118', 'learning_rate': '0.0006', 'epoch': '0.2991'}                                                                                                                                                        
{'loss': '3.788', 'grad_norm': '1.181', 'learning_rate': '0.0006', 'epoch': '0.3018'}                                                                                                                                                        
{'loss': '3.777', 'grad_norm': '1.173', 'learning_rate': '0.0006', 'epoch': '0.3044'}                                                                                                                                                        
{'loss': '3.777', 'grad_norm': '1.178', 'learning_rate': '0.0006', 'epoch': '0.307'}                                                                                                                                                         
{'loss': '3.774', 'grad_norm': '0.9736', 'learning_rate': '0.0006', 'epoch': '0.3096'}                                                                                                                                                       
{'loss': '3.77', 'grad_norm': '1.433', 'learning_rate': '0.0006', 'epoch': '0.3123'}                                                                                                                                                         
{'loss': '3.766', 'grad_norm': '1.02', 'learning_rate': '0.0006', 'epoch': '0.3149'}                                                                                                                                                         
{'eval_loss': '3.775', 'eval_runtime': '4.866', 'eval_samples_per_second': '1003', 'eval_steps_per_second': '15.82', 'epoch': '0.3149'}                                                                                                      
{'loss': '3.769', 'grad_norm': '0.8966', 'learning_rate': '0.0006', 'epoch': '0.3175'}                                                                                                                                                       
{'loss': '3.765', 'grad_norm': '1.001', 'learning_rate': '0.0006', 'epoch': '0.3201'}                                                                                                                                                        
{'loss': '3.764', 'grad_norm': '1.359', 'learning_rate': '0.0006', 'epoch': '0.3228'}                                                                                                                                                        
{'loss': '3.76', 'grad_norm': '1.109', 'learning_rate': '0.0006', 'epoch': '0.3254'}                                                                                                                                                         
{'loss': '3.757', 'grad_norm': '1.039', 'learning_rate': '0.0006', 'epoch': '0.328'}                                                                                                                                                         
{'loss': '3.752', 'grad_norm': '1.002', 'learning_rate': '0.0006', 'epoch': '0.3306'}                                                                                                                                                        
{'loss': '3.749', 'grad_norm': '1.246', 'learning_rate': '0.0006', 'epoch': '0.3333'}                                                                                                                                                        
{'loss': '3.749', 'grad_norm': '1.134', 'learning_rate': '0.0006', 'epoch': '0.3359'}                                                                                                                                                        
{'loss': '3.744', 'grad_norm': '1.219', 'learning_rate': '0.0006', 'epoch': '0.3385'}                                                                                                                                                        
{'loss': '3.736', 'grad_norm': '1.022', 'learning_rate': '0.0006', 'epoch': '0.3411'}                                                                                                                                                        
{'loss': '3.738', 'grad_norm': '1.202', 'learning_rate': '0.0006', 'epoch': '0.3438'}                                                                                                                                                        
{'loss': '3.733', 'grad_norm': '0.9703', 'learning_rate': '0.0006', 'epoch': '0.3464'}                                                                                                                                                       
{'loss': '3.737', 'grad_norm': '1.134', 'learning_rate': '0.0006', 'epoch': '0.349'}                                                                                                                                                         
{'loss': '3.738', 'grad_norm': '1.171', 'learning_rate': '0.0006', 'epoch': '0.3516'}                                                                                                                                                        
{'loss': '3.725', 'grad_norm': '1.167', 'learning_rate': '0.0006', 'epoch': '0.3542'}                                                                                                                                                        
{'loss': '3.728', 'grad_norm': '1.179', 'learning_rate': '0.0006', 'epoch': '0.3569'}                                                                                                                                                        
{'loss': '3.721', 'grad_norm': '1.007', 'learning_rate': '0.0006', 'epoch': '0.3595'}                                                                                                                                                        
{'loss': '3.713', 'grad_norm': '1.018', 'learning_rate': '0.0006', 'epoch': '0.3621'}                                                                                                                                                        
{'loss': '3.715', 'grad_norm': '1.017', 'learning_rate': '0.0006', 'epoch': '0.3647'}                                                                                                                                                        
{'loss': '3.714', 'grad_norm': '1.168', 'learning_rate': '0.0006', 'epoch': '0.3674'}                                                                                                                                                        
{'eval_loss': '3.719', 'eval_runtime': '4.864', 'eval_samples_per_second': '1004', 'eval_steps_per_second': '15.83', 'epoch': '0.3674'}                                                                                                      
{'loss': '3.712', 'grad_norm': '1.241', 'learning_rate': '0.0006', 'epoch': '0.37'}                                                                                                                                                          
{'loss': '3.703', 'grad_norm': '1.076', 'learning_rate': '0.0006', 'epoch': '0.3726'}                                                                                                                                                        
{'loss': '3.699', 'grad_norm': '1.186', 'learning_rate': '0.0006', 'epoch': '0.3752'}                                                                                                                                                        
{'loss': '3.697', 'grad_norm': '1.17', 'learning_rate': '0.0006', 'epoch': '0.3779'}                                                                                                                                                         
{'loss': '3.694', 'grad_norm': '1.177', 'learning_rate': '0.0006', 'epoch': '0.3805'}                                                                                                                                                        
{'loss': '3.696', 'grad_norm': '1.564', 'learning_rate': '0.0006', 'epoch': '0.3831'}                                                                                                                                                        
{'loss': '3.685', 'grad_norm': '1.024', 'learning_rate': '0.0006', 'epoch': '0.3857'}                                                                                                                                                        
{'loss': '3.683', 'grad_norm': '1.021', 'learning_rate': '0.0006', 'epoch': '0.3884'}                                                                                                                                                        
{'loss': '3.683', 'grad_norm': '1.21', 'learning_rate': '0.0006', 'epoch': '0.391'}                                                                                                                                                          
{'loss': '3.678', 'grad_norm': '1.113', 'learning_rate': '0.0006', 'epoch': '0.3936'}                                                                                                                                                        
{'loss': '3.677', 'grad_norm': '1.306', 'learning_rate': '0.0006', 'epoch': '0.3962'}                                                                                                                                                        
{'loss': '3.671', 'grad_norm': '1.035', 'learning_rate': '0.0006', 'epoch': '0.3989'}                                                                                                                                                        
{'loss': '3.67', 'grad_norm': '1.2', 'learning_rate': '0.0006', 'epoch': '0.4015'}                                                                                                                                                           
{'loss': '3.669', 'grad_norm': '1.258', 'learning_rate': '0.0006', 'epoch': '0.4041'}                                                                                                                                                        
{'loss': '3.662', 'grad_norm': '1.257', 'learning_rate': '0.0006', 'epoch': '0.4067'}                                                                                                                                                        
{'loss': '3.666', 'grad_norm': '1.067', 'learning_rate': '0.0006', 'epoch': '0.4094'}                                                                                                                                                        
{'loss': '3.652', 'grad_norm': '1.215', 'learning_rate': '0.0006', 'epoch': '0.412'}                                                                                                                                                         
{'loss': '3.653', 'grad_norm': '1.414', 'learning_rate': '0.0006', 'epoch': '0.4146'}                                                                                                                                                        
{'loss': '3.659', 'grad_norm': '1.083', 'learning_rate': '0.0006', 'epoch': '0.4172'}                                                                                                                                                        
{'loss': '3.652', 'grad_norm': '1.21', 'learning_rate': '0.0006', 'epoch': '0.4198'}                                                                                                                                                         
{'eval_loss': '3.658', 'eval_runtime': '4.867', 'eval_samples_per_second': '1003', 'eval_steps_per_second': '15.82', 'epoch': '0.4198'}                                                                                                      
{'loss': '3.645', 'grad_norm': '1.284', 'learning_rate': '0.0006', 'epoch': '0.4225'}                                                                                                                                                        
{'loss': '3.649', 'grad_norm': '1.008', 'learning_rate': '0.0006', 'epoch': '0.4251'}                                                                                                                                                        
{'loss': '3.647', 'grad_norm': '1.192', 'learning_rate': '0.0006', 'epoch': '0.4277'}                                                                                                                                                        
{'loss': '3.639', 'grad_norm': '1.212', 'learning_rate': '0.0006', 'epoch': '0.4303'}                                                                                                                                                        
{'loss': '3.64', 'grad_norm': '1.216', 'learning_rate': '0.0006', 'epoch': '0.433'}                                                                                                                                                          
{'loss': '3.637', 'grad_norm': '1.013', 'learning_rate': '0.0006', 'epoch': '0.4356'}                                                                                                                                                        
{'loss': '3.634', 'grad_norm': '1.737', 'learning_rate': '0.0006', 'epoch': '0.4382'}                                                                                                                                                        
{'loss': '3.635', 'grad_norm': '1.41', 'learning_rate': '0.0006', 'epoch': '0.4408'}                                                                                                                                                         
{'loss': '3.626', 'grad_norm': '1.318', 'learning_rate': '0.0006', 'epoch': '0.4435'}                                                                                                                                                        
{'loss': '3.627', 'grad_norm': '1.097', 'learning_rate': '0.0006', 'epoch': '0.4461'}                                                                                                                                                        
{'loss': '3.622', 'grad_norm': '1.403', 'learning_rate': '0.0006', 'epoch': '0.4487'}                                                                                                                                                        
{'loss': '3.619', 'grad_norm': '1.514', 'learning_rate': '0.0006', 'epoch': '0.4513'}                                                                                                                                                        
{'loss': '3.62', 'grad_norm': '1.294', 'learning_rate': '0.0006', 'epoch': '0.454'}                                                                                                                                                          
{'loss': '3.615', 'grad_norm': '1.153', 'learning_rate': '0.0006', 'epoch': '0.4566'}                                                                                                                                                        
{'loss': '3.614', 'grad_norm': '1.241', 'learning_rate': '0.0006', 'epoch': '0.4592'}                                                                                                                                                        
{'loss': '3.618', 'grad_norm': '1.279', 'learning_rate': '0.0006', 'epoch': '0.4618'}                                                                                                                                                        
{'loss': '3.613', 'grad_norm': '1.147', 'learning_rate': '0.0006', 'epoch': '0.4645'}                                                                                                                                                        
{'loss': '3.61', 'grad_norm': '1.553', 'learning_rate': '0.0006', 'epoch': '0.4671'}                                                                                                                                                         
{'loss': '3.614', 'grad_norm': '1.441', 'learning_rate': '0.0006', 'epoch': '0.4697'}                                                                                                                                                        
{'loss': '3.609', 'grad_norm': '1.309', 'learning_rate': '0.0006', 'epoch': '0.4723'}                                                                                                                                                        
{'eval_loss': '3.614', 'eval_runtime': '4.858', 'eval_samples_per_second': '1005', 'eval_steps_per_second': '15.85', 'epoch': '0.4723'}                                                                                                      
{'loss': '3.607', 'grad_norm': '1.344', 'learning_rate': '0.0006', 'epoch': '0.475'}                                                                                                                                                         
{'loss': '3.602', 'grad_norm': '1.086', 'learning_rate': '0.0006', 'epoch': '0.4776'}                                                                                                                                                        
{'loss': '3.604', 'grad_norm': '1.36', 'learning_rate': '0.0006', 'epoch': '0.4802'}                                                                                                                                                         
{'loss': '3.603', 'grad_norm': '1.438', 'learning_rate': '0.0006', 'epoch': '0.4828'}                                                                                                                                                        
{'loss': '3.604', 'grad_norm': '1.488', 'learning_rate': '0.0006', 'epoch': '0.4854'}                                                                                                                                                        
{'loss': '3.596', 'grad_norm': '1.294', 'learning_rate': '0.0006', 'epoch': '0.4881'}                                                                                                                                                        
{'loss': '3.596', 'grad_norm': '1.285', 'learning_rate': '0.0006', 'epoch': '0.4907'}                                                                                                                                                        
{'loss': '3.593', 'grad_norm': '1.2', 'learning_rate': '0.0006', 'epoch': '0.4933'}                                                                                                                                                          
{'loss': '3.597', 'grad_norm': '1.467', 'learning_rate': '0.0006', 'epoch': '0.4959'}                                                                                                                                                        
{'loss': '3.593', 'grad_norm': '1.132', 'learning_rate': '0.0006', 'epoch': '0.4986'}                                                                                                                                                        
{'loss': '3.592', 'grad_norm': '1.315', 'learning_rate': '0.0006', 'epoch': '0.5012'}                                                                                                                                                        
{'loss': '3.591', 'grad_norm': '1.284', 'learning_rate': '0.0006', 'epoch': '0.5038'}                                                                                                                                                        
{'loss': '3.59', 'grad_norm': '1.311', 'learning_rate': '0.0006', 'epoch': '0.5064'}                                                                                                                                                         
{'loss': '3.586', 'grad_norm': '1.581', 'learning_rate': '0.0006', 'epoch': '0.5091'}                                                                                                                                                        
{'loss': '3.585', 'grad_norm': '1.125', 'learning_rate': '0.0006', 'epoch': '0.5117'}                                                                                                                                                        
{'loss': '3.582', 'grad_norm': '1.432', 'learning_rate': '0.0006', 'epoch': '0.5143'}                                                                                                                                                        
{'loss': '3.582', 'grad_norm': '1.503', 'learning_rate': '0.0006', 'epoch': '0.5169'}                                                                                                                                                        
{'loss': '3.583', 'grad_norm': '1.228', 'learning_rate': '0.0006', 'epoch': '0.5196'}                                                                                                                                                        
{'loss': '3.581', 'grad_norm': '1.54', 'learning_rate': '0.0006', 'epoch': '0.5222'}                                                                                                                                                         
{'loss': '3.577', 'grad_norm': '1.214', 'learning_rate': '0.0006', 'epoch': '0.5248'}                                                                                                                                                        
{'eval_loss': '3.583', 'eval_runtime': '4.857', 'eval_samples_per_second': '1005', 'eval_steps_per_second': '15.85', 'epoch': '0.5248'}                                                                                                      
Writing model shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 316.50it/s]
{'loss': '3.575', 'grad_norm': '1.369', 'learning_rate': '0.0006', 'epoch': '0.5274'}                                                                                                                                                        
{'loss': '3.576', 'grad_norm': '1.212', 'learning_rate': '0.0006', 'epoch': '0.5301'}                                                                                                                                                        
{'loss': '3.572', 'grad_norm': '1.275', 'learning_rate': '0.0006', 'epoch': '0.5327'}                                                                                                                                                        
{'loss': '3.57', 'grad_norm': '1.238', 'learning_rate': '0.0006', 'epoch': '0.5353'}                                                                                                                                                         
{'loss': '3.573', 'grad_norm': '1.137', 'learning_rate': '0.0006', 'epoch': '0.5379'}                                                                                                                                                        
{'loss': '3.566', 'grad_norm': '1.14', 'learning_rate': '0.0006', 'epoch': '0.5406'}                                                                                                                                                         
{'loss': '3.57', 'grad_norm': '1.506', 'learning_rate': '0.0006', 'epoch': '0.5432'}                                                                                                                                                         
{'loss': '3.562', 'grad_norm': '1.633', 'learning_rate': '0.0006', 'epoch': '0.5458'}                                                                                                                                                        
{'loss': '3.563', 'grad_norm': '1.325', 'learning_rate': '0.0006', 'epoch': '0.5484'}                                                                                                                                                        
{'loss': '3.569', 'grad_norm': '1.14', 'learning_rate': '0.0006', 'epoch': '0.5511'}                                                                                                                                                         
{'loss': '3.568', 'grad_norm': '1.337', 'learning_rate': '0.0006', 'epoch': '0.5537'}                                                                                                                                                        
{'loss': '3.562', 'grad_norm': '1.167', 'learning_rate': '0.0006', 'epoch': '0.5563'}                                                                                                                                                        
{'loss': '3.564', 'grad_norm': '1.439', 'learning_rate': '0.0006', 'epoch': '0.5589'}                                                                                                                                                        
{'loss': '3.557', 'grad_norm': '1.194', 'learning_rate': '0.0006', 'epoch': '0.5615'}                                                                                                                                                        
{'loss': '3.561', 'grad_norm': '1.25', 'learning_rate': '0.0006', 'epoch': '0.5642'}                                                                                                                                                         
{'loss': '3.561', 'grad_norm': '1.09', 'learning_rate': '0.0006', 'epoch': '0.5668'}                                                                                                                                                         
{'loss': '3.556', 'grad_norm': '1.259', 'learning_rate': '0.0006', 'epoch': '0.5694'}                                                                                                                                                        
{'loss': '3.555', 'grad_norm': '1.039', 'learning_rate': '0.0006', 'epoch': '0.572'}                                                                                                                                                         
{'loss': '3.553', 'grad_norm': '1.164', 'learning_rate': '0.0006', 'epoch': '0.5747'}                                                                                                                                                        
{'loss': '3.557', 'grad_norm': '1.108', 'learning_rate': '0.0006', 'epoch': '0.5773'}                                                                                                                                                        
{'eval_loss': '3.56', 'eval_runtime': '4.875', 'eval_samples_per_second': '1001', 'eval_steps_per_second': '15.79', 'epoch': '0.5773'}                                                                                                       
{'loss': '3.551', 'grad_norm': '1.286', 'learning_rate': '0.0006', 'epoch': '0.5799'}                                                                                                                                                        
{'loss': '3.554', 'grad_norm': '1.081', 'learning_rate': '0.0006', 'epoch': '0.5825'}                                                                                                                                                        
{'loss': '3.549', 'grad_norm': '1.148', 'learning_rate': '0.0006', 'epoch': '0.5852'}                                                                                                                                                        
{'loss': '3.551', 'grad_norm': '1.361', 'learning_rate': '0.0006', 'epoch': '0.5878'}                                                                                                                                                        
{'loss': '3.545', 'grad_norm': '1.309', 'learning_rate': '0.0006', 'epoch': '0.5904'}                                                                                                                                                        
{'loss': '3.554', 'grad_norm': '1.403', 'learning_rate': '0.0006', 'epoch': '0.593'}                                                                                                                                                         
{'loss': '3.547', 'grad_norm': '1.282', 'learning_rate': '0.0006', 'epoch': '0.5957'}                                                                                                                                                        
{'loss': '3.545', 'grad_norm': '1.761', 'learning_rate': '0.0006', 'epoch': '0.5983'}                                                                                                                                                        
{'loss': '3.545', 'grad_norm': '1.162', 'learning_rate': '0.0006', 'epoch': '0.6009'}                                                                                                                                                        
{'loss': '3.541', 'grad_norm': '1.158', 'learning_rate': '0.0006', 'epoch': '0.6035'}                                                                                                                                                        
{'loss': '3.544', 'grad_norm': '1.203', 'learning_rate': '0.0006', 'epoch': '0.6062'}                                                                                                                                                        
{'loss': '3.542', 'grad_norm': '1.434', 'learning_rate': '0.0006', 'epoch': '0.6088'}                                                                                                                                                        
 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                          | 11646/19055 [2:17:55<1:27:07,  1.42it/s]
{'loss': '3.54', 'grad_norm': '1.307', 'learning_rate': '0.0006', 'epoch': '0.614'}                                                                                                                                                          
{'loss': '3.538', 'grad_norm': '1.184', 'learning_rate': '0.0006', 'epoch': '0.6167'}                                                                                                                                                        
{'loss': '3.546', 'grad_norm': '1.012', 'learning_rate': '0.0006', 'epoch': '0.6193'}                                                                                                                                                        
{'loss': '3.533', 'grad_norm': '1.723', 'learning_rate': '0.0006', 'epoch': '0.6219'}                                                                                                                                                        
{'loss': '3.533', 'grad_norm': '1.476', 'learning_rate': '0.0006', 'epoch': '0.6245'}                                                                                                                                                        
{'loss': '3.534', 'grad_norm': '1.369', 'learning_rate': '0.0006', 'epoch': '0.6271'}                                                                                                                                                        
{'loss': '3.529', 'grad_norm': '1.305', 'learning_rate': '0.0006', 'epoch': '0.6298'}                                                                                                                                                        
{'eval_loss': '3.542', 'eval_runtime': '4.891', 'eval_samples_per_second': '998.2', 'eval_steps_per_second': '15.74', 'epoch': '0.6298'}                                                                                                     
{'loss': '3.534', 'grad_norm': '1.391', 'learning_rate': '0.0006', 'epoch': '0.6324'}                                                                                                                                                        
{'loss': '3.533', 'grad_norm': '1.358', 'learning_rate': '0.0006', 'epoch': '0.635'}                                                                                                                                                         
{'loss': '3.529', 'grad_norm': '1.388', 'learning_rate': '0.0006', 'epoch': '0.6376'}                                                                                                                                                        
{'loss': '3.529', 'grad_norm': '1.124', 'learning_rate': '0.0006', 'epoch': '0.6403'}                                                                                                                                                        
{'loss': '3.531', 'grad_norm': '1.203', 'learning_rate': '0.0006', 'epoch': '0.6429'}                                                                                                                                                        
{'loss': '3.529', 'grad_norm': '1.082', 'learning_rate': '0.0006', 'epoch': '0.6455'}                                                                                                                                                        
{'loss': '3.527', 'grad_norm': '1.249', 'learning_rate': '0.0006', 'epoch': '0.6481'}                                                                                                                                                        
{'loss': '3.529', 'grad_norm': '1.5', 'learning_rate': '0.0006', 'epoch': '0.6508'}                                                                                                                                                          
{'loss': '3.53', 'grad_norm': '1.246', 'learning_rate': '0.0006', 'epoch': '0.6534'}                                                                                                                                                         
{'loss': '3.527', 'grad_norm': '1.125', 'learning_rate': '0.0006', 'epoch': '0.656'}                                                                                                                                                         
{'loss': '3.524', 'grad_norm': '1.199', 'learning_rate': '0.0006', 'epoch': '0.6586'}                                                                                                                                                        
{'loss': '3.522', 'grad_norm': '1.296', 'learning_rate': '0.0006', 'epoch': '0.6613'}                                                                                                                                                        
{'loss': '3.519', 'grad_norm': '1.61', 'learning_rate': '0.0006', 'epoch': '0.6639'}                                                                                                                                                         
{'loss': '3.524', 'grad_norm': '1.227', 'learning_rate': '0.0006', 'epoch': '0.6665'}                                                                                                                                                        
{'loss': '3.518', 'grad_norm': '1.122', 'learning_rate': '0.0006', 'epoch': '0.6691'}                                                                                                                                                        
{'loss': '3.517', 'grad_norm': '1.301', 'learning_rate': '0.0006', 'epoch': '0.6718'}                                                                                                                                                        
{'loss': '3.521', 'grad_norm': '1.424', 'learning_rate': '0.0006', 'epoch': '0.6744'}                                                                                                                                                        
{'loss': '3.52', 'grad_norm': '1.616', 'learning_rate': '0.0006', 'epoch': '0.677'}                                                                                                                                                          
{'loss': '3.522', 'grad_norm': '1.51', 'learning_rate': '0.0006', 'epoch': '0.6796'}                                                                                                                                                         
{'loss': '3.517', 'grad_norm': '1.157', 'learning_rate': '0.0006', 'epoch': '0.6823'}                                                                                                                                                        
{'eval_loss': '3.527', 'eval_runtime': '4.895', 'eval_samples_per_second': '997.3', 'eval_steps_per_second': '15.73', 'epoch': '0.6823'}                                                                                                     
{'loss': '3.512', 'grad_norm': '1.309', 'learning_rate': '0.0006', 'epoch': '0.6849'}                                                                                                                                                        
{'loss': '3.51', 'grad_norm': '1.363', 'learning_rate': '0.0006', 'epoch': '0.6875'}                                                                                                                                                         
{'loss': '3.518', 'grad_norm': '1.47', 'learning_rate': '0.0006', 'epoch': '0.6901'}                                                                                                                                                         
{'loss': '3.519', 'grad_norm': '1.118', 'learning_rate': '0.0006', 'epoch': '0.6927'}                                                                                                                                                        
{'loss': '3.507', 'grad_norm': '1.002', 'learning_rate': '0.0006', 'epoch': '0.6954'}                                                                                                                                                        
{'loss': '3.511', 'grad_norm': '1.15', 'learning_rate': '0.0006', 'epoch': '0.698'}                                                                                                                                                          
{'loss': '3.509', 'grad_norm': '1.864', 'learning_rate': '0.0006', 'epoch': '0.7006'}                                                                                                                                                        
{'loss': '3.514', 'grad_norm': '1.233', 'learning_rate': '0.0006', 'epoch': '0.7032'}                                                                                                                                                        
{'loss': '3.516', 'grad_norm': '1.745', 'learning_rate': '0.0006', 'epoch': '0.7059'}                                                                                                                                                        
{'loss': '3.509', 'grad_norm': '1.469', 'learning_rate': '0.0006', 'epoch': '0.7085'}                                                                                                                                                        
{'loss': '3.51', 'grad_norm': '1.27', 'learning_rate': '0.0006', 'epoch': '0.7111'}                                                                                                                                                          
{'loss': '3.511', 'grad_norm': '1.133', 'learning_rate': '0.0006', 'epoch': '0.7137'}                                                                                                                                                        
{'loss': '3.509', 'grad_norm': '1.186', 'learning_rate': '0.0006', 'epoch': '0.7164'}                                                                                                                                                        
{'loss': '3.512', 'grad_norm': '1.357', 'learning_rate': '0.0006', 'epoch': '0.719'}                                                                                                                                                         
{'loss': '3.509', 'grad_norm': '1.545', 'learning_rate': '0.0006', 'epoch': '0.7216'}                                                                                                                                                        
{'loss': '3.508', 'grad_norm': '1.528', 'learning_rate': '0.0006', 'epoch': '0.7242'}                                                                                                                                                        
{'loss': '3.511', 'grad_norm': '1.271', 'learning_rate': '0.0006', 'epoch': '0.7269'}                                                                                                                                                        
{'loss': '3.508', 'grad_norm': '1.113', 'learning_rate': '0.0006', 'epoch': '0.7295'}                                                                                                                                                        
{'loss': '3.502', 'grad_norm': '1.373', 'learning_rate': '0.0006', 'epoch': '0.7321'}                                                                                                                                                        
{'loss': '3.51', 'grad_norm': '1.394', 'learning_rate': '0.0006', 'epoch': '0.7347'}                                                                                                                                                         
{'eval_loss': '3.511', 'eval_runtime': '4.854', 'eval_samples_per_second': '1006', 'eval_steps_per_second': '15.87', 'epoch': '0.7347'}                                                                                                      
{'loss': '3.504', 'grad_norm': '1.692', 'learning_rate': '0.0006', 'epoch': '0.7374'}                                                                                                                                                        
{'loss': '3.504', 'grad_norm': '1.623', 'learning_rate': '0.0006', 'epoch': '0.74'}                                                                                                                                                          
{'loss': '3.507', 'grad_norm': '1.438', 'learning_rate': '0.0006', 'epoch': '0.7426'}                                                                                                                                                        
{'loss': '3.501', 'grad_norm': '1.341', 'learning_rate': '0.0006', 'epoch': '0.7452'}                                                                                                                                                        
{'loss': '3.496', 'grad_norm': '1.161', 'learning_rate': '0.0006', 'epoch': '0.7479'}                                                                                                                                                        
{'loss': '3.5', 'grad_norm': '1.286', 'learning_rate': '0.0006', 'epoch': '0.7505'}                                                                                                                                                          
{'loss': '3.502', 'grad_norm': '1.214', 'learning_rate': '0.0006', 'epoch': '0.7531'}                                                                                                                                                        
{'loss': '3.499', 'grad_norm': '1.186', 'learning_rate': '0.0006', 'epoch': '0.7557'}                                                                                                                                                        
{'loss': '3.496', 'grad_norm': '1.328', 'learning_rate': '0.0006', 'epoch': '0.7584'}                                                                                                                                                        
{'loss': '3.493', 'grad_norm': '1.377', 'learning_rate': '0.0006', 'epoch': '0.761'}                                                                                                                                                         
{'loss': '3.501', 'grad_norm': '1.249', 'learning_rate': '0.0006', 'epoch': '0.7636'}                                                                                                                                                        
{'loss': '3.5', 'grad_norm': '1.148', 'learning_rate': '0.0006', 'epoch': '0.7662'}                                                                                                                                                          
{'loss': '3.494', 'grad_norm': '1.305', 'learning_rate': '0.0006', 'epoch': '0.7688'}                                                                                                                                                        
{'loss': '3.497', 'grad_norm': '1.639', 'learning_rate': '0.0006', 'epoch': '0.7715'}                                                                                                                                                        
{'loss': '3.499', 'grad_norm': '1.366', 'learning_rate': '0.0006', 'epoch': '0.7741'}                                                                                                                                                        
{'loss': '3.493', 'grad_norm': '1.519', 'learning_rate': '0.0006', 'epoch': '0.7767'}                                                                                                                                                        
{'loss': '3.496', 'grad_norm': '1.129', 'learning_rate': '0.0006', 'epoch': '0.7793'}                                                                                                                                                        
{'loss': '3.496', 'grad_norm': '1.338', 'learning_rate': '0.0006', 'epoch': '0.782'}                                                                                                                                                         
{'loss': '3.502', 'grad_norm': '1.582', 'learning_rate': '0.0006', 'epoch': '0.7846'}                                                                                                                                                        
{'loss': '3.489', 'grad_norm': '1.458', 'learning_rate': '0.0006', 'epoch': '0.7872'}                                                                                                                                                        
{'eval_loss': '3.501', 'eval_runtime': '4.89', 'eval_samples_per_second': '998.3', 'eval_steps_per_second': '15.75', 'epoch': '0.7872'}                                                                                                      
Writing model shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 317.20it/s]
{'loss': '3.492', 'grad_norm': '1.1', 'learning_rate': '0.0006', 'epoch': '0.7898'}                                                                                                                                                          
{'loss': '3.488', 'grad_norm': '1.311', 'learning_rate': '0.0006', 'epoch': '0.7925'}                                                                                                                                                        
{'loss': '3.495', 'grad_norm': '1.351', 'learning_rate': '0.0006', 'epoch': '0.7951'}                                                                                                                                                        
{'loss': '3.49', 'grad_norm': '1.212', 'learning_rate': '0.0006', 'epoch': '0.7977'}                                                                                                                                                         
{'loss': '3.49', 'grad_norm': '1.339', 'learning_rate': '0.0005783', 'epoch': '0.8003'}                                                                                                                                                      
{'loss': '3.488', 'grad_norm': '1.22', 'learning_rate': '0.0005279', 'epoch': '0.803'}                                                                                                                                                       
{'loss': '3.482', 'grad_norm': '1.23', 'learning_rate': '0.0005004', 'epoch': '0.8056'}                                                                                                                                                      
{'loss': '3.477', 'grad_norm': '1.226', 'learning_rate': '0.000479', 'epoch': '0.8082'}                                                                                                                                                      
{'loss': '3.48', 'grad_norm': '1.078', 'learning_rate': '0.0004608', 'epoch': '0.8108'}                                                                                                                                                      
{'loss': '3.477', 'grad_norm': '1.355', 'learning_rate': '0.0004448', 'epoch': '0.8135'}                                                                                                                                                     
{'loss': '3.479', 'grad_norm': '1.367', 'learning_rate': '0.0004303', 'epoch': '0.8161'}                                                                                                                                                     
{'loss': '3.473', 'grad_norm': '1.039', 'learning_rate': '0.0004169', 'epoch': '0.8187'}                                                                                                                                                     
{'loss': '3.471', 'grad_norm': '1.323', 'learning_rate': '0.0004044', 'epoch': '0.8213'}                                                                                                                                                     
{'loss': '3.47', 'grad_norm': '1.047', 'learning_rate': '0.0003927', 'epoch': '0.824'}                                                                                                                                                       
{'loss': '3.466', 'grad_norm': '1.248', 'learning_rate': '0.0003816', 'epoch': '0.8266'}                                                                                                                                                     
{'loss': '3.47', 'grad_norm': '1.436', 'learning_rate': '0.000371', 'epoch': '0.8292'}                                                                                                                                                       
{'loss': '3.465', 'grad_norm': '1.041', 'learning_rate': '0.0003609', 'epoch': '0.8318'}                                                                                                                                                     
{'loss': '3.467', 'grad_norm': '1.227', 'learning_rate': '0.0003513', 'epoch': '0.8344'}                                                                                                                                                     
{'loss': '3.461', 'grad_norm': '1.486', 'learning_rate': '0.0003419', 'epoch': '0.8371'}                                                                                                                                                     
{'loss': '3.467', 'grad_norm': '1.13', 'learning_rate': '0.0003329', 'epoch': '0.8397'}                                                                                                                                                      
{'eval_loss': '3.47', 'eval_runtime': '4.885', 'eval_samples_per_second': '999.4', 'eval_steps_per_second': '15.76', 'epoch': '0.8397'}                                                                                                      
{'loss': '3.467', 'grad_norm': '0.9442', 'learning_rate': '0.0003242', 'epoch': '0.8423'}                                                                                                                                                    
{'loss': '3.461', 'grad_norm': '1.174', 'learning_rate': '0.0003158', 'epoch': '0.8449'}                                                                                                                                                     
{'loss': '3.459', 'grad_norm': '0.9959', 'learning_rate': '0.0003076', 'epoch': '0.8476'}                                                                                                                                                    
{'loss': '3.458', 'grad_norm': '1.05', 'learning_rate': '0.0002996', 'epoch': '0.8502'}                                                                                                                                                      
{'loss': '3.46', 'grad_norm': '1.105', 'learning_rate': '0.0002919', 'epoch': '0.8528'}                                                                                                                                                      
{'loss': '3.461', 'grad_norm': '1.051', 'learning_rate': '0.0002843', 'epoch': '0.8554'}                                                                                                                                                     
{'loss': '3.452', 'grad_norm': '1.088', 'learning_rate': '0.0002769', 'epoch': '0.8581'}                                                                                                                                                     
{'loss': '3.461', 'grad_norm': '1.11', 'learning_rate': '0.0002697', 'epoch': '0.8607'}                                                                                                                                                      
{'loss': '3.454', 'grad_norm': '0.9466', 'learning_rate': '0.0002626', 'epoch': '0.8633'}                                                                                                                                                    
{'loss': '3.451', 'grad_norm': '1.007', 'learning_rate': '0.0002557', 'epoch': '0.8659'}                                                                                                                                                     
{'loss': '3.455', 'grad_norm': '0.9655', 'learning_rate': '0.0002489', 'epoch': '0.8686'}                                                                                                                                                    
{'loss': '3.447', 'grad_norm': '1.387', 'learning_rate': '0.0002422', 'epoch': '0.8712'}                                                                                                                                                     
{'loss': '3.451', 'grad_norm': '0.857', 'learning_rate': '0.0002357', 'epoch': '0.8738'}                                                                                                                                                     
{'loss': '3.449', 'grad_norm': '0.9911', 'learning_rate': '0.0002293', 'epoch': '0.8764'}                                                                                                                                                    
{'loss': '3.453', 'grad_norm': '0.9967', 'learning_rate': '0.0002229', 'epoch': '0.8791'}                                                                                                                                                    
{'loss': '3.451', 'grad_norm': '0.9249', 'learning_rate': '0.0002167', 'epoch': '0.8817'}                                                                                                                                                    
{'loss': '3.45', 'grad_norm': '1.054', 'learning_rate': '0.0002106', 'epoch': '0.8843'}                                                                                                                                                      
{'loss': '3.447', 'grad_norm': '0.9105', 'learning_rate': '0.0002046', 'epoch': '0.8869'}                                                                                                                                                    
{'loss': '3.449', 'grad_norm': '1.046', 'learning_rate': '0.0001987', 'epoch': '0.8896'}                                                                                                                                                     
{'loss': '3.45', 'grad_norm': '0.922', 'learning_rate': '0.0001928', 'epoch': '0.8922'}                                                                                                                                                      
{'eval_loss': '3.452', 'eval_runtime': '4.868', 'eval_samples_per_second': '1003', 'eval_steps_per_second': '15.82', 'epoch': '0.8922'}                                                                                                      
{'loss': '3.441', 'grad_norm': '0.9974', 'learning_rate': '0.0001871', 'epoch': '0.8948'}                                                                                                                                                    
{'loss': '3.444', 'grad_norm': '1.067', 'learning_rate': '0.0001814', 'epoch': '0.8974'}                                                                                                                                                     
{'loss': '3.443', 'grad_norm': '1.113', 'learning_rate': '0.0001758', 'epoch': '0.9'}                                                                                                                                                        
{'loss': '3.442', 'grad_norm': '1.111', 'learning_rate': '0.0001703', 'epoch': '0.9027'}                                                                                                                                                     
{'loss': '3.437', 'grad_norm': '1.144', 'learning_rate': '0.0001648', 'epoch': '0.9053'}                                                                                                                                                     
{'loss': '3.437', 'grad_norm': '0.9689', 'learning_rate': '0.0001594', 'epoch': '0.9079'}                                                                                                                                                    
{'loss': '3.434', 'grad_norm': '0.9649', 'learning_rate': '0.0001541', 'epoch': '0.9105'}                                                                                                                                                    
{'loss': '3.438', 'grad_norm': '0.9678', 'learning_rate': '0.0001488', 'epoch': '0.9132'}                                                                                                                                                    
{'loss': '3.438', 'grad_norm': '1.095', 'learning_rate': '0.0001436', 'epoch': '0.9158'}                                                                                                                                                     
{'loss': '3.437', 'grad_norm': '0.9392', 'learning_rate': '0.0001385', 'epoch': '0.9184'}                                                                                                                                                    
{'loss': '3.439', 'grad_norm': '0.9008', 'learning_rate': '0.0001334', 'epoch': '0.921'}                                                                                                                                                     
{'loss': '3.433', 'grad_norm': '0.9245', 'learning_rate': '0.0001283', 'epoch': '0.9237'}                                                                                                                                                    
{'loss': '3.433', 'grad_norm': '0.836', 'learning_rate': '0.0001234', 'epoch': '0.9263'}                                                                                                                                                     
{'loss': '3.439', 'grad_norm': '1.172', 'learning_rate': '0.0001184', 'epoch': '0.9289'}                                                                                                                                                     
{'loss': '3.434', 'grad_norm': '0.8912', 'learning_rate': '0.0001136', 'epoch': '0.9315'}                                                                                                                                                    
{'loss': '3.433', 'grad_norm': '0.829', 'learning_rate': '0.0001087', 'epoch': '0.9342'}                                                                                                                                                     
{'loss': '3.435', 'grad_norm': '1.049', 'learning_rate': '0.0001039', 'epoch': '0.9368'}                                                                                                                                                     
{'loss': '3.43', 'grad_norm': '0.9041', 'learning_rate': '9.92e-05', 'epoch': '0.9394'}                                                                                                                                                      
{'loss': '3.432', 'grad_norm': '0.8179', 'learning_rate': '9.451e-05', 'epoch': '0.942'}                                                                                                                                                     
{'loss': '3.437', 'grad_norm': '0.8509', 'learning_rate': '8.986e-05', 'epoch': '0.9447'}                                                                                                                                                    
{'eval_loss': '3.438', 'eval_runtime': '4.859', 'eval_samples_per_second': '1005', 'eval_steps_per_second': '15.85', 'epoch': '0.9447'}                                                                                                      
{'loss': '3.43', 'grad_norm': '0.8434', 'learning_rate': '8.525e-05', 'epoch': '0.9473'}                                                                                                                                                     
{'loss': '3.428', 'grad_norm': '0.8503', 'learning_rate': '8.068e-05', 'epoch': '0.9499'}                                                                                                                                                    
{'loss': '3.428', 'grad_norm': '0.8723', 'learning_rate': '7.615e-05', 'epoch': '0.9525'}                                                                                                                                                    
{'loss': '3.429', 'grad_norm': '0.8319', 'learning_rate': '7.166e-05', 'epoch': '0.9552'}                                                                                                                                                    
{'loss': '3.432', 'grad_norm': '0.7774', 'learning_rate': '6.721e-05', 'epoch': '0.9578'}                                                                                                                                                    
{'loss': '3.43', 'grad_norm': '0.9543', 'learning_rate': '6.28e-05', 'epoch': '0.9604'}                                                                                                                                                      
{'loss': '3.431', 'grad_norm': '0.7796', 'learning_rate': '5.842e-05', 'epoch': '0.963'}                                                                                                                                                     
{'loss': '3.425', 'grad_norm': '0.8253', 'learning_rate': '5.408e-05', 'epoch': '0.9657'}                                                                                                                                                    
{'loss': '3.427', 'grad_norm': '0.7783', 'learning_rate': '4.977e-05', 'epoch': '0.9683'}                                                                                                                                                    
{'loss': '3.423', 'grad_norm': '0.8057', 'learning_rate': '4.549e-05', 'epoch': '0.9709'}                                                                                                                                                    
{'loss': '3.424', 'grad_norm': '0.8209', 'learning_rate': '4.125e-05', 'epoch': '0.9735'}                                                                                                                                                    
{'loss': '3.423', 'grad_norm': '0.8969', 'learning_rate': '3.704e-05', 'epoch': '0.9761'}                                                                                                                                                    
{'loss': '3.42', 'grad_norm': '0.759', 'learning_rate': '3.286e-05', 'epoch': '0.9788'}                                                                                                                                                      
{'loss': '3.425', 'grad_norm': '0.7519', 'learning_rate': '2.871e-05', 'epoch': '0.9814'}                                                                                                                                                    
{'loss': '3.422', 'grad_norm': '0.7159', 'learning_rate': '2.459e-05', 'epoch': '0.984'}                                                                                                                                                     
{'loss': '3.421', 'grad_norm': '0.6734', 'learning_rate': '2.05e-05', 'epoch': '0.9866'}                                                                                                                                                     
{'loss': '3.426', 'grad_norm': '0.7075', 'learning_rate': '1.644e-05', 'epoch': '0.9893'}                                                                                                                                                    
{'loss': '3.421', 'grad_norm': '0.7579', 'learning_rate': '1.241e-05', 'epoch': '0.9919'}                                                                                                                                                    
{'loss': '3.42', 'grad_norm': '1.06', 'learning_rate': '8.403e-06', 'epoch': '0.9945'}                                                                                                                                                       
{'loss': '3.418', 'grad_norm': '0.7073', 'learning_rate': '4.425e-06', 'epoch': '0.9971'}                                                                                                                                                    
{'eval_loss': '3.428', 'eval_runtime': '4.895', 'eval_samples_per_second': '997.3', 'eval_steps_per_second': '15.73', 'epoch': '0.9971'}                                                                                                     
{'loss': '3.419', 'grad_norm': '0.6727', 'learning_rate': '4.725e-07', 'epoch': '0.9998'}                                                                                                                                                    
{'eval_loss': '3.428', 'eval_runtime': '4.859', 'eval_samples_per_second': '1005', 'eval_steps_per_second': '15.85', 'epoch': '1'}                                                                                                           
Writing model shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 270.11it/s]
{'train_runtime': '1.356e+04', 'train_samples_per_second': '359.8', 'train_steps_per_second': '1.406', 'train_loss': '3.79', 'epoch': '1'}                                                                                                   
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 19055/19055 [3:45:57<00:00,  1.41it/s]
Writing model shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 322.34it/s]
[*] done