Documentation | Bert4torch | Examples | Source code | build_MiniLLM_from_scratch

1. 下载安装

安装稳定版

pip install torch4keras

安装最新版

pip install git+https://github.com/Tongjilibo/torch4keras.git

2. 功能

• 简述：抽象出来的Trainer，适用于一般神经网络的训练，仅需关注网络结构代码

• 特色：进度条展示训练过程，自定义metric，自带Evaluator, Checkpoint, Tensorboard, Logger等Callback，也可自定义Callback

• 初衷：前期功能是作为bert4torch和rec4torch的Trainer

• 训练：

  2022-10-28 23:16:10 - Start Training
  2022-10-28 23:16:10 - Epoch: 1/5
  5000/5000 [==============================] - 13s 3ms/step - loss: 0.1351 - acc: 0.9601
  Evaluate: 100%|██████████████████████████████████████████████████| 2500/2500 [00:03<00:00, 798.09it/s] 
  test_acc: 0.98045. best_test_acc: 0.98045
  
  2022-10-28 23:16:27 - Epoch: 2/5
  5000/5000 [==============================] - 13s 3ms/step - loss: 0.0465 - acc: 0.9862
  Evaluate: 100%|██████████████████████████████████████████████████| 2500/2500 [00:03<00:00, 635.78it/s] 
  test_acc: 0.98280. best_test_acc: 0.98280
  
  2022-10-28 23:16:44 - Epoch: 3/5
  5000/5000 [==============================] - 15s 3ms/step - loss: 0.0284 - acc: 0.9915
  Evaluate: 100%|██████████████████████████████████████████████████| 2500/2500 [00:03<00:00, 673.60it/s] 
  test_acc: 0.98365. best_test_acc: 0.98365
  
  2022-10-28 23:17:03 - Epoch: 4/5
  5000/5000 [==============================] - 15s 3ms/step - loss: 0.0179 - acc: 0.9948
  Evaluate: 100%|██████████████████████████████████████████████████| 2500/2500 [00:03<00:00, 692.34it/s] 
  test_acc: 0.98265. best_test_acc: 0.98365
  
  2022-10-28 23:17:21 - Epoch: 5/5
  5000/5000 [==============================] - 14s 3ms/step - loss: 0.0129 - acc: 0.9958
  Evaluate: 100%|██████████████████████████████████████████████████| 2500/2500 [00:03<00:00, 701.77it/s] 
  test_acc: 0.98585. best_test_acc: 0.98585
  
  2022-10-28 23:17:37 - Finish Training
  

3. 快速上手

• 参考bert4torch的训练过程
• 简单示例: turorials_mnist

4. 版本历史

更新日期	版本	版本说明
20240418	v0.2.2	增加YamlConfig和IniConfig, 优化deepspeed的使用，修复_prepare_inputs的bug，修复断点续训SmoothMetricsCallback起点错误的bug, Trainer断点续训记录batch数
20240317	v0.2.1.post2	训练异常时保存权重，避免空数据集error，默认指标使用滑窗平滑，BaseModelDDP修改的更易用，mapping允许是函数更易用，Checkpoint增加save_on_train_end，增加SystemCallback，修改run_callback=False的bug, 适配build_MiniLLM_from_scratch, 修复ddp中mix_precision和torch重名的bug
20240221	v0.2.0	fit中修改.train()逻辑较少耗时

更多版本

5. 更新历史：

更多历史