稳定版本v0.5.0

bug修复

• 修复chatglm3的bug
• 修复save_pretrained时多文件的bug
• 修改Text2Vec的bug

新增小功能

• 增加CausalLMLoss
• 修改deepspeed的传参逻辑
• 完善openai client
• 增加get_weight_decay_optim_groups

稳定版本v0.4.9.post2

bug修复

• 修改repetition_penalty的bug
• 修复config_path的bug

功能优化

• attention中允许is_causal
• 把baichuan从llama中剥离

新增功能

• 增加get_weight_decay_optim_groups函数
• 允许num_key_value_heads参数
• torch4keras-v0.2.1更新特性

稳定版本v0.4.8

1. 🔥build_transformer_model允许从hf下载
2. fastapi发布服务允许闲时offload到cpu
3. 添加FillMask的pipeline
4. 添加SequenceClassificationTrainer

稳定版本v0.4.7

1. 修改save_pretrained用于保存文件夹
2. 增加GenerateSpeed用于统计token生成速度
3. 修复t5在use_states=True时候的错误
4. 修改层次编码的bug
5. 增加deepseek_moe模型
6. 修复generation并发错误，优化大模型耗时

稳定版本v0.4.6

• bug修复
• 增加save_pretrained用于保存transformer格式的权重,
• 增加部分embedding模型

稳定版本v0.4.5

• training时候不生成past_key_values
• 增加streamlit的example
• 修复句向量max时的bug
• batch_generate合并到generate
• 修改generation的默认参数名(兼容过去的参数名)
• 多轮对话中可保留past_key_values
• 把attention中的mask补齐逻辑移到apply_embedding中
• 增加uie的pipeline
• 增加PtuningV2Trainer

稳定版本v0.4.4

1. 新增pipelines模块，把chat整理进去
2. 并新增Text2Vec模块用于向量生成
3. 新增snapshot_download用于hf模型下载

稳定版本v0.4.3

在chat中增加常见chat模型, 简化大模型调用的代码逻辑

稳定版本v0.4.2

1. 参数checkpoint_path支持传入文件夹地址
2. 增加chat模块用于快速发布demo/api
3. 支持加载.safetensors
4. meta的device提示报错

稳定版本v0.4.1

1. 增加longlora
2. 增加test模块
3. 适配torch4keras==0.1.6(监控fit过程，有报错则发送邮件提醒; 解决torch2.0的compile冲突问题; 修复clip_grad_norm的bug)