zero-lora零训练llm调参算法

工程案例参见：全球首个StableVicuna中文优化版。

https://github.com/ziwang-com/chinese-StableVicuna

整个项目，仅用半天时间，其中大部分时间花在格式转换方面，与zero-lora相关的环节，不到20%。

zero-loro零训练llm调参算法，属于zw团队在llm一线工程中，总结的实战算法，相关理论，正在摸索当中，欢迎llm领域的专家学者，共同探讨。

【智王AI资源库】

智王mini-AGI开源项目以及相关模块库，均在【智王AI资源库】提供免费下载。

百度网盘提取码：hiks

https://pan.baidu.com/s/1EH19ablXVLYQP1f-IaPS-Q?pwd=hiks

如有更改，最新下载地址请参见:

QQ群文件：655402626（GPT+千人QQ大群）

更多细节，参见公众号。欢迎加入：QQ群，微信群。

zero-lora零训练llm调参算法

所谓zero-lora调参，就是无需任何调参，直接采用，已经调整过的各种lora，与相关的llm模型，进行叠加，合成即可。

这个特别适合原版模型的汉化处理，可以把汉化包视为一个lora补丁。

虽然zw-sd-vicuna可能是llm第一个zero-lora工程案例，不过在AIGC绘图模型领域，已经有大量的第三方stable difusion绘图模型，是基于lora叠加模式。

优点：

• 算力成本只有传统lora调参的万分之一。
• 无需GPU计算，cpu即可，ram尽量大一点，推荐：i9，64G以上
• 已经有成功的工程案例：zw-sd-vicuna
• 可以使用线性数学，快速处理lora数据。
• 优化chatgpt训练模型矢量权重数据。
• 微调的低成本替代方案。
• 便于可视化分析，参见后文
• ......

关于zero-lora调参，目前也已经有不少第三方在研究，只不过角度不同，名称不同，其中的观点有：

• （相关资料稳定，已经上传到本项目网站）

• 论文《转向矢量与GPT优化》。 https://www.lesswrong.com/posts/5spBue2z2tw4JuDCx/steering-gpt-2-xl-by-adding-an-activation-vector

• 《[研究] 转向矢量》

  • ggerganov/llama.cpp#1460
  • ggerganov/llama.cpp#1472

• 《10 个 loras 在一个 ggml 文件中》

  • ggerganov/llama.cpp#1481

• 《Lora能在不同的大语言模型间交叉融合使用吗？》

  • https://github.com/StarRing2022/ChatGPTX-Uni

【可视化分析】

参见： ggerganov/llama.cpp#1472

代码#1，生成token数据

./bin/main --model ../models/llama-7b-q4_0.bin -n 32
--seed 123
--prompt "I want to kill you because you're such a"
--steering-add "I love you so much"
--steering-sub "I hate you so much"
--steering-source 1
--steering-layer 20
--steering-mul 2

代码#2，可视化分析

import numpy as np from matplotlib import pyplot as plt

steer = np.fromfile("~/src/llama.cpp/build/steering.bin", dtype=np.float32).reshape((512, -1))

fig, ax = plt.subplots(3) for i in range(0, len(ax)): ax[i].imshow(steer[3+i, :].reshape((32, -1)))

传统llm模型的lora调参训练，通常只有loss曲线，无法对具体token，进行深度的关联分析 ，情感分析。

以上图片，只是最简单的love和hate，两个不同情感单词，token语句的可视化分析。

下图，是论文《转向矢量与GPT优化》当中，关于“婚礼”一词不同layer的权重对比分析。

理论上，这方面有无限延展的空间，甚至可以衍生出一个完整的：可视化lora优化架构和理论体系。

TODO：

本文，可能是llm领域，首次正式提出zero-lora调参，这一概念，这也许，只是个开始。

关于zero-lora调参架构，还有相关的理论体系，有大量的工作，需要大家补充完善。 想刷高分paper，以及在GPT时代，寻找市场机会的llm创业团队，尽管放马过来。

根据AI一线工程经验，其中，比较急切的问题有：

• 各种不同模型架构的lora的归一化。sd绘图模型lora叠加之所以成为主流优化架构之一，其中最主要的原因就是，base-mode只有stable difusion一种，各种第三方优化模型权重，shape，size等参数统一，只需简单处理，即可以直接叠加。
• zero-lora架构，各个相关环节的梳理，优化。
• 可量化的评测指标，便于不同lora体系的整合。
• 完善zero-lora可视化模块。
• zero-lora相关理论体系研究。
• 基于时间（不同训练周期检查点）、空间（不同token权重对比）、深度（不同模型的tok权重映射）等多种维度的lora权重优化体系。
• 多模态lora权重优化体系。
• 集成TOT思维树等广义版本的zero-lora零训练llm优化技术，通过优化模型的逻辑流程，提高llm的实际推理能力。类似我们的logNET逻辑神经网络，如果能够集成专业知识库，更加理想。
• 。。。。。。

近期，zw团队正在升级m-f.vip元字库网站，尽快部署行业领先的：中文GPT和国际版GPT。 为方便国内广大个人用户，中小企业，创业团队，尽快体验GPT这一最新科技成果。 m-f.vip元字库网站，近期，将率先在国内推出低成本的GPT”百元包月“服务，不限流量，任意使用。