Popular repositories

1. ChatGPTX-Uni ChatGPTX-Uni Public

   实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案，LLM-Base+LLM-X+Alpaca，初期，LLM-Base为Chatglm6B底座模型，LLM-X是LLAMA增强模型。该方案简易高效，目标是使此类语言模型能够低能耗广泛部署，并最终在小模型的基座上发生“智能涌现”，力图最小计算代价达成ChatGPT、GPT4、ChatRWKV等人类友好亲和效果。当…

   Python 119 9

2. MiniRWKV-4 MiniRWKV-4 Public

   实现Blip2RWKV+QFormer的多模态图文对话大模型，使用Two-Step Cognitive Psychology Prompt方法，仅3B参数的模型便能够出现类人因果思维链。对标MiniGPT-4，ImageBind等图文对话大语言模型，力求以更小的算力和资源实现更好的智能效果。

   Python 36 4

3. RingRWKV RingRWKV Public

   修复Transformer官方库中RWKV的适配问题，支持RWKV所有系列模型在转换后，通过RingRWKV库，与其他transfomer模型一样简单方便地部署和微调。

   Python 9 3

4. AgentsChainer-ALM AgentsChainer-ALM Public

   由RWKV\Fay\Wenda等多方联合打造的一体型高度拟人心智化的智能体工程，拥有与生物智能相似的脑神经科学结构原理机制与学习认知规律，同时是一款可用于研究各种人体或类人体行为及心理的模拟器，当前版本为ALM版，即Automatic learning machine

   4

5. MiLu-GPT MiLu-GPT Public

   麋鹿（MiLu），基于GPT2+BERT的语言模型，以少量的纯中文语料从头训练，验证小模型在ChatGPT类似友好能力

   Python 3 1

6. HF-For-RWKVWorld-LoraAlpaca HF-For-RWKVWorld-LoraAlpaca Public

   将RWKV World/World-CHN系列模型由原生pth转为HF格式，并进行基于peft库的Lora增量微调+Alpaca全量微调。

   Python 2 2