请问如何自定义数据集，数据集量需要多大呢

[sh66666]

这是我定义的数据集，80条意义相同的问答，微调glm3，qwen7b都没有效果，这是为什么
希望大佬能教教我

[snowpalm]

我自己数据集是近600条数据（包含你是谁，来自哪里及什么能力和领域专业数据等），采用的是epoch num 30 及 LR学习率 1e-3采用LoRA微调方法，其它参数没调整，qwen7B-chat UI上的Chat或者Evaluate等都还可以，chatglm3-6b-chat在UI Chat上仅对你是谁等问答有效，其它无效果， 但Evaluate的输出效果还是较明显。 供参考。 Issue list中有个对chatglm3-6b的lora微调参数的解决方法，设定lora_rank 32， epoches 30，利用self-cognition数据集进行微调的有效，但对于我自己的数据集缺无效。 看来学习率调整有很大作用，仅供参考。

[sh66666]

glm3对自我认知理解的很好是吗，微调完成后对其他问题回答会有混乱是吗？qwen7bchat不会出现这种情况吗？
请问，你的数据是关于一个问题有许多条问答对，还是说对一个问题，使用一个或几个问答对进行微调就有效果？

[snowpalm]

我的试验evaluate结果，GLM3自我理解还是不错的，微调后其它问题是否混乱测试不多，但有回答问题出现中英文混合的乱象，原来用它自身的ptuning2微调，回答的确很混乱。 Qwen7b-chat微调后，UI上回答感觉还不错，包括python代码编写等能力。 我的数据集是相对简单的逐条问答形式，你提到的一个问题几个回答没试验过，但应该是有些训练数据集扩充的一种好方法，也谢谢提醒。仅供参考。

[statsmind]

请教一下，自定义数据集SFT训练时要不要把公开的数据集（比如 alpaca_zh）一起带上？我总担心数据量不够

[Egber1t]

按理说，做微调不需要很多的数据集，容易产生幻觉。如果有计算资源允许的话，先做预训练。然后小样本微调，接RW。或者预训练那步可以拿RAG代替