预训练base时的学习率多少

[OKC13]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull）
• 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• 第三方插件问题：例如llama.cpp、text-generation-webui等，建议优先去对应的项目中查找解决方案。

问题类型

模型训练与精调

基础模型

Llama-3-Chinese-8B（基座模型）

操作系统

None

详细描述问题

预训练base时的学习率多少？我在想参考下，设置sft学习率。谢谢

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）

[ymcui]

我们SFT阶段使用的学习率是1e-4，bs=1K，你可以根据实际情况调整（观察开发集loss等手段）。

[OKC13]

请问预训练的lr多大呢

…

---原始邮件--- 发件人: "Yiming ***@***.***> 发送时间: 2024年5月2日(周四) 上午9:51 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [ymcui/Chinese-LLaMA-Alpaca-3] 预训练base时的学习率多少 (Issue #18) 我们SFT阶段使用的学习率是1e-4，bs=1K，你可以根据实际情况调整（观察开发集loss等手段）。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.