<sft>llama3上下文支持好像有点问题

[ghtwf01]

Description

Link

No response

[zzhangpurdue]

你用的llama3么？是dashscope还是通过openaiapi的？
具体llama3的8b还是70b？

[ghtwf01]

你用的llama3么？是dashscope还是通过openaiapi的？ 具体llama3的8b还是70b？

我用的modelscope社区微信公众号文章(https://mp.weixin.qq.com/s/IuagQ-S_spbQRyVsJuFIkQ)里面训练好了的llama3-8B-Instruct-Agent模型，用的openaiapi

[zzhangpurdue]

之前训练的时候遇到过这个问题，我们也有过复现，8b上确实会存在这个问题，是模型能力的问题，我们接下来还会训练一个V2的版本，尽可能的在小模型上去掉这个问题。