We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
qwen大模型目前用下来是国内非常好的模型,在qwen.cpp之前直接用HF的transformer效果有限,token速度慢尤其是最后一些tokens极慢。在cpp出来后有如神助,能充分发挥qwen模型(尤其是14b以上的模型),自己测下来比其他国内大模型好用。
qwen.cpp也有些bug,大家在issue中有提及,可惜团队目前不打算更新cpp了?
qwen cpp merge到llama cpp后,没有什么好的python binding。llama-cpp-python适配起来效果有限,而且同样的prompt,尤其在长context情况下,该binder输出很差,无法与qwen cpp比,目前我已放弃。
如果没有好的binder,会影响大家使用qwen大模型。希望团队能考虑继续支持qwen cpp!
The text was updated successfully, but these errors were encountered:
不如希望chatglm.cpp可以支持qwen,官方的也没怎么更新
Sorry, something went wrong.
刚去留了言,希望能够支持qwen模型。 li-plus/chatglm.cpp#146
真可惜,qwen模型目前在中文效果真算不错的,可惜官方不重视qwen.cpp,直接用transformer调用qwen太慢。我已经在测试其他模型看看能否替代。希望官方能重视qwen cpp。 @simonJJJ
No branches or pull requests
qwen大模型目前用下来是国内非常好的模型,在qwen.cpp之前直接用HF的transformer效果有限,token速度慢尤其是最后一些tokens极慢。在cpp出来后有如神助,能充分发挥qwen模型(尤其是14b以上的模型),自己测下来比其他国内大模型好用。
qwen.cpp也有些bug,大家在issue中有提及,可惜团队目前不打算更新cpp了?
qwen cpp merge到llama cpp后,没有什么好的python binding。llama-cpp-python适配起来效果有限,而且同样的prompt,尤其在长context情况下,该binder输出很差,无法与qwen cpp比,目前我已放弃。
如果没有好的binder,会影响大家使用qwen大模型。希望团队能考虑继续支持qwen cpp!
The text was updated successfully, but these errors were encountered: