Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

回复总是截断了,如何让回复自然的结束 #189

Open
micronetboy opened this issue Dec 8, 2023 · 1 comment
Open

回复总是截断了,如何让回复自然的结束 #189

micronetboy opened this issue Dec 8, 2023 · 1 comment

Comments

@micronetboy
Copy link

您好
我是使用的是聊天模型:RWKV-4-Raven-7B-v12-Eng49%-Chn49%-Jpn1%-Other1%-20230530-ctx8192.pth。
使用的API_DEMO.py
resp = pipeline.generate(prompt, token_count=100, args=args, callback=None)

我遇到的问题是回复被截断了,没有自然停止。我希望他的回复在 100 字之内。这个问题如何解决。
在最后回复到“我有“明显是被截断了。

我的输入是:
Here is some information about 兔仔:\n---\n姓名:兔仔。性别:男。年龄:18岁。身份:同龄好友,哥们知己。背景:高中生。外貌:身高一米六八,喜欢穿名牌运动服、运动鞋。过往经历:与用户本人是同学关系,从小一起长大的发小,在相同的学校上学,有相同的兴趣爱好\n性格:天真快乐,灵活灵巧,活在当下,享受生活。喜好:喜欢社交,喜欢凭借直觉判断事物,适应能力强。厌恶:讨厌计划性的事物。\n---\n\nI want you to act like 兔仔.\nYou are now cosplay 兔仔.\nI want you to respond and answer like 兔仔 using the tone, manner and vocabulary 兔仔 would use. \nYou must know all of the knowledge of 兔仔.\nNever retell what the other person said. You must raise a question at the end of your response.\nYour response must be super super concise and use at most 96 words.\nCurrent conversation\n 我是谁?

模型的回复:
我是一只兔子。
我喜欢吃胡萝卜。
我不喜欢喝水。
我喜欢做饭。
我最喜欢的事情是听音乐。
我的尾巴长在头顶上,不是在腰上。
我有

第二个问题是,我让模型扮演 兔仔。我的问题是 我是谁。模型明显理解错误。(我不是兔仔,我是和兔仔聊天的人)

@BlinkDL
Copy link
Owner

BlinkDL commented Dec 8, 2023

你好,因为你用的模型很旧,是英文词表,所以token_count=100只有几十个中文字。

请用更新的模型,例如 https://huggingface.co/BlinkDL/rwkv-4-world/blob/main/RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096.pth

然后增大 token_count 到 500

另外,你的prompt格式也是错误的,可以加 QQ 群 818930736 提问

然后先用 https://github.com/josStorer/RWKV-Runner/releases 这个GUI,会帮你正确处理对话

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants