ggml-model-q8_0_v2使用ollama部署出错

[mervyn81]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull）
• 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• 第三方插件问题：例如llama.cpp、text-generation-webui等，建议优先去对应的项目中查找解决方案。

问题类型

模型量化和部署

基础模型

Llama-3-Chinese-8B-Instruct（指令模型）

操作系统

Windows

详细描述问题

Modelfile文件:

FROM D:\LLM_Model\ggml-model-q8_0_v2.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
SYSTEM """You are a helpful assistant. 你是一个乐于助人的助手。"""
PARAMETER temperature 0.8
PARAMETER num_keep 30
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

[ymcui]

1. ollama什么版本？
2. 看错误提示，似乎是和你的文件路径有关系，你用双引号括起来？

[mervyn81]

1. ollama什么版本？
2. 看错误提示，似乎是和你的文件路径有关系，你用双引号括起来？

ollama按文档要求是v0.1.33, 就是今天看更新了v2然后下了模型去部署, 上次没出现这个问题, 一样的环境, 我又部署了一次上次的版本算v1吧还是可以部署成功的. 只是v2就是这样.

[ymcui]

在colab上试了一下，模型文件并没有问题。你检查一下模型下载是否完整（比如比对sha256值）？
另外也可以尝试更新到最新版0.1.34。
不太清楚你这个windows下是不是因为路径名/模型名问题导致的，第一条错误就是和路径相关的。

[mervyn81]

在colab上试了一下，模型文件并没有问题。你检查一下模型下载是否完整（比如比对sha256值）？ 另外也可以尝试更新到最新版0.1.34。 不太清楚你这个windows下是不是因为路径名/模型名问题导致的，第一条错误就是和路径相关的。

好的感谢.

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.