请问一下怎么使用本地的开源大模型/how to use local open source large models

[hydrogen1222]

请问如何使用gguf格式的开源大模型如Meta-Llama-3-8B-Instruct-Q4_K_M.gguf，感谢。
我不是相关方向的专业人士，只是一名外行学生，如有冒犯请多多包含。

Please tell me how to use open source large models in gguf format such as Meta-Llama-3-8B-Instruct-Q4_K_M.gguf. Thank you.
I am not a professional in the relevant field, just a lay student. Please forgive me if I am offended.

[Menghuan1918]

最简单的方式的话是使用ollama运行gguf格式，然后再参照：

#1740 (comment)

将ollama接入