[RFC] 042 - Ollama client 请求优化

[arvinxx]

背景

之前支持了 Ollama 的服务端 docker 接入方案，最近 @cy948 在 client 端支持了 chat 接口调用，因此对 ollama 也同样放开了这个功能。但目前看下来 Ollama 客户端请求的用法下存在很多报错。

设计思路

之前做 ollama 的时候 ollama js sdk 还没有兼容 browser，所以使用了 openai 兼容的接口。但似乎这个接口在client调用下是失效的(原因还未知)。

而现在，ollama 的SDK 已经支持 client 调用，因此可以将原有的openai 兼容实现给改成 ollama 的自己的接口方案了。

进展

在 #2168 实施

[yangkang5303]

now you see the openAI style method is not responding content,HTTP 204
version: ollama 0.1.32 on windows

[arvinxx]

it seems that openai style method response is not affected by the OLLAMA_ORIGINS="*" ?

[PumpkinB0Y]

I think i face the same issues