这个需要什么配置合适？用一张A100 显卡跑的7B模型，80G显存用了10G，回答case中的怎么去北京 要60秒才返回结果

[MetaRunning]

RT

[Rayrtfr]

RT

使用加速方法，简单的可以试试vllm：https://github.com/LlamaFamily/Llama-Chinese/tree/main/inference-speed/GPU/vllm_example

[MetaRunning]

RT

使用加速方法，简单的可以试试vllm：https://github.com/LlamaFamily/Llama-Chinese/tree/main/inference-speed/GPU/vllm_example

好的，多谢。我试下看下效果。