并发请求得到的回复有差异

[ghntd]

我现在想要测试我的微调模型在lmdeploy框架下的性能指标，因此我非常需要lmdeploy推理框架进行稳定且一致的生成。我将api_server.py用于提供随机采样的random_seed 参数固定了下来，并且将温度设为0.01。我观察到这样的设置在串发请求下可以得到稳定的输出，然而当我进行异步并发测试时发现生成结果会有微小的变化。我想请教一下我该如何得到稳定的输出。