TECHALPACA / NOTES

笔记

记录观察、思考与工具,让零散的信息慢慢形成脉络。

返回机器人研究

AI··2 分钟阅读

vLLM:模型能回答问题之后

直接调用 Qwen 模型已经能得到答案,为什么还需要 vLLM?了解它之后,我开始把目光从模型会不会回答,转向怎样让模型稳定地服务更多人。