如何根据显卡配置选择合适尺寸的大模型

一般地，应选择尺寸小于显存的大模型版本，且适当冗余。

譬如，显存 8GB，选择尺寸为 5.2GB 的 deepseek-r1:8b。

这样，整个大模型都能被完整地读取到显存中。

若选择 9.0GB 的 deepseek-r1:14b 则显存不足，Ollama 会自动调用系统内存和 CPU 来协同工作，导致推理速度显著下降。

显卡的算力影响生成的速度，模型的参数决定生成的质量。

另外经实测，在 /api/generate 接口的 format 参数中设置返回的 JSON 格式，会缩短生成时间，降低生成质量，可能的原因是强制格式限制了词汇选择空间。