如何根据显卡配置选择合适尺寸的大模型

一般地，应选择尺寸小于显存的大模型版本。

譬如，显存 8GB，选择尺寸为 5.2GB 的 deepseek-r1:8b。

这样，整个大模型都能被完整地读取到显存中。

若选择 9.0GB 的 deepseek-r1:14b，则会因显存不足，导致生成过程中频繁对内存甚至磁盘进行读取，甚至会让 CPU 参与其中。

显卡的算力影响生成的速度，模型的参数决定生成的质量。

另外经实测，在 /api/generate 接口的 format 参数中设置返回的 JSON 格式，会缩短生成时间，降低生成质量，可能的原因是强制格式限制了词汇选择空间。