Ollama 使用集成显卡跑大模型怎么办?如何更改为用独立显卡运行?

Ollama 跑大模型生成太慢,未使用独立显卡 GPU 0 NVIDIA GPU,而 GPU 1 Intel Graphics 使用率 100%,内存几乎占满,CPU 使用率也异常高,怎么办?如何改为用英伟达独立显卡来跑?

打开 NVIDIA 控制面板(NVIDIA Control Panel),展开左侧菜单中的“3D 设置”,点击“管理 3D 设置”,切到“程序设置”选项卡,在下拉框中选择 llama-server.exe 这个程序,为此程序选择首选图形处理器改为“高性能 NVIDIA 处理器”,点击右下角的“应用”保存设置。

image.png

重启 Ollama。

使用 Ollama,即可在“NVIDIA GPU 活动”中看到 llama-server.exe。

image.png

xoyozo 2 小时前
转载请注明出处
可能相关的内容