Logo Logo Logo
浅色
深色
跟随系统

博客 (8)

Ollama 使用笔记

一、安装 Ollama

从官网下载安装 Ollama。

你可以更改大模型存放目录，也可以开放远程访问。

查看版本号：

ollama --version


二、在 shell 中安装和运行模型

在 Models 中选择一个你想部署的模型，复制安装命令，并在终端中执行。

官方建议：应该至少有 8 GB 的 RAM 来运行 7b 版本，16 GB 的 RAM 来运行 13b 版本，32 GB 的 RAM 来运行 33b 版本。

本文以 deepseek-r1:7b 为例。

下载模型

ollama pull deepseek-r1:7b

Tip: 下载即将完成时速度可能会变得非常慢，只要按 Ctrl+C，再重新执行一次命令，就会继续正常下载。

显示模型信息

ollama show deepseek-r1:7b

运行模型（一次性响应）

ollama run deepseek-r1:7b "写一首诗"

运行模型（进入聊天模式）

ollama run deepseek-r1:7b

结束当前会话

/bye

列出所有模型

ollama list

列出当前加载的模型

ollama ps

停止当前正在运行的模型

ollama stop deepseek-r1:7b


三、使用 REST API 调用模型

修改端口

ollama serve --port 11434

/api/generate 接口：生成一次性响应

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:7b",
  "prompt":"为什么天空是蓝色的？"
}'

/api/chat 接口：与模型聊天

curl http://localhost:11434/api/chat -d '{
  "model": "deepseek-r1:7b",
  "messages": [
    { "role": "user", "content": "你好呀！" }
  ]
}'


四、在 .NET 中调用

1、直接 HTTP 调用（基础方案）

    创建 HttpClient，使用 PostAsJsonAsync 请求，使用 ReadFromJsonAsync 读取结果。

2、使用 OllamaSharp 库（推荐方案）

    创建 OllamaApiClient，使用 SelectedModel 设置模型，使用 GenerateAsync 获得结果。或创建对话 ollama.Chat()，并 Send 内容。

3、.NET Aspire 集成（企业级方案）

    适合微服务架构，结合容器化部署。


“OllamaSharp 库”和“.NET Aspire 集成”两种方案怎么选？

OllamaSharp 库：定位轻量级模型交互 SDK，适用于独立应用、微服务中的 AI 组件等场景，技术复度低，支持模型对话/生成/管理、流式响应、多模态支持，需自行实现监控、熔断。

.NET Aspire 集成：定位企业级云原生 AI 服务编排框架，适用于多服务协同的分布式系统，技术复度高，支持服务编排、健康检查、弹性伸缩、混合云部署，内置可观测性仪表盘、自动故障转移。

决策建议：初创项目用 OllamaSharp 快速试错，用户量破千后通过 Aspire 重构。两者并非互斥，可在 Aspire 中封装 OllamaSharp 客户端，兼顾灵活性与运维能力。

xoyozo 2 个月前
2,908
在 .NET Framework 中控制内存缓存（MemoryCache）实例的最大内存占用

在 .NET Framework 的缓存管理中，cacheMemoryLimitMegabytes 是一个关键配置属性，用于控制内存缓存（MemoryCache）实例的最大内存占用。以下是其具体用法及实现细节：

  1. 基本定义与作用

    • 功能：通过 cacheMemoryLimitMegabytes 可设置 MemoryCache 实例允许占用的最大内存（单位：MB）。若缓存数据超过此限制，系统会自动淘汰旧条目。

    • 默认值：默认值为 0，表示缓存基于计算机的物理内存自动管理（例如根据可用内存动态调整）。

  2. 配置方式

    • 通过配置文件（web.config）

      在 web.config 的 <system.runtime.caching> 节点下配置 namedCaches，示例：

      <configuration>
  <system.runtime.caching>
    <memoryCache>
      <namedCaches>
        <add 
          name="Default" 
          cacheMemoryLimitMegabytes="500" 
          physicalMemoryLimitPercentage="50" 
          pollingInterval="00:05:00" />
      </namedCaches>
    </memoryCache>
  </system.runtime.caching>
</configuration>

      参数说明：

      • cacheMemoryLimitMegabytes：最大内存限制（例如 500 表示 500MB）。

      • physicalMemoryLimitPercentage：允许使用的物理内存百分比（可选）。

      • pollingInterval：缓存清理策略的轮询间隔（例如每5分钟检查一次）。

    • 通过代码动态配置

      在初始化 MemoryCache 时，通过 NameValueCollection 传递参数：

      var config = new NameValueCollection
{
    { "cacheMemoryLimitMegabytes", "500" },
    { "physicalMemoryLimitPercentage", "50" },
    { "pollingInterval", "00:05:00" }
};
var cache = new MemoryCache("CustomCache", config);

      此方式适用于需要动态调整缓存策略的场景。

  3. 注意事项

    • 优先级规则：

      若同时配置了 cacheMemoryLimitMegabytes 和 physicalMemoryLimitPercentage，系统会选择两者中较小的值作为限制。

    • 分布式缓存兼容性：

      此属性仅适用于进程内缓存（如 MemoryCache），若使用 Redis 等分布式缓存需通过其独立配置管理内存。

    • 监控与调试：

      建议结合性能计数器（如 ASP.NET Applications 类别下的 Cache Total Entries）或日志记录模块（参考 web.config 的 <system.diagnostics> 配置）监控实际内存占用。

  4. 应用场景示例

    场景：一个电商网站需要缓存商品目录数据，限制最大内存为 1GB。

    配置实现：

    <add 
  name="ProductCatalogCache" 
  cacheMemoryLimitMegabytes="1024" 
  pollingInterval="00:10:00" />

    代码调用：

    var productCatalog = MemoryCache.Default["ProductCatalog"];

  5. 常见问题

    1. Q：设置为 0 时缓存会无限制增长吗？

      A：不会。此时缓存基于系统物理内存动态管理，通常上限为总内存的 70%-90%。

    2. Q：如何验证配置已生效？

      A：可通过 MemoryCache.GetCount() 统计条目数量，或使用性能监视器跟踪内存占用。

xoyozo 5 个月前
608
ASP.NET Core 3.0 缓存（Cache）之 MySQL 缓存

ASP.NET Core 缓存 Caching 提供了包括但不限于以下几种存储方式：

内存缓存：https://xoyozo.net/Blog/Details/aspnetcore-memory-cache

SQL Server 缓存：https://xoyozo.net/Blog/Details/aspnetcore-sql-cache

Redis 缓存：https://xoyozo.net/Blog/Details/aspnetcore-redis-cache

MySQL 缓存：https://xoyozo.net/Blog/Details/aspnetcore-mysql-cache


Nuget 安装：Pomelo.Extensions.Caching.MySql

Nuget 安装：Pomelo.Extensions.Caching.MySqlConfig.Tools（用于在 MySql 数据库中创建表和索引以进行分布式缓存的命令行工具(dotnet-mysql-cache)）

2019.11 MySqlConfig.Tools 最新版本（2.0.2）不支持 .NetCore 3.0，暂时可手动创建表和索引。

2021.11 MySqlConfig.Tools 最新版（2.1.0）不支持 .Net 6.0。


未完待续，后续步骤类似于：https://xoyozo.net/Blog/Details/aspnetcore-sql-cache

services.AddDistributedMySqlCache()

xoyozo 6 年前
7,915
ASP.NET Core 3.0 使用 Redis 保存会话状态（Session State）

按这两篇文章部署即可：

ASP.NET Core 缓存（Cache）之 Redis 缓存

ASP.NET Core 会话状态（Session State）


存储内容示例：

image.png

图中，

第 1 项为浏览器 A 中，在 Session 中设置键 count 值为 1 的结果；

第 2 项为浏览器 B 中，在 Session 中设置键 count 值为 3 的结果；

而第 3 项为设置 Cache 键 count 值为 8 的结果。


xoyozo 6 年前
6,688
ASP.NET Core 3.0 使用 SQL Server 数据库保存会话状态（Session State）

按这两篇文章部署即可：

ASP.NET Core 缓存（Cache）之 SQL Server 缓存

ASP.NET Core 会话状态（Session State）


存储内容示例：

image.png

图中，

第 1 项为浏览器 A 中，在 Session 中设置键 count 值为 3 的结果；

第 3 项为浏览器 B 中，在 Session 中设置键 count 值为 1 的结果；

而第 2 项为设置 Cache 键 count 值为 5 的结果。

xoyozo 6 年前
5,173
ASP.NET Core 3.0 缓存（Cache）之 SQL Server 缓存

ASP.NET Core 缓存 Caching 提供了包括但不限于以下几种存储方式：

内存缓存：https://xoyozo.net/Blog/Details/aspnetcore-memory-cache

SQL Server 缓存：https://xoyozo.net/Blog/Details/aspnetcore-sql-cache

Redis 缓存：https://xoyozo.net/Blog/Details/aspnetcore-redis-cache

MySQL 缓存：https://xoyozo.net/Blog/Details/aspnetcore-mysql-cache


Nuget 安装：Microsoft.Extensions.Caching.SqlServer

执行 .NET Core CLI 命令，在数据库中创建表“TestCache” 

dotnet sql-cache create "数据库连接字符串" dbo TestCache

若提示

找不到 "dotnet sql-cache" 命令，请运行以下命令进行安装

则运行 

dotnet tool install --global dotnet-sql-cache

表和索引创建成功提示：

Table and index were created successfully.

表结构：

image.png

在 Startup.cs 文件的方法 ConfigureServices() 中添加： 

services.AddDistributedSqlServerCache(options =>
{
    options.ConnectionString = "数据库连接字符串";
    options.SchemaName = "dbo";
    options.TableName = "TestCache";
});

在控制器中注入 IDistributedCache：

public class TestController : Controller
{
    private readonly IDistributedCache cache;

    public TestController(IDistributedCache cache)
    {
        this.cache = cache;
    }

    public IActionResult Index()
    {
        string k = "count";
        int v = Convert.ToInt32(cache.GetString(k));
        v++;
        cache.SetString(k, v.ToString());
        return Content(v.ToString());
    }
}

结果：

image.png

更多用法详见官方文档：https://docs.microsoft.com/zh-cn/aspnet/core/performance/caching/distributed?view=aspnetcore-3.0


若要实现将 Session 保存至 SQL Server 中，参此文：https://xoyozo.net/Blog/Details/aspnetcore-session-sql

xoyozo 6 年前
7,435
ASP.NET Core 3.0 缓存（Cache）之 Redis 缓存

ASP.NET Core 缓存 Caching 提供了包括但不限于以下几种存储方式：

内存缓存：https://xoyozo.net/Blog/Details/aspnetcore-memory-cache

SQL Server 缓存：https://xoyozo.net/Blog/Details/aspnetcore-sql-cache

Redis 缓存：https://xoyozo.net/Blog/Details/aspnetcore-redis-cache

MySQL 缓存：https://xoyozo.net/Blog/Details/aspnetcore-mysql-cache


Nuget 安装：Microsoft.Extensions.Caching.StackExchangeRedis

在 Startup.cs 文件的方法 ConfigureServices() 中添加：

services.AddStackExchangeRedisCache(options =>
{
    // 连接字符串
    options.Configuration = "192.168.111.134,password=aW1HAyupRKmiZn3Q";
    // 键名前缀
    options.InstanceName = "xoyozo_";
});

在控制器中注入 IDistributedCache：

public class TestController : Controller
{
    private readonly IDistributedCache cache;

    public TestController(IDistributedCache cache)
    {
        this.cache = cache;
    }

    public IActionResult Index()
    {
        string k = "count";
        int v = Convert.ToInt32(cache.GetString(k));
        v++;
        cache.SetString(k, v.ToString());
        return Content(v.ToString());
    }
}

结果：

image.png

更多用法详见官方文档：https://docs.microsoft.com/zh-cn/aspnet/core/performance/caching/distributed?view=aspnetcore-3.0


注：.NET 6 已不支持 Redis on Windows 3.0。


经过以上配置，Session 也会保存到 Redis 中，键名是 前缀_Guid 格式。

关于 Session，参此文：https://xoyozo.net/Blog/Details/aspnetcore-session-redis

xoyozo 6 年前
6,587
ASP.NET Core 3.0 缓存（Cache）之内存缓存（Memory Cache）

ASP.NET Core 缓存 Caching 提供了包括但不限于以下几种存储方式：

内存缓存：https://xoyozo.net/Blog/Details/aspnetcore-memory-cache

SQL Server 缓存：https://xoyozo.net/Blog/Details/aspnetcore-sql-cache

Redis 缓存：https://xoyozo.net/Blog/Details/aspnetcore-redis-cache

MySQL 缓存：https://xoyozo.net/Blog/Details/aspnetcore-mysql-cache


本文介绍内存缓存

Memory Caching

1.新建一个 ASP.NET Core 项目，选择 Web 应用程序，将身份验证 改为 不进行身份验证。

2.添加引用

Install-Package Microsoft.Extensions.Caching.Memory

3.使用

在 Startup.cs 中 ConfigureServices

public void ConfigureServices(IServiceCollection services)
{
    services.AddMemoryCache();
    // Add framework services.
    services.AddMvc();
}

然后在

public class HomeController : Controller
{
    private IMemoryCache _memoryCache;
    public HomeController(IMemoryCache memoryCache)
    {
        _memoryCache = memoryCache;
    }

    public IActionResult Index()
    {
        string cacheKey = "key";
        string result;
        if (!_memoryCache.TryGetValue(cacheKey, out result))
        {
            result = $"LineZero{DateTime.Now}";
            _memoryCache.Set(cacheKey, result);
        }
        ViewBag.Cache = result;
        return View();
    }
}

这里是简单使用，直接设置缓存。

我们还可以加上过期时间，以及移除缓存,还可以在移除时回掉方法。

过期时间支持相对和绝对。

下面是详细的各种用法。

public IActionResult Index()
{
    string cacheKey = "key";
    string result;
    if (!_memoryCache.TryGetValue(cacheKey, out result))
    {
        result = $"LineZero{DateTime.Now}";
        _memoryCache.Set(cacheKey, result);
        //设置相对过期时间2分钟
        _memoryCache.Set(cacheKey, result, new MemoryCacheEntryOptions()
            .SetSlidingExpiration(TimeSpan.FromMinutes(2)));
        //设置绝对过期时间2分钟
        _memoryCache.Set(cacheKey, result, new MemoryCacheEntryOptions()
            .SetAbsoluteExpiration(TimeSpan.FromMinutes(2)));
        //移除缓存
        _memoryCache.Remove(cacheKey);
        //缓存优先级 （程序压力大时，会根据优先级自动回收）
        _memoryCache.Set(cacheKey, result, new MemoryCacheEntryOptions()
            .SetPriority(CacheItemPriority.NeverRemove));
        //缓存回调 10秒过期会回调
        _memoryCache.Set(cacheKey, result, new MemoryCacheEntryOptions()
            .SetAbsoluteExpiration(TimeSpan.FromSeconds(10))
            .RegisterPostEvictionCallback((key, value, reason, substate) =>
            {
                Console.WriteLine($"键{key}值{value}改变，因为{reason}");
            }));
        //缓存回调 根据Token过期
        var cts = new CancellationTokenSource();
        _memoryCache.Set(cacheKey, result, new MemoryCacheEntryOptions()
            .AddExpirationToken(new CancellationChangeToken(cts.Token))
            .RegisterPostEvictionCallback((key, value, reason, substate) =>
            {
                Console.WriteLine($"键{key}值{value}改变，因为{reason}");
            }));
        cts.Cancel();
    }
    ViewBag.Cache = result;
    return View();
}


Distributed Cache Tag Helper

在 ASP.NET Core MVC 中有一个 Distributed Cache 我们可以使用。

我们直接在页面上增加 distributed-cache 标签即可。

<distributed-cache name="mycache" expires-after="TimeSpan.FromSeconds(10)">
    <p>缓存项10秒过期-LineZero</p>
    @DateTime.Now
</distributed-cache>
<distributed-cache name="mycachenew" expires-sliding="TimeSpan.FromSeconds(10)">
    <p>缓存项有人访问就不会过期，无人访问10秒过期-LineZero</p>
    @DateTime.Now
</distributed-cache>

这样就能缓存标签内的内容。


L
转自 LineZero 6 年前
8,765
1

大家在看

macOS 版本及兼容的 Mac 机型
如何更改 Ollama 的大模型存放位置
错误：.NET SDK 的版本至少需要 MSBuild 的版本
“安装 VMware Tools”灰色不可用解决办法
Windows 11 资源管理器不显示视频封面预览图的解决办法

最新发布

在宝塔Linux面板中添加Net项目
hosts 配置不对 resty.http 生效
Windows Server 无法安装 Synology Drive Client 的解决办法
用 AutoUpdater.NET 实现 .NET 桌面应用程序（Windows 窗体、WPF）自动更新
关于海康威视监控摄像机与莹石云解绑