博客 (62)

using Microsoft.AspNetCore.Mvc;
using Microsoft.EntityFrameworkCore;

namespace xxx.xxx.xxx.Controllers
{
    public class DiscuzTinyintViewerController : Controller
    {
        public IActionResult Index()
        {
            using var context = new Data.xxx.xxxContext();

            var conn = context.Database.GetDbConnection();
            conn.Open();
            using var cmd = conn.CreateCommand();
            cmd.CommandText = "SELECT `TABLE_NAME` FROM information_schema.TABLES WHERE TABLE_SCHEMA = DATABASE();";
            Dictionary<string, List<FieldType>?> tables = new();

            using var r = cmd.ExecuteReader();
            while (r.Read())
            {
                tables.Add((string)r["TABLE_NAME"], null);
            }
            conn.Close();

            foreach (var table in tables)
            {
                var conn2 = context.Database.GetDbConnection();
                conn2.Open();
                using var cmd2 = conn2.CreateCommand();
                cmd2.CommandText = "DESCRIBE " + table.Key;
                using var r2 = cmd2.ExecuteReader();
                List<FieldType> fields = new();
                while (r2.Read())
                {
                    if (((string)r2[1]).Contains("tinyint(1)"))
                    {
                        fields.Add(new()
                        {
                            Field = (string)r2[0],
                            Type = (string)r2[1],
                            Null = (string)r2[2],
                        });
                    }
                }
                conn2.Close();
                tables[table.Key] = fields;
            }

            foreach (var table in tables)
            {
                foreach (var f in table.Value)
                {
                    var conn3 = context.Database.GetDbConnection();
                    conn3.Open();
                    using var cmd3 = conn3.CreateCommand();
                    cmd3.CommandText = $"SELECT {f.Field} as F, COUNT({f.Field}) as C FROM {table.Key} GROUP BY {f.Field}";
                    using var r3 = cmd3.ExecuteReader();
                    List<FieldType.ValueCount> vs = new();
                    while (r3.Read())
                    {
                        vs.Add(new() { Value = Convert.ToString(r3["F"]), Count = Convert.ToInt32(r3["C"]) });
                    }
                    conn3.Close();
                    f.groupedValuesCount = vs;
                }
            }

            return Json(tables.Where(c => c.Value != null && c.Value.Count > 0));
        }

        private class FieldType
        {
            public string Field { get; set; }
            public string Type { get; set; }
            public string Null { get; set; }
            public List<ValueCount> groupedValuesCount { get; set; }
            public class ValueCount
            {
                public string Value { get; set; }
                public int Count { get; set; }
            }
            public string RecommendedType
            {
                get
                {
                    if (groupedValuesCount == null || groupedValuesCount.Count < 2)
                    {
                        return "无建议";
                    }
                    else if (groupedValuesCount.Count == 2 && groupedValuesCount.Any(c => c.Value == "0") && groupedValuesCount.Any(c => c.Value == "1"))
                    {
                        return "bool" + (Null == "YES" ? "?" : "");
                    }
                    else
                    {
                        return "sbyte" + (Null == "YES" ? "?" : "");
                    }
                }
            }
        }
    }
}

[{
	"key": "pre_forum_post",
	"value": [{
		"field": "first",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "0",
			"count": 1395501
		}, {
			"value": "1",
			"count": 179216
		}],
		"recommendedType": "bool"
	}, {
		"field": "invisible",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "-5",
			"count": 9457
		}, {
			"value": "-3",
			"count": 1412
		}, {
			"value": "-2",
			"count": 1122
		}, {
			"value": "-1",
			"count": 402415
		}, {
			"value": "0",
			"count": 1160308
		}, {
			"value": "1",
			"count": 3
		}],
		"recommendedType": "sbyte"
	}, {
		"field": "anonymous",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "0",
			"count": 1574690
		}, {
			"value": "1",
			"count": 27
		}],
		"recommendedType": "bool"
	}, {
		"field": "usesig",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "0",
			"count": 162487
		}, {
			"value": "1",
			"count": 1412230
		}],
		"recommendedType": "bool"
	}, {
		"field": "htmlon",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "0",
			"count": 1574622
		}, {
			"value": "1",
			"count": 95
		}],
		"recommendedType": "bool"
	}, {
		"field": "bbcodeoff",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "-1",
			"count": 935448
		}, {
			"value": "0",
			"count": 639229
		}, {
			"value": "1",
			"count": 40
		}],
		"recommendedType": "sbyte"
	}, {
		"field": "smileyoff",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "-1",
			"count": 1359482
		}, {
			"value": "0",
			"count": 215186
		}, {
			"value": "1",
			"count": 49
		}],
		"recommendedType": "sbyte"
	}, {
		"field": "parseurloff",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "0",
			"count": 1572844
		}, {
			"value": "1",
			"count": 1873
		}],
		"recommendedType": "bool"
	}, {
		"field": "attachment",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "0",
			"count": 1535635
		}, {
			"value": "1",
			"count": 2485
		}, {
			"value": "2",
			"count": 36597
		}],
		"recommendedType": "sbyte"
	}, {
		"field": "comment",
		"type": "tinyint(1)",
		"null": "NO",
		"groupedValuesCount": [{
			"value": "0",
			"count": 1569146
		}, {
			"value": "1",
			"count": 5571
		}],
		"recommendedType": "bool"
	}]
}]

测试表数据量 152 万条，测试跳过 100 万取 10 条。

测试一：直接使用 limit 跳过 1000000 取 10，耗时 2.4s；

SELECT *
FROM `pre_forum_post`
ORDER BY `pid`
LIMIT 1000000, 10
> OK
> 时间: 2.394s

测试二：先使用 limit 跳过 1000000 取 1，再使用配合 where 条件，使用 limit 取 10，耗时 0.2s。

SELECT *
FROM `pre_forum_post` 
WHERE `pid` >= (
		SELECT `pid` 
		FROM `pre_forum_post` 
		ORDER BY `pid` 
		LIMIT 1000000, 1
		)
ORDER BY `pid`
LIMIT 10
> OK
> 时间: 0.207s

两次测试耗时相差约 10 倍。测试取 100 条或取 1 条，耗时都相差约 10 倍。

但若测试跳过条数较小时，测试一效率更高，因此应按照项目的实际需要选择适当的查询方法。

如果您想在 MySQL / SQL Server 等数据库的所有表的所有字段中搜索文本字符串，您可以使用 Navicat 非常轻松地完成此操作。以下是搜索每个数据库表的步骤。

1) 打开 Navicat，在菜单中选择：工具 - 在数据库或模式中查找...

2) 转到搜索表单

如图所示，你会看到一个看起来像这样的表单：

现在您所要做的就是填写您的搜索条件。

3) 按“查找”并浏览结果

完成这些操作后，只需按“查找”按钮，稍等片刻，然后浏览结果即可。此图显示了结果的样子：

当您双击“查找结果”中的一个表时，Navicat 将向您显示相关结果。

概括

总而言之，如果您需要在整个 MySQL 数据库及其所有表中搜索字符串，这种方法对我来说效果很好。

private static List<string> GetTableNames(DbContext context)
{
    context.Database.OpenConnection();

    var connection = context.Database.GetDbConnection();

    using var command = connection.CreateCommand();
    command.CommandText = @"SELECT `TABLE_NAME`
FROM information_schema.TABLES
WHERE TABLE_SCHEMA = DATABASE();";
    var tableNames = new List<string>();

    using var reader = command.ExecuteReader();
    while (reader.Read())
    {
        tableNames.Add((string)reader["TABLE_NAME"]);
    }

    return tableNames;
}

如果您想在 MySQL 数据库的所有表的所有字段中搜索文本字符串，您可以使用 phpMyAdmin 非常轻松地完成此操作。以下是搜索每个 MySQL / MariaDB 数据库表的步骤。

1) 选择所需的数据库

第一步是选择要搜索的数据库。不要选择表格，只需选择要搜索的数据库。（如果您选择一个表格，您将在第 2 步中获得不同的搜索表单。）

在这张图片中，我展示了我想搜索一个名为 db_bbs2021 的数据库：

2) 转到搜索表单

如图所示，然后您要单击 phpMyAdmin“搜索”选项卡。当你这样做时，你会看到一个看起来像这样的表单：

现在您所要做的就是填写您的搜索条件。

3) 填写您的搜索条件

在我的例子中，我想搜索字符串“xoyozo”，我想查看每个 MySQL 数据库表，所以我将该字符串放在“要搜索的内容”字段中，然后选择每个数据库表：

4) 按“执行”并浏览结果

完成这些操作后，只需按“执行”按钮，稍等片刻，然后浏览结果即可。此图显示了结果的样子：

结果中显示“浏览”和“删除”链接的任何行都表示在该数据库表中找到了搜索字符串。当您单击浏览时，phpMyAdmin 将向您显示相关结果。

概括

总而言之，如果您需要在整个 MySQL 数据库及其所有表中搜索字符串，这种方法对我来说效果很好。

缺点

若数据库尺寸过大或服务器配置较低，在执行过程中可能会出现

可以尝试使用 Navicat 在 MySQL 数据库中每个表的所有字段中搜索字符串。

本文记录于 2021 年 9 月。

版本选择原因：

• Alibaba Cloud Linux 完全兼容 CentOS，相比于 CentOS 较短的生命周期，Alibaba Cloud Linux 3 将于 2029 年 4 月 30 日结束生命周期。

• Discuz! X3.4 不支持 PHP 8.0，安装时即报错，打开页面时一片空白。

• MySQL 8.0 和阿里云 RDS 的 MySQL 7.5 不支持 MyISAM，而数据表 pre_common_member_grouppm 和 pre_forum_post 使用联合主键且自动递增字段不是第一主键，使用 InnoDB 引擎创建表时会报“1075 - Incorrect table definition; there can be only one auto column and it must be defined as a key”错误，而擅自更改主键次序会影响业务逻辑。因此，在必须选择阿里云 RDS 的情况下，只能选择 MySQL 5.6。（2023年8月注：查看如何更改为 InnoDB）

• Discuz! X3.5 正式版尚未发布（截止发稿），即便发布，插件也可能不能得到及时更新。相比之下，X3.4 首个版本发布距今已有 4 年，相关第三方插件已经非常成熟。

完整升级步骤：

1. 备份原网站程序、RDS 数据库；

2. 购买新的 ECS、RDS，挂载磁盘，安装云监控；

3. 迁移（或还原）数据库到新的 RDS；
   

4. 安装宝塔面板并配置；

5. 安装 nginx 及 PHP；

6. 创建网站、配置 SSL、伪静态、防盗链、可写目录禁执行等（.conf）；

7. 配置 hosts；

8. 上传原网站程序到新的站点目录下；

9. 按 Discuz! X 升级文档升级 X3.2 至 X3.4；详情见下文 ↓；

10. 配置 OSS、Redis、更新缓存等；

11. 测试论坛基本功能是否正常；检查附件是否正常显示；全面检查控制台配置；

12. 逐个开启插件并检查兼容性；

13. 按二开备忘录逐个按需进行二开；

14. 逐个修改调用论坛接口的项目及直接调用论坛数据库的项目；

15. 调试 MAGAPP 接口；

16. 尝试强制 https 访问；
    

17. 将以上所有修改后的程序保留备份；发布升级公告并关闭论坛；重复以上步骤；修改域名解析；开启论坛；
    

18. 配置 IP 封禁、定时器、日志、自动备份、配置其它 ECS 的 hosts 等；

19. 查看搜索引擎中收录的地址，是否有无法访问的情况；
    

20. 尝试将历史遗留的本地附件全部转移到 OSS；

21. 参这篇文章，可能有其它需要配置的地方。
    

Discuz! X 升级步骤及注意点：

• 升级前务必先修改 ./config/ 目录下的数据库/缓存连接信息，以防出现新站连接老库的情况；

• 按官方文档进行升级；
  

• 【问题】运行到 ./install/update.php?step=data&op=notification 时白屏。

  【排查】尝试切换到 PHP 5.6 后成功（但该版本过于陈旧不能使用）；尝试升级 CPU 和内存 PHP 7.4 上升级仍不成功。

  【原因】DB::result_first() 方法不对 SQL 语句追加“limit 1”，而是 SELECT 所有记录后在 PHP 端取第一条数据；

  【解决】打开文件 update.php，查找 elseif($_GET['op'] == 'notification')，该节点的功能是在表 home_notification 中查找 category <= 0 的数据并修复它，如果数据库中所有 category 都大于 0，直接注释其内部 if 代码段继续升级即可（或改为 if(false && ...)）。

• 【问题】发布主题遇到错误：(1062) Duplicate entry '*' for key 'pid'

  【原因】forum_post 中的 pid 不是自动增长的，而是由表 forum_post_tableid 中自动增长的 pid 生成的。如果生成的 pid 值已在 forum_post 表中存在，则会出现此错误。

  【解决】迁移数据库时应关闭论坛，以防止 forum_post 表有新数据插入。

• 【问题】打开帖子页面 ./thread-***-1-1.html 显示 404 Not Found，而 ./forum.php?mod=viewthread&tid=*** 可以正常打开

  【原因】未配置伪静态（可在宝塔面板中选择）

• 【问题】打开 UCenter 时报错：UCenter info: MySQL Query Error SQL:SELECT value FROM [Table]vars WHERE name='noteexists'

  【解决】打开文件 ./uc_server/data/config.inc.php 配置数据库连接

• 【问题】打开登录 UCenter 后一片空白

  【解决】将目录 ./uc_server/data/ 设为可写

• 需要将原来安装的插件文件移回 ./source/plugin/ 目录，并设置可写；

• 界面-表情管理，界面-编辑器设置-Discuz!代码

后续 Discuz! X3.4 R 小版本升级注意事项：

1. 确认插件是否支持新版本（如短信通）

2. 先创建一个新网站测试二开代码

3. 保留 /config/、/data/、/uc_client/data/、/uc_server/data/、/source/plugin/，其它移入 old

4. 上传文件

5. 移回其它需要的文件，如：

6. -- 勋章/loading/logo/nv 等：/static/image/common/

7. -- 表情：/static/image/smiley/

8. -- 水印：/static/image/common/watermark.*

9. -- 风格：/template/default/style/t2/nv.png 等

10. -- 默认头像：/uc_server/images/noavatar_***.gif

11. -- 根目录 favicon.ico 等
    

12. -- 及其它非 DZ 文件

13. 再次检查可写目录的写入权限和禁止运行 PHP 效果。

先上代码：

var db = new db_picContext();
var u = db.DtUser.Find(338);
int a = u.DtProject.Count();
int b = db.DtProject.Count(c => c.UploadUserId == u.Id);
return Json(new { a, b });

运行结果：

{"a":0,"b":2}

是不是说明 Find 结果 u 并不能通过导航属性（外键）来获取关联表的内容？

引擎：Pomelo.EntityFrameworkCore.MySql

本文使用 Oracle 官方提供的 MySql.EntityFrameworkCore，如使用 Pomelo.EntityFrameworkCore.MySql 请移步。

MySql.EntityFrameworkCore 是 MySql.Data.EntityFrameworkCore 的升级版

本文以 Visual Studio 2019、ASP.NET Core 5.0 开发环境为例。

1. 新建 ASP.NET Core Web 应用程序。

2. 安装 NuGet 包：

   MySql.EntityFrameworkCore
   

   Microsoft.EntityFrameworkCore.Design

   

3. 根据已有数据库创建数据模型。在 NuGet 的程序包管理（Package Manager）控制台中（PowerShell）执行命令：

   Scaffold-DbContext "server=数据库服务器;port=3306;user=数据库用户名;password=数据库密码;database=数据库名" MySql.EntityFrameworkCore -OutputDir Data -f

   .Net Core CLi：

   dotnet ef dbcontext scaffold "server=数据库服务器;port=3306;user=数据库用户名;password=数据库密码;database=数据库名" MySql.EntityFrameworkCore -o Data -f

4. 搞定。

注：开发环境和生产环境都不需要安装 Connector/NET，只需要安装 ASP.NET Core。

补充：其它数据库提供程序请参考：https://docs.microsoft.com/zh-cn/ef/core/providers/

更多高级用法请参考官方文档。

该问题将在 MySQL Connector/NET 8.0.24 中修复，参考：https://bugs.mysql.com/bug.php?id=102381

您好，MySQL Connector/NET  社区，

从 8.0.23  版本开始，我们的  Entity Framework Core 提供程序有了一个新名称。主要目标是保持对 Microsoft Entity Framework Core 不同版本的支持，并确保这些版本与我们的发行版保持紧密联系。同样，此新命名在包装目的方面更为具体。因此，名称的“数据”部分已删除。

之前：

    MySql.Data.EntityFrameworkCore v8.0.x

现在：

    MySql.EntityFrameworkCore v8.0.x

现在，Microsoft 维护的不仅是 Entity Framework Core 的单个版本，我们还需要找到一种方法来命名程序包并维护 Entity Framework Core 和 MySQL 版本之间的相关性。这就是我们想到使用软件包元数据的时候。软件包的版本现在由两部分组成，第一部分对应于当前支持的 Microsoft Entity Framework Core 版本，然后是一个“加号”，指示我们包含 MySQL 版本的元数据。

    MySql.EntityFrameworkCore v5.0.0+MySQL8.0.23
    MySql.EntityFrameworkCore v3.1.10+MySQL8.0.23

好吧，还有另外一种未来情况需要考虑。如果 Microsoft 没有为我们的较新的 Connector/NET 版本及时发布 Entity Framework Core 的新版本怎么办？假设当前受支持的 Entity Framework Core 版本是5.0.0，所以我们的软件包看起来像这样 MySql.EntityFrameworkCore 5.0.0+MySQL8.0.23，并且在我们发布下一个版本 8.0.24 时，Microsoft Entity Framework Core 的最新版本仍然是 5.0.0。在这种情况下，我们将在版本中添加第四个数字，将包命名为：MySql.EntityFrameworkCore 5.0.0.1+MySQL8.0.23。

我们希望您发现此新的命名模型有用且更精确。始终欢迎您提供反馈，您的所有意见都会激励我们不断改进，以便我们为您提供高品质的产品。

最后，以下是一些可能对您有用的链接：

• MySQL

• 下载 MySQL Connector/NET

• 项目网址

• 开发人员指南

• 讨论区

• MySQL Bug 数据库

我们希望能与您保持联系！