博客 (105)

论坛使用阿里云的 ECS + RDS + OSS 搭建,最近经常隔三差五出现 RDS 的 CPU 和连接数突然满负荷的情况,导致数据库无法连接。这种情况一般会认为是受到了攻击,因为如果是访问量大或者是哪里有慢查询,应该是资源消耗逐步上升直至崩溃的,沿着这个思路去查 Web 日志封 IP,但效果不大,关闭功能、卸载插件也没用。

开启阿里云后台的 SQL 审计,能看到 SQL 查询日志,但是很难找有问题的 SQL。

最终在重启 RDS 后执行以下语句列出所有正在执行或阻塞的语句:

show full processlist

在结果列中,Command 为 Query 是正在执行查询操作的语句,发现几乎所有的 SQL 都是:

SELECT * FROM pre_forum_thread WHERE tid>0 AND fid IN('42','95','247','41','567','62','149','229','37','230','93','190','284','75','38','568') AND `fid`<>'546' AND replies > 0 AND displayorder>=0 ORDER BY lastpost DESC  LIMIT 10

再加上之前出现的情况是,论坛帖子列表和详情页面能正常打开时,论坛首页也不一定能打开,所以基本定位到是“首页四格”的数据库查询导致的。

进入论坛后台首页四格设置,对比了版块 id 后确认了这个 bug。

单独执行该语句大约耗时 5s(主题帖 200 万),设置的缓存时间 10 分钟。

processlist 中看到这些语句的 state 都是 Creating sort index,尝试去掉 ORDER BY 后执行果然只需要 16ms。

5s 内的访客都是从数据库读取的,能处理完就正常,否则累积就导致 RDS 崩溃,每 10 分钟都会重现一次风险。

当然这个问题可以通过添加索引来解决。

xoyozo 8 年前
7,602

本文适用于 EF Core,并非 EF 6.x 及以下。

在本演练中,您将构建一个使用 Entity Framework 执行基本数据访问的 ASP.NET Core MVC 应用程序。您将使用逆向工程基于现有数据库创建实体框架模型。

创建一个新项目

  • 打开 Visual Studio 2017

  • 文件 -> 新建 -> 项目...

  • 从左侧菜单中选择 已安装 -> 模板 -> Visual C# -> Web

  • 选择 ASP.NET Core Web应用程序(.NET Core)项目模板

  • 输入项目名称,然后单击确定

  • ASP.NET Core 1.1 选择 Web 应用程序

  • 确保“身份验证”设置为“不进行身份验证

  • 点击确定

安装 Entity Framework

要使用 EF Core,请安装目标数据库提供程序的软件包。本演练使用 SQL Server。有关可用提供程序的列表,请参阅 Database Providers(从打开页面的左侧菜单选择相应的数据库)。

  • 工具 -> NuGet 包管理器 -> 管理解决方案的 NuGet 程序包

  • 在“浏览”选项卡中搜索并安装 Microsoft.EntityFrameworkCore.SqlServer

我们将使用一些 Entity Framework 命令从数据库创建模型。所以我们也将安装工具包。

  • 安装 Microsoft.EntityFrameworkCore.SqlServer.Design

  • 安装 Microsoft.EntityFrameworkCore.Tools

模型的反向工程

现在是根据现有数据库创建 EF 模型的时候了。

  • 工具 -> NuGet 包管理器 -> 程序包管理器控制台

  • 运行 Scaffold-DbContext "数据库连接字符串" Microsoft.EntityFrameworkCore.SqlServer -OutputDir Models

数据库连接字符串可以从 服务器资源管理器 -> 数据连接,在要连接的数据库上右击属性来获得。

如果您收到以下错误说明,请关闭并重新打开 Visual Studio 后重试。

The term 'Scaffold-DbContext' is not recognized as the name of a cmdlet

逆向工程过程基于现有数据库的模式创建实体类(表名.cs)和派生上下文(库名Context.cs)。

实体类是简单的 C# 对象,表示要查询和保存的数据。

上下文表示与数据库的会话,并允许您查询和保存实体类的实例。

使用依赖注入注册上下文

依赖注入的概念是ASP.NET Core的核心。服务(例如数据库 Context)在应用程序启动期间使用依赖注入进行注册。然后,需要这些服务的组件(例如您的 MVC 控制器)通过构造函数参数或属性提供这些服务。

删除内联上下文配置

  • 打开 Models\库名Context.cs

  • 删除方法 OnConfiguring(...)

  • 添加以下构造函数,这将允许通过依赖注入将配置传递到上下文中

public 库名Context(DbContextOptions<库名Context> options)
    : base(options)
{ }

在 Startup.cs 中注册和配置上下文

为了使我们的 MVC 控制器使用数据库Context,我们将它注册为一个服务。

  • 打开 Startup.cs

  • 使用 using 语句在文件的开头添加以下内容

using 项目命名空间.Models;
using Microsoft.EntityFrameworkCore;

现在我们可以使用 AddDbContext(...)方法将其注册为服务。

  • 找到 ConfigureServices(...)方法

  • 添加以下代码以将上下文注册为服务

// This method gets called by the runtime. Use this method to add services to the container.
public void ConfigureServices(IServiceCollection services)
{
    // Add framework services.
    services.AddMvc();

    var connection = @"连接字符串";
    services.AddDbContext<库名Context>(options => options.UseSqlServer(connection));
}

在实际应用程序中,通常将连接字符串放在配置文件中。为了简单起见,我们在代码中定义它。查看如何将连接字符串配置到 appsettings.json 文件中

创建一个控制器

接下来,我们将在我们的项目中启用基架。

  • 右键单击解决方案资源管理器中的 Controllers 文件夹,然后选择添加 -> 控制器...

  • 选择 Full Dependencies(完全依赖),然后单击添加

  • 您可以忽略打开的 ScaffoldingReadMe.txt 文件中的指令

现在基架已启用,我们可以为数据表实体构建控制器。

  • 右键单击解决方案资源管理器中的 Controllers 文件夹,然后选择添加 -> 控制器...

  • 选择“视图使用 Entity Framework 的 MVC 控制器”并单击“添加

  • 设置模型类数据上下文类

  • 单击添加

运行应用程序

您现在可以运行应用程序以查看它的操作。

  • 调试 -> 开始执行(不调试)

  • 应用程序将在 Web 浏览器中构建和打开

  • 导航到相应的路径 /控制器名

  • 单击 Create New

  • 填写表单并单击 Create

EF Core for MySQL

  • 截至 Visual Studio 2017 正式版发布(2017年3月7日),MySQL for Visual Studio支持)尚不支持 Visual Studio 2017,因此 Visual Studio 2017 的服务器资源管理器不能连接数据源为 MySQL 的数据库,也无法创建和更新可视化模型(.edmx)

  • NuGet 包 MySql.Data.EntityFrameworkCore 还没有找到 Database First 的 PM 命令,因此不能由 MySQL 数据库生成实体类和上下文

  • 综上,要连接 MySQL 只能用 VS2015,要生成 MySQL 实体类和上下文就不能用 EF Core,暂时使用 EF 6.x 代替(创建 ASP.NET MVC 项目)

EF Core 1.1 未实现

  • EF Core 1.1 未实现:可视化模型,以查看基于代码的模型的图形表示。

  • EF Core 1.1 未实现:用于逆向工程的 Visual Studio 向导,允许您在从现有数据库创建模型时可视化地配置连接,选择表等。

  • EF Core 1.1 未实现:从数据库更新模型,允许从数据库以前反向工程的模型使用对模式所做的更改进行刷新。

补充

如果我们在创建新项目时选择 ASP.NET Core Web应用程序(.NET Framework项目模板,那么完全按照 Core 的方式来开始(比如选择 NuGet 包的版本),而发布必须是 .NET Framework 环境,而非跨平台。

参考

ASP.NET Core - Existing Database

Compare EF Core & EF6.x

xoyozo 8 年前
10,262

苹果宣布 2017 年 1 月 1 日开始所有上架的应用必须启用 ATS 安全传输功能。ATS 要求服务器必须支持传输层安全(TLS)协议 1.2 以上版本;证书必须使用 SHA256 或更高的哈希算法签名;必须使用 2048 位以上 RSA 密钥或 256 位以上 ECC 算法等等,不满足条件的证书,ATS 都会拒绝连接。查看具体要求

微信小程序进入开发公测阶段,同样要求提供 HTTPS 方式安全连接。

证书类型对比

 DV SSL
域名验证型
OV SSL
组织验证型
EV SSL
扩展验证型
申请条件申请对象个人 / 企业企业企业
证明域名所有权
价格免费 / 低
提交审核提交资料邮箱、姓名、手机等DV 所需资料以及:
组织机构资料(企业执照)等
OV 所需资料以及:
法律相关文件
审核时间自动审核
1小时内
人工审核
3~5工作日
人工审核
3~5工作日
可信标识地址栏挂锁
地址栏公司名称××
绿色地址栏(IE)××
保护范围单域名
多域名
通配符/泛域名×
推荐用途个人及小型网站一般组织或中小型企业金融、电商、大型企业或受信组织

* 表格中,单域名指单个子域名(如:123.abc.com),多域名指多个子域名(可以不属于同一个顶级域名,如:123.abc.com / 456.abc.com / 456.def.com),通配符指单个顶级域名的所有子域名(如:*.abc.com)。
* 若 https 的网页中包含 http 资源,则地址栏的锁可能会消失。
* 浏览器上点击地址栏的锁可以查看具体的证书详情。

证书颁发机构(CA)

机构简介谁在用
Let's Encrypt公益组织,免费,每 90 天续约越来越多的中小网站
Symantec赛门铁克百度、支付宝、阿里云、Apple(EV)、微软
GlobalSign公众信任服务行业的领头羊淘宝、天猫(OV)、阿里云、京东(OV)
GeoTrust全球第二大?微信
Comodo价格实惠 
GoDaddy全球互联网域名注册商 
DigiCert不颁发 DV,在非 DV 市场份额中是老大Facebook、Twitter(EV)、Mozilla(EV)、GitHub(EV)
沃通 WoSign国产360搜索(EV)
Other  

* 赛门铁克收购了 VeriSign,VeriSign 又收购了 GeoTrust,所以 Symantec 和 GeoTrust 在 SSL 认证服务上就不知道是什么关系了,请自行百度。

* 代理商也可以购买,或许价格优惠,或许申请方便,如:阿里云、腾讯云等,甚至上淘宝购买。

* 查看:Netcraft 统计的市场份额

* 网上说使用 Let's Encrypt 的 SSL 在遇到国内第三方 DNS 解析服务时会超时,我认为只是在申请证书时偶尔超时(DNS query timed out),重试即可,证书部署后访问网站时应该没有问题,请知情者告知实情。

* 各版本 Windows 对 SSL/TLS 协议的支持

下一步

购买和部署阿里云的免费型 DV SSL 证书服务

在 IIS 中部署 SSL

在 nginx 中部署 SSL

xoyozo 9 年前
5,429

设规则:
    属性-文件传输规则-全局
        如果 时间 为 较旧 并且 传输 为 下载 那么 覆盖
        如果 大小 为 不同 并且 传输 为 下载 那么 覆盖
        如果没有匹配的规则,那么:跳过

建站点:
    站点-站点管理器-新建站点
        设好本地路径,传输 自定义规则 使用全局设置

队列:
    连接站点,在需要备份的目录上右键,队列
    在队列上右键,另存为

计划:
    工具-计划-新建任务
    选择队列文件,使用自定义规则
    设置执行时间,Windows 密码

设置完成!

xoyozo 11 年前
5,853

《Windows Server 2008 R2 Web 服务搭建流程》

前提一、安装完系统后,各分区的权限均设为:
    IIS_IUSRS        完全拒绝(不是什么都不勾,而是勾满右侧的拒绝)
一、创建网站用户,如 netXoyozoWww,密码永不过期,仅隶属于 IIS_IUSRS 组。
二、创建网站根目录 net.xoyozo.www,权限添加用户 netXoyozoWww, 允许“读取和执行”、“列出文件夹内容”、“读取”。
        创建上传目录 upload,用户 netXoyozoWww 的权限再允许“修改”、“写入”。
三、IIS 中添加网站,网站名称如 net.xoyozo.www,指定物理路径,点击连接为,特定用户,测试设置……
        主机名 www.xoyozo.net
四、应用程序池,把 net.xoyozo.www 改成实际需要的 .NET 版本;高级设置,标识,自定义帐户 netXoyozoWww
五、选中网站,日志,更改目录,应用
六、展示网站目录树,选中 upload,处理程序映射,编辑功能权限,取消“脚本”前的勾。
    此操作的结果会在该目录下创建 web.config 文件,切勿删除!尚未研究出被上传文件替换的解决方案。程序应严格控制上传路径,阻止修改或替换 web.config 文件

另:
    查看端口命令:netstat -an
 

xoyozo 12 年前
3,716

《SQL Server 2012 数据库服务搭建流程》

安装 .net 3.5 并重启!

知识一、安装,选 64 位版本,安装功能:
    实例:数据库引擎服务及子项全选,其它暂时用不到
    共享:管理工具-完整
知识NN、若实例安装到其它磁盘,确保目录有“NETWORK SERVICE”权限!!!
知识二、卸载,参:http://technet.microsoft.com/zh-cn/library/hh231731.aspx
    必须严格按照说明卸载,否则会出现卸载不干净,重装装不上的问题。
    若不幸遇上 0x851A001A,参:http://social.msdn.microsoft.com/Forums/zh-CN/8f4d5cf8-4ab8-4a37-81df-7c294f994515/sql-server-2012-install-error-851a001a
    用户名好像是:NT Service\MSSQLSERVER
知识三、18456错误:
    服务器身份验证:SQL Server 和 Windows 身份验证模式
    具体设置在:SSMS - Windows 身份验证模式 登录后 - 对象资源管理器 - 选中当前服务器 - 右键属性 - 安全性
    SQL Server 配置管理器 - SQL Server 服务 - 重启
知识四、修改端口:
    SQL Server 配置管理器 - SQL Server 网络配置 - 相应实例的协议 - TCP/IP - IP 地址 - 将所有1433改掉
    SQL Server 配置管理器 - SQL Server 服务 - 重启
知识五、sa - 登录 - 禁用
知识六、维护计划:
    开启 SQL Server 代理,并在服务里设置自动(延时)
    SSMS - 当前服务器 - 管理 - 维护计划 - 右键 维护计划向导 每天4:03:02
    工具箱-拖入:收缩数据库-重新组织索引-重新生成索引-更新统计信息-清除历史记录-备份数据库(完整)-“清除维护”任务

    编辑每项任务,在“所有用户数据库”中勾选“忽略未处理联机状态的数据库”,这是关键,如果不勾选,一旦某个数据库被设置为脱机,备份就会出错。

    在新建的维护计划上右键,执行,完成以后,右键“查看历史记录”,如有错误作相应修改
    完整备份+差异备份方式:http://www.cnblogs.com/zhangq723/archive/2012/03/13/2394102.html 从“下面我来讲一下”开始做

需要开放远程连接的,在防火墙设置允许通过的程序,如:
D:\Program Files\Microsoft SQL Server\MSSQL12.MSSQLSERVER\MSSQL\Binn\sqlservr.exe




创建或还原数据库

一、(还原时)改:
    常规 - 目标 - 数据库(B)
    文件 - 表格“还原为”列 - 改文件名如:dbTest.mdf / dbTest_log.ldf
二、(还原时)dbTest - 安全性 -  用户 - 删除原用户,默认那些用户不要删
三、(还原后)属性 - 文件 - 数据库文件 - 逻辑名称,初始大小全是0
    如不需要日志,则:属性 - 选项 - 恢复模式 - 简单
四、安全性 - 登录名 - 新建登录名:
    常规 - 填写登录名 - SQL Server 身份验证 - 取消“强制实施密码策略” - 默认数据库
    用户映射 - 映射对应数据库 - 勾:db_owner / public (若只读则勾:db_datareader / public)
    用户映射确定后再检查一次,第一次有可能未设置成功

xoyozo 11 年前
5,812

推荐:参考此文:如何升级 ASP.NET 项目 MySql.Data 和 Connector/NET 至 8.0.x

-------------------------------------------------------------------------------------------------------

这是 MySQL 官方提供的,用来帮助 .NET 开发者使用 LINQ 来方便操作 MySQL 数据库的解决方案。

我们所需要的软件全部被封装在 MySQL Installer 套件当中,非常方便。

下载后选择“Custom”自定义选择需要安装的产品和功能:

  • MySQL Server - 在本机安装 MySQL 数据库,如果我们直接连接远程数据库则不需要安装

  • MySQL for Visual Studio - 是一款 Visual Studio 插件,用于连接和管理 MySQL 数据库

  • Connector/NET - ADO.NET 托管提供程序


使用也非常方便:

  1. 在“服务资源管理器”中添加连接,更改数据源为“MySQL”。(如果没有该项,重启计算机试试;仍然没有,重新运行 MySQL Installer,选择“Modify ...”,勾选对应 VS 版本的“Visual Studio Integration”和“Entity Framework Designer Integration”)

  2. 项目中“添加新项”,在“数据”中选择“ADO.NET 实体数据模型”,即 Entity Framework,而非“LINQ to SQL 类”,根据需要选择表、视图和存储过程


Windows Server 服务器上安装 MySQL Server 过程中(或安装完成后再次运行 MySQL Installer)可配置端口(同时配置防火墙)。

建议勾选安装 MySQL Workbench 来管理 MySQL 数据库。

新建用户时,主机填“%”即该用户允许远程连接。


如果报以下错误:

不支持直接到存储查询(DbSet、DbQuery、DbSqlQuery)的数据绑定。应使用数据填充 DbSet (例如通过对 DbSet 调用 Load),然后绑定到本地数据。对于 WPF,绑定到 DbSet.Local。对于 WinForms,绑定到 DbSet.Local.ToBindingList()。

记得在绑定时加一个 .ToList() 即可。


如果发布后报以下错误:

找不到请求的 .Net Framework Data Provider。可能没有安装。

那么在服务器上安装 Connector/NET 即可。


如果在 VS 中连接此 EF 时如果遇到:

您的项目引用了最新版的实体框架;但是,找不到进行数据连接所需的与此版本兼容的实体框架数据库提供程序。请退出向导,安装兼容提供程序,重新生成您的项目,然后再执行此操作。

指定的架构无效。错误 0152: 未找到具有固定名称“MySql.Data.MySqlClient”的 ADO.NET 提供程序的实体框架提供程序。请确保在应用程序配置文件的“entityFramework”节中注册了该提供程序。有关详细信息,请参阅 http://go.microsoft.com/fwlink/?LinkId=260882。

那么,只需在 NuGet 中搜索并重新安装 MySql.Data.Entity ,重新生成项目。如果仍然提示,请检查 Connector/NET 是否有更新。 

6.10.4 版本相关的问题参:MySQL Connector/Net 6.10.4 不支持 VS

xoyozo 9 年前
6,460

编者按:本文作者 Nick Babich 在文中介绍了几种 “提高” 加载速度的方法。

当我们设计产品的时候,我们没有办法模拟不同的加载速度。因此如果用户等待太长的时间才能看到内容,并不是我们特意的安排。

网速不稳定,尤其是当我们加载图片或音乐时,时间会较长。在这种情况下,我们不得不考虑在这种间隙向用户展示什么内容才能让他们感觉不枯燥。

加载动图(Spinner)效果不佳

加载 Spinner 并不是暗示加载或思考的正确方式。默认加载图标(例如 iOS 的加载动画效果是从中心点辐射的灰色线条)通常具有消极的含义。它们应用于多种操作系统功能之中,包括设备启动、连接到网络或者加载数据。

如何让用户觉得你的 app 加载速度很快

人们讨厌只看到加载 Spinner,但是却看不多进度或时间。让用户盯着一个下载进度条或者旋转圈会让跳出率提高。

不确定的等待时间比已知的、有限的等待时间让人觉得更长。你应该给你的用户一个清晰地等待时间。

如何让用户觉得你的 app 加载速度很快

进度条可以告诉用户这个过程需要花费多长时间,但是一般不太正确。你可以通过一些方法隐藏过程中的延迟,例如你可以在开始的时候让速度显示地快一点,在结尾的时候,显示速度慢一点。进度条不应该中断,否则用户就会认为这个 App 卡住了。

后台操作

在后台操作中包含行为有两个优点——用户可见;在用户真正发出请求时就会加载完毕。当程序在后台运营时,给用户呈现一些其他的内容。一个很好的案例是在 Instagram 中加载图片。用户一旦选择想要分享的图片,就开始加载。

如何让用户觉得你的 app 加载速度很快

在后台加载图片的过程中,Instagram 邀请用户添加标题和标签,当用户准备按 “分享” 键时,加载过程就完成了,这时候就可以立刻分享图片了。

仿真内容和 Placeholder(占位符)

如果你无法缩短加载时间,那么你应该试图让用户在等待中更高兴一点。可以利用这个时间显示一些临时的信息。为了提高用户的参与度,可以使用仿真内容作为文本和图片。

几点小建议:

1、加载屏幕不应该太亮。不需要太吸引眼球。Facebook 的灰色 Placeholder 就是一个很好的例子。当加载内容时使用模板元素,让用户熟悉将要加载的内容的整体结构。

如何让用户觉得你的 app 加载速度很快

2、如果要加载图片,你可以在 placeholder 中使用加载图片的主色调。Medium 的图片加载效果比较好。首先加载一个小型的模糊图片,然后转化成一个清晰的大图片。

如何让用户觉得你的 app 加载速度很快

使用 placeholder 和仿真内容并没有加快加载过程,但是在用户眼中加载速度好像变快了。

分散用户的注意力

为了不让用户在等待时感到枯燥,可以适当分散他们的注意力。你可以使用一些有趣的、始料未及的东西吸引用户的注意力,为 App 加载赢得充足的时间。

如何让用户觉得你的 app 加载速度很快

动画片可以分散访客的注意力,让他们忽略加载时间。

结论

用户讨厌等待,如果你让用户觉得他们没有等待,那么他们就会喜欢你的 App。一定要让用户觉得 App 的加载时间比他预计的短。

转自 杨志芳 9 年前
4,208

为防止木马访问网站根目录以外的文件
搭建服务器时一定在所有分区拒绝 IIS_IUSRS 组的一切权限(如果网站用户隶属的是其它组就配置那个组)
新加硬盘时也务必同上操作

 

 

创建用户,归组

创建目录
wwwroot
logs

设置目录权限

创建FTP用户

下载代码

IIS创建网站

绑定域名

日志路径,应用

修改应用程序池,版本,管道,标识用户

要上传的目录权限,去脚本

本机改 hosts 测试

改域名解析

改数据库连接

关老站

打开测试
 

xoyozo 9 年前
3,697

使用 DTS 在迁移 SQL Server 数据库时,若源数据库的版本是 2012,则迁移到 RDS (版本 2008 R2)警告版本不兼容,但是可以正常迁移;若源数据库的版本是 2014,则出现错误,无法迁移。


如果数据量较小,则可以这样操作:

在源数据库上右键 - 任务 - 生成脚本 - 编写整个数据库及所有数据库对象的脚本

接下来应该不用介绍了。


如果数据量较大,用上面的方法就力不从心了,可以:

在源数据库上右键 - 任务 - 导出数据 - 选择数据源(SQL Server Native Client),填写 RDS 的连接信息,下一步

这种方法的缺点是只导数据,会丢失主键、外键、索引等信息,需要重新设置。


当然也可以用 Navicat 的数据传输工具,可以完整地迁移整个数据库,但如果中途出现 Err (毕竟是第三方)则传输会中断,只能重来一遍并取消勾选出问题的那个表,全部完成后再用 SSMS 来单独导那个表,手动添加主键、外键、索引等。

xoyozo 10 年前
4,436