用 GoAccess 找到了大占非法占用论坛服务器带宽的元凶 IP

今天终于把大量占用论坛服务器带宽的元凶找到了！

我们的论坛使用阿里云的 ECS+RDS+OSS+CDN 架构，最近发现 ECS 的带宽怎么都不够用了，也没有什么突发事件呀，再说附件都在 OSS 上。观察了云监控控制台，发现半夜里的流量也不减呀，白天更是触顶下不来，坛友们真是不辞辛劳为 PV 作贡献啊。

我对 CentOS 还是不够熟悉的，查阅了一些资料后，终于找到方向入手了。

重点肯定是日志文件了，但是面对每天几个 G 的大块头，还真是无法下手，一条一条看估计胡子都白花花了。

那么，首先安装 GoAccess 这个好东西（yum install goaccess）

然后进入网站日志目录，用 GoAccess 来分析一下（goaccess -f xxxxxx.log -a），具体用法参官网

选择日志格式，nginx 默认为 NCSA Combined Log Format，空格选中，回车确认

稍等片刻就可以看到主界面了，统计信息丰富多彩，统计结果一目了然，看截图，如果你分析的日志文件是当前正在使用中的，它还会每秒刷新主界面，让你看到实时统计

大致分为几块内容：

按 1 定位到“按天访问量”

按 2 定位到“最多次被请求的 URL”

按 3 定位到“最多次被请求的静态文件”

按 4 定位到“最多次被请求的 404”

按 5 定位到“最多次请求的用户 IP”

按 6 定位到“用户的操作系统”

按 7 定位到“用户的浏览器”

按 8 定位到“按小时的统计”

按以上数字键后，再按回车可以查看具体或更多的信息，按 s 可以更换排序，按 q 返回或退出

那么我先找 5 最多次请求的用户 IP，排前面的全部是从 60.191.127.4 到 60.191.127.26 的 IP，每个 IP 都是几 G 级的带宽占用。

负责任的，你必须保证这些 IP 不是政府或大企业的对公 IP，而且得拿这些 IP 直接去日志文件里搜到底请求了哪些 URL。经查证，它们只请求版块的帖子列表页，没有请求任何图片、脚本、样式等，还有，UserAgent 中没有带 Spider 之类的关键字，证明不是搜索引擎的蜘蛛，那么就可以果断认为它“不是人”

啥都不说了，找到 nginx 的 conf 配置文件，在 server 中添加 deny 60.191.127.0/24;

检查配置：nginx -t

使配置生效：nginx -s reload

呵呵，马上就能在阿里云监控里看到过山车式的折线了。 

另外，备注下查看各IP的连接数的命令：

netstat -an|grep :80| awk '{print $5}'| cut -d':' -f1| sort |uniq -c