博客 (13)

今天终于把大量占用论坛服务器带宽的元凶找到了!

我们的论坛使用阿里云的 ECS+RDS+OSS+CDN 架构,最近发现 ECS 的带宽怎么都不够用了,也没有什么突发事件呀,再说附件都在 OSS 上。观察了云监控控制台,发现半夜里的流量也不减呀,白天更是触顶下不来,坛友们真是不辞辛劳为 PV 作贡献啊。

我对 CentOS 还是不够熟悉的,查阅了一些资料后,终于找到方向入手了。

重点肯定是日志文件了,但是面对每天几个 G 的大块头,还真是无法下手,一条一条看估计胡子都白花花了。

那么,首先安装 GoAccess 这个好东西(yum install goaccess

然后进入网站日志目录,用 GoAccess 来分析一下(goaccess -f xxxxxx.log -a),具体用法参官网

选择日志格式,nginx 默认为 NCSA Combined Log Format,空格选中,回车确认

稍等片刻就可以看到主界面了,统计信息丰富多彩,统计结果一目了然,看截图,如果你分析的日志文件是当前正在使用中的,它还会每秒刷新主界面,让你看到实时统计

大致分为几块内容:

按 1 定位到“按天访问量”

按 2 定位到“最多次被请求的 URL”

按 3 定位到“最多次被请求的静态文件”

按 4 定位到“最多次被请求的 404”

按 5 定位到“最多次请求的用户 IP”

按 6 定位到“用户的操作系统”

按 7 定位到“用户的浏览器”

按 8 定位到“按小时的统计”

按以上数字键后,再按回车可以查看具体或更多的信息,按 s 可以更换排序,按 q 返回或退出

那么我先找 5 最多次请求的用户 IP,排前面的全部是从 60.191.127.4 到 60.191.127.26 的 IP,每个 IP 都是几 G 级的带宽占用。

负责任的,你必须保证这些 IP 不是政府或大企业的对公 IP,而且得拿这些 IP 直接去日志文件里搜到底请求了哪些 URL。经查证,它们只请求版块的帖子列表页,没有请求任何图片、脚本、样式等,还有,UserAgent 中没有带 Spider 之类的关键字,证明不是搜索引擎的蜘蛛,那么就可以果断认为它“不是人”

啥都不说了,找到 nginx 的 conf 配置文件,在 server 中添加 deny 60.191.127.0/24;

检查配置:nginx -t

使配置生效:nginx -s reload

呵呵,马上就能在阿里云监控里看到过山车式的折线了。 

另外,备注下查看各IP的连接数的命令:

netstat -an|grep :80| awk '{print $5}'| cut -d':' -f1| sort |uniq -c

xoyozo 9 年前
4,821

家里用的 6M 小水管,经常遇到打开网页龟速,于是进入 TP-LINK 路由器控制面板,打开流量统计,发现竟然是 iPhone 在偷跑流量。下载速度几乎为 0.00KB/s,但上传速度稳定在 50~80KB/s,属于满负荷上传。

于是问度娘有没有类似网络监控的应用,无果。在 App Store 找各种流量仪,发现都是只管数据流量的,没有监控哪些应用在占用 WiFi。

看看手机状态栏也没有正在使用网络的 Loading 图标,莫非手机中毒了?

双击 Home 键,一个一个地删除后台程序,每次看流量都还在上传。

又是各种百度,终于有了眉目,是不是 iCloud 在 WiFi 下自动备份?

进入 设置 - iCloud - 备份 - iCloud 云备份,确实是“开”的,但明明写清楚了只有在 iPhone 接入电源、锁定且接入无线局域网时,才自动备份数据。

试一下吧,关闭它。继续观察……还在上传。

这倒提醒到我了,是不是在自动备份照片呢?

干脆我就再等等,过了几分钟,路由器上看到上传速度降下来了,于是我拿着手机猛地拍了好多照片,不一会儿,上传速度又噌噌噌往上飙了,看来原因是找到了。

那么我就直接把百度云删了吧,因为我是用它来自动备份照片的。

可是……仍然没什么卵用。

那就只剩你了:iCloud

进入 设置 - iCloud - 照片 - 我的照片流,关闭!

整个世界安静了……

--------------------------------------------------------------------

几天以后,悲剧地发现,还是在上传数据

--------------------------------------------------------------------

几周后,家里换用小米路由器,再没有发现 iPhone 偷偷上传。

(也有可能是我关闭了 设置 - iCloud - 备份 - iCloud 云备份 的缘故。)

--------------------------------------------------------------------

几个月后,我无意间进入 设置 - iCloud - 储存空间 - 管理储存空间 - 此 iPhone,看到列出了备份到 iCloud 上的数据。照片图库没有问题,有新照片一定是增量备份的,但是 QQ 和微信的数据就不一定了,以电脑端的聊天记录为例,QQ 是放在 Msg2.0.db 或 Msg3.0.db 单个文件的,如果手机端也是,而且每次都要把几百 MB 甚至几 GB 的文件备份到 iCloud 上,结果可想而知。

xoyozo 9 年前
7,340

最近有服务器不时出现的CPU使用率超高,内存几乎被吃光,系统甚至自动kill掉一些进程,如sshd,vsftpd等。用top查看,PHP-CGI进程高挂不下,如下是解决方案:
一、进程跟踪
# top //找出CPU使用率高的进程PID
# strace -p PID //跟踪进程
# ll /proc/PID/fd //查看该进程在处理哪些文件
将有可疑的PHP代码修改之,如:file_get_contents没有设置超时时间。
二、内存分配
如果进程跟踪无法找到问题所在,再从系统方面找原因,会不会有可能内存不够用?据说一个较为干净的PHP-CGI打开大概20M-30M左右的内存,决定于PHP模块开启多少。
通过pmap指令查看PHP-CGI进程的内存使用情况
# pmap $(pgrep php-cgi |head -1)
按输出的结果,结合系统的内存大小,配置PHP-CGI的进程数(max_children)。
三、监控
最后,还可以通过监控与自动恢复的脚本保证服务的正常运转。下面是我用到的一些脚本:
只要一个php-cgi进程占用的内存超过 %1 就把它kill掉
#!/bin/sh
PIDS=`ps aux|grep php-cgi|grep -v grep|awk’{if($4>=1)print $2}’`
for PID in $PIDS
do
echo `date +%F….%T`>>/data/logs/phpkill.log
echo $PID >> /data/logs/phpkill.log
kill -9 $PID
done


检测php-fpm进程
#!/bin/bash
netstat -tnlp | grep “php-cgi” >> /dev/null #2&> /data/logs/php_fasle.log
if [ "$?" -eq "1" ];then #&& [ `netstat -tnlp | grep 9000 | awk '{ print $4}' | awk -F ":" '{print $2}'` -eq "1" ];then
/usr/local/webserver/php/sbin/php-fpm start
echo `date +%F….%T` “System memory OOM.Kill php-cgi. php-fpm service start. ” >> /data/logs/php_monitor.log
fi

通过http检测php执行
#!/bin/bash
status=`curl -s –head “http://127.0.0.1:8080/chk.php” | awk ‘/HTTP/ {print $2}’`
if [ $status != "200" -a $status != "304" ]; then
/usr/local/webserver/php/sbin/php-fpm restart
echo `date +%F….%T` “php-fpm service restart” >> /data/logs/php_monitor.log
fi

l
转自 lgh_2002 12 年前
4,264