发现在监控内web服务器有点不正常,cpu和负载会突然增高,然后过十来分钟就会恢复正常。ssh连上去看,有几个php-cgi进程cpu的使用是100%。当时怀疑可能是有个别程序没写好,就通知开发这边去查了。从下图可以看到:
随着访问量的增加,到了昨天,好几台web都出现这种现象,并且cpu和负载都下不去了。一直是很高的状态。像下图这样:
这就不正常了,用top看资源利用率,%us和%sy还在正常状态,10%以内,就是%si一直会很高,50%~90%。
开始感觉不像是代码没写好了,因为php+ Memcached +mysql的架构在其它项目上也跑得挺正常的。
top显示的si是指 软中断 ,软中断会使用cpu资源。
看到软中断过高开始怀疑是不是 网卡 驱动不好,因为以前碰到过有些网卡只会用到一个cpu的软中断,查了查也不是。
那到底是什么使用了这么多的软中断呢?就怀疑是网络连接了,用netstat -anpo | grep :11211 | awk -F” ” ‘{print $6}’ | sort |uniq -c | sort -rn看了一下,发现time_out状态的连接超多。正常不应该有这么多的。
到这里直接就去查php代码了,发现连接代码如下:
$ handle = new Memcache();
$handle-> connect ($config[‘host’], $config[‘port’]);
用的是connect,这个是短连接。
理理头绪:为什么软中断会这么高?
因为php连接memcache使用短连接方式,这种方式是每次连上memcached,读写操作完成后,连接关闭,下次需要读写memcache 时再重新连。由于php读写memcache特别频繁,自然php连接memcache的次数也就非常多了。而新建连接是需要代价的,会产生软中断。所以 就在top内看到%si一直会很高,50%~90%。
基本确定原因后,改代码:
$handle = new Memcache();
$handle->pconnect($config[‘host’], $config[‘port’]);
用pconnect,也就是 长连接 去连memcached,这样每个php进程只要建立一次连接,后面都可以重复利用这个连接。
再看服务器,在top内看到%si使用不到1%,cpu和负载都下来了
相关文章
本站已关闭游客评论,请登录或者注册后再评论吧~