性能文章>线上排查性能问题,这些命令你一定用得到!>

线上排查性能问题,这些命令你一定用得到!原创

2年前
558927

收藏过去排查性能问题的一些常用命令,这些场景,你遇到过么?

 

一、了解机器连接数情况

 

问题:查看服务器当前网络通信的连接数是否正常

常见做法:

netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c

netstat -an|awk '/tcp/ {print $6}'|sort|uniq -c
16 CLOSING
130 ESTABLISHED
298 FIN_WAIT1
13 FIN_WAIT2
9 LAST_ACK
7 LISTEN
103 SYN_RECV
5204 TIME_WAIT

说明:netstat 显示各种网络连接状态

CLOSED:无连接是活动的或正在进行

LISTEN:服务器在等待进入呼叫

SYN_RECV:一个连接请求已经到达,等待确认

SYN_SENT:应用已经开始,打开一个连接

ESTABLISHED:正常数据传输状态

FIN_WAIT1:应用说它已经完成

FIN_WAIT2:另一边已同意释放

ITMED_WAIT:等待所有分组死掉

CLOSING:两边同时尝试关闭

TIME_WAIT:另一边已初始化一个释放

LAST_ACK:等待所有分组死掉

TIME_WAIT 状态过多的原因

在高并发短连接的TCP服务器上,当服务器处理完请求后立刻主动正常关闭连接。主动关闭的一方在发送最后一个 ack 后就会进入TIME_WAIT 状态停留 2MSL(max segment lifetime)的时间,这个场景下,会出现大量socket处于TIMEWAIT状态,这个时候TCP连接占用的本地端口将一直无法释放,如果客户端的并发量持续很高,部分客户端就会显示连接不上。

TIME_WAIT 状态连接过多的危害

如果TIME_WAIT连接把所有可用端口都占完了(TCP端口数量上限是65535)而且还未被系统回收,就会出现无法向服务端创建新的socket连接的情况,此时系统几乎停转,任何链接都不能建立:就会出现经典的 address already in use : connect 异常。

 

问题:111.2.3.4的sshd的监听端口是22,如何统计111.2.3.4的sshd服务各种连接状态(TIME_WAIT/ CLOSE_WAIT)的连接数。

常见方法:

netstat -n | grep 1.2.3.4:22 | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

netstat -lnpta | grep ssh | egrep "TIME_WAIT | CLOSE_WAIT "

说明:netstat是追查网络连接问题常用工具,结合使用grep/awk更是强

 

二、从已经备份好的日志中查询数据

 

问题:从已备份的2019-06-26.log.bz2日志中,找出包含关键字1.2.3.4的日志有多少条。

常见方法:

bzcat 2019-06-26.log.bz2 | grep '1.2.3.4' | wc -l

bzgrep '1.2.3.4' 2019-06-26.log.bz2 | wc -l

less 2019-06-26.log.bz2 | grep '10.37.9.11' | wc -l

 

说明:线上日志文件一般以bz2 压缩之后保留,如果解压查询,非常耗空间与时间,bzcat和bzgrep是研发同学必须掌握的工具。

 

三、备份服务的技巧

 

问题:打包备份/opt/web/suyun_web目录,排除掉目录中logs和目录,打包好的文件存放/opt/backup目录下。

常见方法:

tar -zcvf /opt/backup/shenjian.tar.gz \

    -exclude /opt/web/suyun_web/logs \

    /opt/web/suyun_web

说明:这个命令线上应用较为频繁,在项目需要打包迁移时,常常需要排除掉日志目录,exclude是需要掌握的参数。

 

四、查询线程数

 

问题:查询服务器运行服务的总线程数,当机器线程数超报警阀值时,能快速查出相关进程及线程信息。

参考答案:

ps -eLf | wc -l

pstree -p | wc -l

 

五、磁盘报警,清空最大文件

 

问题:找出服务器上,某个正在运行的tomcat产生的大量异常日志,找出该文件,并释放空间。不妨设该文件包含log关键字,并且大于1G。

常见方法:

第一步,找到该文件

find / -type f -name "*log*" | xargs ls -lSh | more 

du -a / | sort -rn | grep log | more

find / -name '*log*' -size +1000M -exec du -h {} \;

 

第二步,将文件清空

假设找到的文件为a.log

正确的情况方式应该为:

echo "">a.log

文件空间会立刻释放。

很多同学会使用:

rm -rf a.log

这样文件虽然删除,但是因tomcat服务仍在运行,空间不会立刻释放,需要重启tomcat才能将空间释放。

 

六、查看端口占用问题

 

问题:当前服务的网络端口被占用,快速定位哪个进程占用了端口

查看服务器 8000 端口的占用情况,可以看到端口已经被轻 nodejs 服务占用

lsof -i:端口

# lsof -i:8000
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
nodejs 26993 root 10u IPv4 37999514 0t0 TCP *:8000 (LISTEN)

说明:为什么用lsof,它比起Netstat 可以看到进程所有者、文件类型等信息,更为全面,命令也稍微简单一些

 

问题:显示指定到特定远程主机的连接情况

lsof  -i@172.16.12.5

还可以用ip+port

lsof  -i@172.16.12.5:22

 

七、磁盘IO异常排查

 

问题:磁盘IO异常如何排查,类似写入慢或当前使用率较高,请查出导致磁盘IO异常高的进程ID。

常见方法:

第一步

iotop -o

查看当前正在写磁盘操作的所有进程ID信息。

 

第二步:如果此时各项写入指标都很低,基本没有大的写入操作,则需要排查磁盘自身。可以查看系统

dmesg   或   cat /var/log/message

看看是否有相关的磁盘异常报错,同时可以在写入慢的磁盘上touch一个空文件看看,是否磁盘故障导致无法写入。

 

八、文件描述符占用问题

 

问题:Linux 应用程序会报Too many open files的错误

第一步

判断文件描述符设置是否存在问题

通过查看当先系统使用的文件描述符,可以判断文件描述符个数是否受限

cat /proc/sys/fs/file-nr

[root@localhost bin]# cat /proc/sys/fs/file-nr
5664        0        186405

其中第一个数表示当前系统已分配使用的打开文件描述符数,第二个数为分配后已释放的(目前已不再使用),第三个数等于file-max,当前内核可以打开的最大的文件句柄数。

第二步

查看应用进程默认设置句柄数

cat /proc/PID/limists | grep "Max open files"

[root@xwind_test ~]# cat /proc/23041/limits | grep "Max open files"
Max open files            1024             4096          files     

如果soft hard limit 过小,修改配置提高用户的系统打开文件数限制:

vi /etc/security/limits.conf
root soft nofile 8192
root hard nofile 8192
第一列为用用户名,*表示所有用户。 * - nofile 8192 是最简单的全局设置
点赞收藏
laziobird

知识重在分享,Opentelemetry中国社区发起人

请先登录,查看2条精彩评论吧
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步

为你推荐

API性能调优
7
2