1. 背景

有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题。所以，分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具，那将是事半功倍，能够帮助大家快速定位问题，节省大家很多时间做更深入的事情。

2. 说明

本篇文章主要介绍各种问题定位的工具以及会结合案例分析问题。

3. 分析问题的方法论

• What-现象是什么样的
• When-什么时候发生
• Why-为什么会发生
• Where-哪个地方发生的问题
• How much-耗费了多少资源
• How to do-怎么解决问题

4. cpu

4.1 说明

针对应用程序，我们通常关注的是内核CPU调度器功能和性能。

线程的状态分析主要是分析线程的时间用在什么地方，而线程状态的分类一般分为：

1. on-CPU：执行中，执行中的时间通常又分为用户态时间user和系统态时间sys。

2. off-CPU：等待下一轮上CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

• 处理器
• 核
• 硬件线程
• CPU内存缓存
• 时钟频率
• 每指令周期数CPI和每周期指令数IPC
• CPU指令
• 使用率
• 用户时间／内核时间
• 调度器
• 运行队列
• 抢占
• 多进程
• 多线程
• 字长

4.2 分析工具

• uptime，vmstat，mpstat，top，pidstat 只能查询到cpu及负载的的使用情况。
• perf可以跟着到进程内部具体函数耗时情况，并且可以指定内核函数进行统计，指哪打哪。

4.3 使用方式

//查看系统cpu使用情况top
//查看所有cpu核信息mpstat -P ALL 1
//查看cpu使用情况以及平均负载vmstat 1
//进程cpu的统计信息pidstat -u 1 -p pid
//跟踪进程内部函数级cpu使用情况 perf top -p pid -e cpu-clock

5. 内存

5.1 说明

牛逼啊！接私活必备的 N 个开源项目！赶快收藏

• 主存
• 虚拟内存
• 常驻内存
• 地址空间
• OOM
• 页缓存
• 缺页
• 换页
• 交换空间
• 交换
• 用户分配器libc、glibc、libmalloc和mtmalloc
• LINUX内核级SLUB分配器

5.2 分析工具

说明：

• free，vmstat，top，pidstat，pmap只能统计内存信息以及进程的内存使用情况。

• valgrind 可以分析内存泄漏问题。

• dtrace 动态跟踪。需要对内核函数有很深入的了解，通过D语言编写脚本完成跟踪。

5.3 使用方式

//查看系统内存使用情况free -m//虚拟内存统计信息vmstat 1//查看系统内存情况top//1s采集周期，获取内存的统计信息pidstat -p pid -r 1//查看进程的内存映像信息pmap -d pid//检测程序内存问题valgrind --tool=memcheck --leak-check=full --log-file=./log.txt  ./程序名

6. 磁盘IO

6.1 说明

在理解磁盘IO之前，同样我们需要理解一些概念，例如：

• 文件系统
• VFS
• 文件系统缓存
• 页缓存page cache
• 缓冲区高速缓存buffer cache
• 目录缓存
• inode
• inode缓存
• noop调用策略

6.2 分析工具

6.3 使用方式

//查看系统io信息iotop//统计io详细信息iostat -d -x -k 1 10//查看进程级io的信息pidstat -d 1 -p  pid//查看系统IO的请求，比如可以在发现系统IO异常时，可以使用该命令进行调查，就能指定到底是什么原因导致的IO异常perf record -e block:block_rq_issue -ag^Cperf report

7. 网络

7.1 说明

7.2 分析工具

7.3 使用方式

//显示网络统计信息netstat -s//显示当前UDP连接状况netstat -nu//显示UDP端口号的使用情况netstat -apu//统计机器中网络连接各个状态个数netstat -a | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'//显示TCP连接ss -t -a//显示sockets摘要信息ss -s//显示所有udp socketsss -u -a//tcp,etcp状态sar -n TCP,ETCP 1//查看网络IOsar -n DEV 1//抓包以包为单位进行输出tcpdump -i eth1 host 192.168.1.1 and port 80 //抓包以流为单位显示数据内容tcpflow -cp host 192.168.1.1

8. 系统负载

8.1 说明

8.2 分析工具

8.3 使用方式

//查看负载情况uptimetopvmstat//统计系统调用耗时情况strace -c -p pid//跟踪指定的系统操作例如epoll_waitstrace -T -e epoll_wait -p pid//查看内核日志信息dmesg

9. 火焰图

9.1 说明

常见的火焰图类型有 On-CPU、Off-CPU、Memory、Hot/Cold、Differential等等。

9.2 安装依赖库

//安装systemtap，默认系统已安装yum install systemtap systemtap-runtime//内核调试库必须跟内核版本对应，例如：uname -r 2.6.18-308.el5kernel-debuginfo-2.6.18-308.el5.x86_64.rpmkernel-devel-2.6.18-308.el5.x86_64.rpmkernel-debuginfo-common-2.6.18-308.el5.x86_64.rpm//安装内核调试库debuginfo-install --enablerepo=debuginfo search kerneldebuginfo-install --enablerepo=debuginfo  search glibc

9.3 安装

git clone https://github.com/lidaohang/quick_location.gitcd quick_location

9.4 CPU级别火焰图

cpu占用过高，或者使用率提不上来，你能快速定位到代码的哪块有问题吗？

一般的做法可能就是通过日志等方式去确定问题。现在我们有了火焰图，能够非常清晰的发现哪个函数占用cpu过高，或者过低导致的问题。另外，搜索公众号Linux就该这样学后台回复“猴子”，获取一份惊喜礼包。

9.4.1 on-CPU

//on-CPU usersh ngx_on_cpu_u.sh pid//进入结果目录 cd ngx_on_cpu_u//on-CPU kernelsh ngx_on_cpu_k.sh pid//进入结果目录 cd ngx_on_cpu_k//开一个临时端口 8088 python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

DEMO：

#include #include 
void foo3(){  }
void foo2(){    int i;    for(i=0 ; i < 10; i++)           foo3();}
void foo1(){    int i;  for(i = 0; i< 1000; i++)      foo3();}
int main(void){    int i;    for( i =0; i< 1000000000; i++) {          foo1();          foo2();    }}

DEMO火焰图：

9.4.2 off-CPU

cpu过低，利用率不高。等待下一轮CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

使用方式：

// off-CPU usersh ngx_off_cpu_u.sh pid//进入结果目录cd ngx_off_cpu_u//off-CPU kernelsh ngx_off_cpu_k.sh pid//进入结果目录cd ngx_off_cpu_k//开一个临时端口8088python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

官网DEMO：

9.5 内存级别火焰图

如果线上程序出现了内存泄漏，并且只在特定的场景才会出现。这个时候我们怎么办呢？有什么好的方式和工具能快速的发现代码的问题呢？同样内存级别火焰图帮你快速分析问题的根源。

使用方式：

sh ngx_on_memory.sh pid//进入结果目录cd ngx_on_memory//开一个临时端口8088python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

官网DEMO：

9.6 性能回退-红蓝差分火焰图

你能快速定位CPU性能回退的问题么？如果你的工作环境非常复杂且变化快速，那么使用现有的工具是来定位这类问题是很具有挑战性的。当你花掉数周时间把根因找到时，代码已经又变更了好几轮，新的性能问题又冒了出来。主要可以用到每次构建中，每次上线做对比看，如果损失严重可以立马解决修复。

通过抓取了两张普通的火焰图，然后进行对比，并对差异部分进行标色：红色表示上升，蓝色表示下降。差分火焰图是以当前（“修改后”）的profile文件作为基准，形状和大小都保持不变。因此你通过色彩的差异就能够很直观的找到差异部分，且可以看出为什么会有这样的差异。

使用方式：

cd quick_location//抓取代码修改前的profile 1文件perf record -F 99 -p pid -g -- sleep 30perf script > out.stacks1//抓取代码修改后的profile 2文件perf record -F 99 -p pid -g -- sleep 30perf script > out.stacks2//生成差分火焰图:./FlameGraph/stackcollapse-perf.pl ../out.stacks1 > out.folded1./FlameGraph/stackcollapse-perf.pl ../out.stacks2 > out.folded2./FlameGraph/difffolded.pl out.folded1 out.folded2 | ./FlameGraph/flamegraph.pl > diff2.svg

DEMO：

//test.c#include #include 
void foo3(){  }
void foo2(){    int i;    for(i=0 ; i < 10; i++)      foo3();}
void foo1(){    int i;    for(i = 0; i< 1000; i++)       foo3();}
int main(void){    int i;  for( i =0; i< 1000000000; i++) {      foo1();      foo2();    }}
//test1.c#include #include 
void foo3(){
}
void foo2(){  int i;  for(i=0 ; i < 10; i++)         foo3();}
void foo1(){    int i;    for(i = 0; i< 1000; i++)         foo3();}
void add(){    int i;    for(i = 0; i< 10000; i++)       foo3();}
int main(void){    int i;    for( i =0; i< 1000000000; i++) {    foo1();    foo2();    add();  }}

DEMO红蓝差分火焰图：

10. 案例分析

10.1 接入层nginx集群异常现象

10.2 分析nginx相关指标

a) **分析nginx请求流量：

结论：

通过上图发现流量并没有突增，反而下降了，跟请求流量突增没关系。

b) **分析nginx响应时间

结论：

通过上图发现nginx的响应时间有增加可能跟nginx自身有关系或者跟后端upstream响应时间有关系。

c) **分析nginx upstream响应时间

结论：

通过上图发现nginx upstream 响应时间有增加，目前猜测可能后端upstream响应时间拖住nginx，导致nginx出现请求流量异常。

10.3 分析系统cpu情况

a) **通过top观察系统指标

top

结论：

发现nginx worker cpu比较高

b) **分析nginx进程内部cpu情况

perf top -p pid

结论：

发现主要开销在free,malloc,json解析上面

10.4 火焰图分析cpu
a) **生成用户态cpu火焰图

//on-CPU usersh ngx_on_cpu_u.sh pid//进入结果目录cd ngx_on_cpu_u//开一个临时端口8088python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

结论：

发现代码里面有频繁的解析json操作，并且发现这个json库性能不高，占用cpu挺高。

10.5 案例总结

a) 分析请求流量异常，得出nginx upstream后端机器响应时间拉长

b) 分析nginx进程cpu高，得出nginx内部模块代码有耗时的json解析以及内存分配回收操作

10.5.1 深入分析

根据以上两点问题分析的结论，我们进一步深入分析。

后端upstream响应拉长，最多可能影响nginx的处理能力。但是不可能会影响nginx内部模块占用过多的cpu操作。并且当时占用cpu高的模块，是在请求的时候才会走的逻辑。不太可能是upstram后端拖住nginx，从而触发这个cpu的耗时操作。

10.5.2 解决方式

遇到这种问题，我们优先解决已知的，并且非常明确的问题。那就是cpu高的问题。解决方式先降级关闭占用cpu过高的模块，然后进行观察。经过降级关闭该模块cpu降下来了，并且nginx请求流量也正常了。之所以会影响upstream时间拉长，因为upstream后端的服务调用的接口可能是个环路再次走回到nginx。

11.参考资料

• http://www.brendangregg.com/index.html

• http://www.brendangregg.com/FlameGraphs/cpuflamegraphs.html

• http://www.brendangregg.com/FlameGraphs/memoryflamegraphs.html

• http://www.brendangregg.com/FlameGraphs/offcpuflamegraphs.html

• http://www.brendangregg.com/blog/2014-11-09/differential-flame-graphs.html

• https://github.com/openresty/openresty-systemtap-toolkit

• https://github.com/brendangregg/FlameGraph

• https://www.slideshare.net/brendangregg/blazing-performance-with-flame-graphs

# linux  # nginx  # json  # 接口  # 栈  # .net  # 线程  # 多线程  # github  # 算法  # http  # openresty  # 响应时间  # 的是  # 后端  # 过高  # 统计信息  # 都是  # 换页  # 打开浏览器  # 差分  # 上图 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 北京网站制作公司哪家好一点,北京租房网站有哪些？  如何在服务器上配置二级域名建站？  Edge浏览器如何截图和滚动截图_微软Edge网页捕获功能使用教程【技巧】  如何在橙子建站上传落地页？操作指南详解  如何在Tomcat中配置并部署网站项目？  Laravel如何编写单元测试和功能测试？（PHPUnit示例）  网页制作模板网站推荐,网页设计海报之类的素材哪里好？  如何获取上海专业网站定制建站电话？  小米17系列还有一款新机？主打6.9英寸大直屏和旗舰级影像  潮流网站制作头像软件下载,适合母子的网名有哪些？  Laravel如何创建自定义中间件？（Middleware代码示例）  Linux系统命令中screen命令详解  百度浏览器如何管理插件 百度浏览器插件管理方法  Laravel storage目录权限问题_Laravel文件写入权限设置  Laravel如何使用Scope本地作用域_Laravel模型常用查询逻辑封装技巧【手册】  米侠浏览器网页图片不显示怎么办 米侠图片加载修复  广州网站制作公司哪家好一点,广州欧莱雅百库网络科技有限公司官网？  SQL查询语句优化的实用方法总结  jQuery validate插件功能与用法详解  怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm，可以有哪些措施降低舍内氨气水平？  如何在万网自助建站平台快速创建网站？  Android中Textview和图片同行显示(文字超出用省略号，图片自动靠右边)  高性能网站服务器部署指南：稳定运行与安全配置优化方案  网站优化排名时，需要考虑哪些问题呢？  Android自定义控件实现温度旋转按钮效果  JavaScript如何实现类型判断_typeof和instanceof有什么区别  佛山网站制作系统,佛山企业变更地址网上办理步骤？  如何用手机制作网站和网页,手机移动端的网站能制作成中英双语的吗？  如何正确下载安装西数主机建站助手？  Windows11怎样设置电源计划_Windows11电源计划调整攻略【指南】  JavaScript模板引擎Template.js使用详解  如何在 Pandas 中基于一列条件计算另一列的分组均值  如何快速搭建高效香港服务器网站？  javascript中闭包概念与用法深入理解  HTML5空格在Angular项目里怎么处理_Angular中空格的渲染问题【详解】  phpredis提高消息队列的实时性方法(推荐)  小视频制作网站有哪些,有什么看国内小视频的网站，求推荐？  Win11应用商店下载慢怎么办 Win11更改DNS提速下载【修复】  免费视频制作网站,更新又快又好的免费电影网站？  javascript基于原型链的继承及call和apply函数用法分析  Laravel Blade模板引擎语法_Laravel Blade布局继承用法  php485函数参数是什么意思_php485各参数详细说明【介绍】  车管所网站制作流程,交警当场开简易程序处罚决定书，在交警网站查询不到怎么办？  Laravel怎么实现前端Toast弹窗提示_Laravel Session闪存数据Flash传递给前端【方法】  浅谈javascript alert和confirm的美化  Laravel如何自定义错误页面（404, 500）？（代码示例）  Laravel如何获取当前登录用户信息_Laravel Auth门面使用与Session用户读取【技巧】  如何快速打造个性化非模板自助建站？  如何在云主机上快速搭建多站点网站？  QQ浏览器网页版登录入口 个人中心在线进入