概述
如果你的Linux服務器突然負載暴增，告警短信快發爆你的手機，如何在最短時間內找出Linux性能問題所在？來看性能工程團隊的這篇博文，看它們通過十條命令在一分鐘內對機器性能問題進行診斷。
通過執行以下命令，可以在1分鐘內對系統資源使用情況有個大致的了解。
其中一些命令需要安裝包，有一些由包提供。這些命令的輸出，有助于快速定位性能瓶頸，檢查出所有資源（CPU、內存、磁盤IO等）的利用率（）、飽和度（）和錯誤（error）度量，也就是所謂的USE方法。
下面我們來逐一介紹下這些命令，有關這些命令更多的參數和說明，請參照命令的手冊。
$ :51:26 up 21:31, 1 user, load : 30.02, 26.43, 19.02
這個命令可以快速查看機器的負載情況。在Linux系統中，這些數據表示等待CPU資源的進程和阻塞在不可中斷IO進程（進程狀態為D）的數量。這些數據可以讓我們對系統資源使用有一個宏觀的了解。
命令的輸出分別表示1分鐘、5分鐘、15分鐘的平均負載情況。通過這三個數據，可以了解服務器負載是在趨于緊張還是區域緩解。如果1分鐘平均負載很高，而15分鐘平均負載很低，說明服務器正在命令高負載情況，需要進一步排查CPU資源都消耗在了哪里。反之，如果15分鐘平均負載很高，1分鐘平均負載較低，則有可能是CPU資源緊張時刻已經過去。
上面例子中的輸出，可以看見最近1分鐘的平均負載非常高，且遠高于最近15分鐘負載，因此我們需要繼續排查當前系統中有什么進程消耗了大量的資源。可以通過下文將會介紹的、等命令進一步排查。
dmesg | tail
$ dmesg | tail[.] perl oom-: =, order=0, =0[...][.] Out of : Kill 18694 (perl) score 246 or child[.] 18694 (perl) total-vm:, anon-rss:, file-rss:0kB[.] TCP: SYN on port 7001. . Check SNMP .
該命令會輸出系統日志的最后10行。示例中的輸出，可以看見一次內核的oom kill和一次TCP丟包。這些日志可以幫助排查性能問題。千萬不要忘了這一步。
1
$ ------------------- ---swap-- -----io---- --- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st34 0 0 208 0 0 0 5 6 10 96 1 3 0 032 0 0 208 0 0 0 592 13284 4282 98 1 1 0 032 0 0 208 0 0 0 0 9501 2154 99 1 0 0 032 0 0 202 0 0 0 48 11900 2459 99 0 0 0 032 0 0 202 0 0 0 0 15898 4840 98 1 1 0 0^C
(8) 命令，每行會輸出一些系統核心指標，這些指標可以讓我們更詳細的了解系統狀態。后面跟的參數1，表示每秒輸出一次統計信息，表頭提示了每一列的含義，這幾介紹一些和性能調優相關的列：
上述這些CPU時間，可以讓我們很快了解CPU是否出于繁忙狀態。一般情況下，如果用戶時間和系統時間相加非常大，CPU出于忙于執行指令。如果IO等待時間很長，那么系統的瓶頸可能在磁盤IO。
示例命令的輸出可以看見，大量CPU時間消耗在用戶態，也就是用戶應用程序消耗了CPU時間。這不一定是性能問題，需要結合r隊列，一起分析。
-P ALL 1
$ -P ALL 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)07:38:49 PM CPU %usr %nice %sys % %irq %soft %steal %guest %gnice %:38:50 PM all 98.47 0.00 0.75 0.00 0.00 0.00 0.00 0.00 0.00 0.7807:38:50 PM 0 96.04 0.00 2.97 0.00 0.00 0.00 0.00 0.00 0.00 0.9907:38:50 PM 1 97.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 2.0007:38:50 PM 2 98.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 1.0007:38:50 PM 3 96.97 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 3.03[...]
該命令可以顯示每個CPU的占用情況linux查看可用空間，如果有一個CPU占用率特別高，那么有可能是一個單線程應用程序引起的。
1
$ 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)07:41:02 PM UID PID %usr % %guest %CPU CPU :41:03 PM 0 9 0.00 0.94 0.00 0.94 1 rcuos/007:41:03 PM 0 4214 5.66 5.66 0.00 11.32 15 mesos-:41:03 PM 0 4354 0.94 0.94 0.00 1.89 8 :41:03 PM 0 6521 1596.23 1.89 0.00 1598.11 27 :41:03 PM 0 6564 1571.70 7.55 0.00 1579.25 28 :41:03 PM 60004 60154 0.94 4.72 0.00 5.66 9 :41:03 PM UID PID %usr % %guest %CPU CPU :41:04 PM 0 4214 6.00 2.00 0.00 8.00 15 mesos-:41:04 PM 0 6521 1590.00 1.00 0.00 1591.00 27 :41:04 PM 0 6564 1573.00 10.00 0.00 1583.00 28 :41:04 PM 108 6718 1.00 0.00 0.00 1.00 0 snmp-:41:04 PM 60004 60154 1.00 4.00 0.00 5.00 9 ^C
命令輸出進程的CPU占用率，該命令會持續輸出，并且不會覆蓋之前的數據，可以方便觀察系統動態。如上的輸出，可以看見兩個JAVA進程占用了將近1600%的CPU時間，既消耗了大約16個CPU核心的運算資源。
-xz 1
$ -xz 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)avg-cpu: %user %nice % % %steal %idle 73.96 0.00 3.73 0.03 0.06 22.: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm % 0.00 0.23 0.21 0.18 4.52 2.08 34.37 0.00 9.98 13.80 5.42 2.44 0. 0.01 0.00 1.02 8.94 127.97 598.53 145.79 0.00 0.43 1.78 0.28 0.25 0. 0.01 0.00 1.02 8.86 127.79 595.94 146.50 0.00 0.45 1.82 0.30 0.27 0.26dm-0 0.00 0.00 0.69 2.32 10.47 31.69 28.01 0.01 3.23 0.71 3.98 0.13 0.04dm-1 0.00 0.00 0.00 0.94 0.01 3.78 8.00 0.33 345.84 0.04 346.81 0.01 0.00dm-2 0.00 0.00 0.09 0.07 1.35 0.36 22.50 0.00 2.55 0.23 5.62 1.78 0.03[...]^C
命令主要用于查看機器磁盤IO情況。該命令輸出的列，主要含義是：
如果顯示的是邏輯設備的數據，那么設備利用率不代表后端實際的硬件設備已經飽和。值得注意的是，即使IO性能不理想，也不一定意味這應用程序性能會不好，可以利用諸如預讀取、寫緩存等策略提升應用性能。
free –m
$ free -m total used free : 24545 83 59 541-/+ /cache: 23944 : 0 0 0
free命令可以查看系統內存的使用情況，-m參數表示按照兆字節展示。最后兩列分別表示用于IO緩存的內存數，和用于文件系統頁緩存的內存數。需要注意的是，第二行-/+ /cache，看上去緩存占用了大量內存空間。這是Linux系統的內存使用策略，盡可能的利用內存，如果應用程序需要內存，這部分內存會立即被回收并分配給應用程序。因此，這部分內存一般也被當成是可用內存。
如果可用內存非常少，系統可能會動用交換區（如果配置了的話），這樣會增加IO開銷（可以在命令中提現），降低系統性能。
sar -n DEV 1
$ sar -n DEV 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)12:16:48 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s /s %:16:49 AM eth0 18763.00 5032.00 20686.42 478.30 0.00 0.00 0.00 0.0012:16:49 AM lo 14.00 14.00 1.36 1.36 0.00 0.00 0.00 0.0012:16:49 AM 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.0012:16:49 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s /s %:16:50 AM eth0 19763.00 5101.00 21999.10 482.56 0.00 0.00 0.00 0.0012:16:50 AM lo 20.00 20.00 3.25 3.25 0.00 0.00 0.00 0.0012:16:50 AM 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00^C
sar命令在這里可以查看網絡設備的吞吐率。在排查性能問題時，可以通過網絡設備的吞吐量linux查看可用空間，判斷網絡設備是否已經飽和。如示例輸出中，eth0網卡設備，吞吐率大概在22 /s，既176 Mbits/sec，沒有達到1Gbit/sec的硬件上限。
sar -n TCP,ETCP 1
$ sar -n TCP,ETCP 3.13.0-49- (-xxxxx) 07/14/2015 (32 CPU)12:17:19 AM /s /s iseg/s oseg/s12:17:20 AM 1.00 0.00 10233.00 18846.0012:17:19 AM /s /s /s /s orsts/s12:17:20 AM 0.00 0.00 0.00 0.00 0.0012:17:20 AM /s /s iseg/s oseg/s12:17:21 AM 1.00 0.00 8359.00 6039.0012:17:20 AM /s /s /s /s orsts/s12:17:21 AM 0.00 0.00 0.00 0.00 0.00^C
sar命令在這里用于查看TCP連接狀態，其中包括：
TCP連接數可以用來判斷性能問題是否由于建立了過多的連接，進一步可以判斷是主動發起的連接，還是被動接受的連接。TCP重傳可能是因為網絡環境惡劣，或者服務器壓力過大導致丟包。
top
$ - 00:15:40 up 21:56, 1 user, load : 31。09, 29。87, 29。: 871 total, 1 , 868 , 0 , 2 %Cpu(s): 96。8 us, 0。4 sy, 0。0 ni, 2。7 id, 0。1 wa, 0。0 hi, 0。0 si, 0。0 stKiB Mem: +total, used, +free, 60448 Swap: 0 total, 0 used, 0 free。 Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ 20248 root 20 0 0。227t 0。012t 18748 S 3090 5。2 29812:58 java 4213 root 20 0 64640 44232 S 23。
5 0。0 233:35。37 mesos-slave 66128 + 20 0 24344 2332 1172 R 1。0 0。0 0:00。07 top 5235 root 20 0 38。227g 49996 S 0。7 0。2 2:02。74 java 4299 root 20 0 20。015g 2。682g 16836 S 0。3 1。1 33:14。42 java 1 root 20 0 33620 2920 1496 S 0。0 0。0 0:03。82 init 2 root 20 0 0 0 0 S 0。0 0。0 0:00。02 3 root 20 0 0 0 0 S 0。0 0。0 0:05。35 /0 5 root 0 -20 0 0 0 S 0。0 0。0 0:00。00 /0:0H 6 root 20 0 0 0 0 S 0。0 0。0 0:06。94 /u256:0 8 root 20 0 0 0 0 S 0。0 0。0 2:38。05
top命令包含了前面好幾個命令的檢查的內容。比如系統負載情況（）、系統內存使用情況（free）、系統CPU使用情況（）等。因此通過這個命令，可以相對全面的查看系統負載的來源。同時，top命令支持排序，可以按照不同的列排序，方便查找出諸如內存占用最多的進程、CPU占用率最高的進程等。
但是，top命令相對于前面一些命令，輸出是一個瞬間值，如果不持續盯著，可能會錯過一些線索。這時可能需要暫停top命令刷新，來記錄和比對數據。
排查Linux服務器性能問題還有很多工具，上面介紹的一些命令，可以幫助我們快速的定位問題。例如前面的示例輸出，多個證據證明有JAVA進程占用了大量CPU資源，之后的性能調優就可以針對應用程序進行