linux宕機日誌在「/var/log/」;linux下的「/var/log/」的log日誌,包括message、核心報錯日誌demsg等;其中sa記錄是記錄cpu、記憶體等運作的效能檔案;利用sa檔案可以查看宕機時CPU和記憶體狀況。
本教學操作環境:linux5.9.8系統、Dell G3電腦。
linux 宕機日誌在哪?
linux主機宕機排查思路
原因分析
伺服器分類,web伺服器,資料庫伺服器,檔案伺服器,中間件,其它伺服器。
web伺服器分析:常見的web應用apache,nginx,IIS等。
宕機原因很多,cpu,內存,IO磁碟,應用BUG,核心BUG,硬體等
系統和核心版本
流程
1.查看宕機的時間記錄和歷史登陸還有重啟時間
last reboot
last -F | grep crash
查看歷史登陸有沒有異常的使用者
last
2.首先查看系統日誌。如linux下的/var/log/下的log日誌,包括message,內核報錯日誌demsg等等,sa記錄,是記錄cpu,內存等運行的性能文件,記錄運行時的cpu的運行狀態如圖所示。
利用sa檔案檢視宕機時CPU狀況
#利用sa檔案檢視宕機時記憶體狀況
日誌量往往很大
還可以進行模糊查詢,如
查看報錯
tail -200 /var/log/messages |grep "Error" cat /var/log/dmesg |grep "Error"
查看內核崩潰日誌
tail -200 /car/log/messages |grep "crash"
查看是否出現OOM,一般會出現kill殺死程序的情況
cat /var/log/messages |grep -i "kill"
還可以查看宕機時間段的日誌,查看12月11日15點的日誌
cat /vat/log/messages |grep "Feb 11 15*"
3.查看記憶體使用
free -m,查看swap的使用和記憶體剩餘情況和快取。如果swap用了,而且available也不夠了,具體也要查看參數cat /proc/sys/vm/swappiness,如果設定為0,表示記憶體不夠了。
4.查看io和檔案系統使用
觀察idle和iowait。磁碟讀寫時會用到緩存,一般為系統內存的40%,但是中間有一個緩衝時間120秒,將要用完這個緩存時,且會等待120秒,才會寫入磁盤,在讀寫頻繁的時候容易造成hang住的狀況。
查看IO的讀寫速度,如果很慢說明磁碟效能出現瓶頸。
檔案系統使用
#5.查看安全日誌
安全日誌為/var/ log/secure,查看history記錄,查看是否有人登陸主機並做了惡意動作,例如關機。
6.利用kdump和crash工具分析內核
檢查伺服器開啟了kdump服務,並在/var/crash目錄找到了當天生成的vmcore檔,使用crash工具分析vmcore檔。
Kdump 用於對記憶體鏡像的轉儲,它不僅可以轉儲記憶體鏡像到本地硬碟,還可以將記憶體鏡像通過NFS,SSH 等協定轉儲到不同機器的裝置上。
Kdump 分成兩個元件:Kexec 和Kdump。
Kexec 是一種核心的快速啟動工具,可以使新的核心在正在運行的核心(生產核心)的上下文中啟動,而不需要透過耗時的BIOS 檢測,方便核心開發人員對內核進行調試。
Kdump 是一種有效的記憶體轉儲工具,啟用Kdump 後,生產內核將會保留一部分記憶體空間,用於在核心崩潰時透過Kexec 快速啟動到新的內核,這個過程不需要重啟系統,因此可以轉儲崩潰的生產核心的記憶體鏡像。
7.查看服務日誌和監控軟體
如果在能找到宕機時進程的佔用情況,可以根據佔用異常的服務查看其日誌。
服務日誌一般有資料庫和web服務,中間件,框架等。
也可以查看監控軟體的歷史記錄影像,找到峰值點和宕機時間點的影像分析如下圖。
8.總結
系統宕機的原因很多,需要我們細心的依照流程分析,
相關推薦:《Linux影片教學》
以上是linux 宕機日誌在哪的詳細內容。更多資訊請關注PHP中文網其他相關文章!