急診風(fēng)云—突發(fā)監(jiān)控告警

　　嗚瓦~~嗚瓦~~

　　午夜十二點(diǎn)，KMonitor生命聯(lián)動(dòng)系統(tǒng)在監(jiān)測到金小倉的內(nèi)存壓力過高后立即報(bào)警，120指揮中心接到警報(bào)，迅速派出救護(hù)車將金小倉送到了西虹市市立醫(yī)院的急診科，病人情況危急速請(qǐng)華生·K醫(yī)生到診室1進(jìn)行會(huì)診，醫(yī)生華生·K接過KMonitor內(nèi)存告警單，仔細(xì)查看起來。

　　KMonitor內(nèi)存監(jiān)測圖、告警單

　　“一般是查詢量突然增多導(dǎo)致的內(nèi)存壓力突增，先增加物理內(nèi)存試試吧。”??華生·K醫(yī)生給金小倉插入了一根新的內(nèi)存條?？粗鴥?nèi)存監(jiān)測圖中慢慢降下來的壓力值，他輕輕地拍了拍金小倉安慰道：“別怕，只是查詢量突增而已，加根內(nèi)存條不就好了嘛?！彪S后，金小倉接過病歷單長舒一口氣，心想還好身體內(nèi)置了KMonitor芯片，可以與醫(yī)院實(shí)時(shí)聯(lián)動(dòng)，及時(shí)發(fā)現(xiàn)處理問題。

　　硬核復(fù)診—高效處理故障

　　時(shí)隔兩周，金小倉又出現(xiàn)在市立醫(yī)院的數(shù)據(jù)庫門診大廳，這次的他似乎神情略顯呆滯，慢吞吞地進(jìn)入診室。今天是華生·K醫(yī)生坐診，金小倉說道：“大夫，一周前客戶新增了應(yīng)用系統(tǒng)的業(yè)務(wù)模塊，就開始覺得自己呆呆的，不知道哪里出了問題。”華生·K醫(yī)生檢查起金小倉的基本狀態(tài)：舌苔暗沉、脈搏波動(dòng)略慢。“從這些癥狀來看，基本確定是因?yàn)樽罱恢芡辉龃罅繑?shù)據(jù)庫鏈接，導(dǎo)致查詢壓力過大，從而產(chǎn)生的鎖競爭情況格外突出，同時(shí)CPU應(yīng)該有瓶頸?！??華生·K醫(yī)生依靠多年的臨床經(jīng)驗(yàn)心中慢慢分析，同時(shí)說道，“再做個(gè)KMonitor檢查，它出具的檢查報(bào)告更加詳細(xì)，可以確定問題根源對(duì)癥下藥，順便再檢查下最近的內(nèi)存問題，看看有沒有異常波動(dòng)?！??華生·K醫(yī)生將目前發(fā)現(xiàn)的問題簡單列到了病歷上。

　　隨后，便引金小倉進(jìn)入了里面的檢查室。

　　“躺下不要?jiǎng)?，靜下心來，深呼吸……”，一邊說著，華生·K醫(yī)生一邊操作著新引進(jìn)的KMonitor設(shè)備為金小倉做全身掃描檢查。片刻后，一張張檢查報(bào)告自動(dòng)打印了出來。

　　華生·K醫(yī)生盯著KMonitor出具的內(nèi)存檢查報(bào)告，看來新增的業(yè)務(wù)模塊對(duì)內(nèi)存的壓力還是很大的，內(nèi)存使用率都到95%了。

　　緊接著，華生·K醫(yī)生查看了KMonitor輸出的KingbaseES性能報(bào)告，最近兩周以來，數(shù)據(jù)庫鏈接持續(xù)增長，緩存命中率逐步降低，說明前期的診斷方向是正確的，提高內(nèi)存容量解決了部分問題。

　　隨后華生·K醫(yī)生又翻看了近一個(gè)月來整體的性能壓力走勢圖，心中沉思道“壓力持續(xù)增長，可以考慮擴(kuò)容節(jié)點(diǎn)，搞成讀寫分離集群形勢，可以讓備節(jié)點(diǎn)分擔(dān)一些查詢壓力?！?/p>

　　最后華生·K醫(yī)生通過KMonitor檢查了金小倉的SQL查詢情況，查詢報(bào)告中顯示出了“響應(yīng)時(shí)間抖動(dòng)最嚴(yán)重語句”“平均查詢時(shí)間最慢語句”等信息，華生·K醫(yī)生挨個(gè)語句進(jìn)行分析：

　　SQL語句的抖動(dòng)應(yīng)該與硬件資源壓力有關(guān)，壓力一大同樣的查詢數(shù)據(jù)庫相應(yīng)的時(shí)間就會(huì)增大，這個(gè)需要升級(jí)硬件或者擴(kuò)容解決。

　　慢SQL的問題，前面兩個(gè)語句都是perf表的查詢，響應(yīng)時(shí)間高達(dá)1s多，看來是這個(gè)表太大又沒有建立索引的問題。

　　華生·K醫(yī)生依據(jù)KMonitor的檢查報(bào)告，又對(duì)病歷做了調(diào)整，同時(shí)提醒金小倉：“KMonitor是KingbaseES的專用檢查工具，可以做全身的體檢，提早發(fā)現(xiàn)隱患問題，像你這種情況需要定期過來檢查一遍，不適及時(shí)就診?！?/p>

　　金小倉按照病歷指導(dǎo)擴(kuò)容了一個(gè)節(jié)點(diǎn)，又找推拿師針對(duì)大容量的幾個(gè)表(比如perf表)做了分區(qū)并重新建立索引，調(diào)整了數(shù)據(jù)庫參數(shù)，新增了鏈接池模塊，似乎又回到了之前無憂無慮的快樂時(shí)光，客戶投訴率下降了好多。

　　3

　　體檢日記—預(yù)估潛在風(fēng)險(xiǎn)

　　一個(gè)月后，華生·K醫(yī)生照常在坐診，金小倉看著華生·K醫(yī)生說：“華生醫(yī)生，我現(xiàn)在狀態(tài)好多了，不過昨天突然心跳加速了一下，當(dāng)即掛了您的號(hào)，趕緊過來看看是怎么回事?”

　　華生·K醫(yī)生盯著前幾次的病歷記錄陷入沉思：這種異常情況難道是最近頻繁更換硬件的副作用嗎，但從升級(jí)報(bào)告來看是做過兼容壓力測試的啊?！安粫?huì)是器質(zhì)性病變前兆吧，只能再做次KMonitor檢查了。”

　　金小倉照舊躺在KMonitor檢查艙中，旁邊的華生·K醫(yī)生翻看起KMonitor吐出的一份份檢查報(bào)告。

　　突然這份服務(wù)器資源監(jiān)測報(bào)告引起了華生·K醫(yī)生的注意，在昨天12:00時(shí)CPU、內(nèi)存、磁盤壓力出現(xiàn)突刺現(xiàn)象，奇怪的是磁盤讀寫速率很低但磁盤使用率卻高達(dá)75%。

　　華生·K醫(yī)生使用KMonitor的磁盤檢測工具對(duì)所有磁盤做了一次全面掃描，發(fā)現(xiàn)一塊硬盤出現(xiàn)了十幾次C5警告，這是硬盤壞道的警告提示，華生·K醫(yī)生恍然大悟，看來它就是導(dǎo)致心跳加速的罪魁禍?zhǔn)?，幸虧有KMonitor這個(gè)集成化的監(jiān)測平臺(tái)，不然定位這個(gè)問題可就麻煩了。

　　“你心跳加速的原因找到了，這塊硬盤即將出現(xiàn)壞道……”華生·K醫(yī)生終于分析完所有報(bào)告，給出了最終結(jié)論，自己也長舒了一口氣。

　　“壞道，竟然是壞道……”金小倉像是聽到了催命符一般，“還好來醫(yī)院檢查了，不然造成丟數(shù)事故后果不堪設(shè)想，我的年終績效就泡湯了。K醫(yī)生這個(gè)檢查設(shè)備真厲害啊，這種問題都能查出來!”

　　華生·K醫(yī)生往常對(duì)丟數(shù)病患也是頭疼，出了丟數(shù)問題修復(fù)困難，另一方面也沒有好的手段預(yù)防。

　　但好在有了KMonitor監(jiān)測工具，可以提前預(yù)警：“這是新引進(jìn)的設(shè)備KMointor，以后繼續(xù)定期來醫(yī)院體檢，它會(huì)提前預(yù)警很多疾病;你體內(nèi)的KMonitor芯片一直在監(jiān)測各種指標(biāo)，一旦有異常情況會(huì)及時(shí)告警，我們醫(yī)院也會(huì)收到警告信息，及時(shí)為你提供針對(duì)性的解決方案?！?/p>

　　金小倉毫不猶豫地更換了硬盤并利用備份集做了恢復(fù)，多虧了KMonitor及早處理隱患，防患于未然。走出醫(yī)院的金小倉，嘴角微微揚(yáng)起，整個(gè)人彷佛脫胎換骨一般，因?yàn)樗荔w內(nèi)的KMonitor芯片正在實(shí)時(shí)地守護(hù)著自己。

　　華生·K醫(yī)生看著金小倉離開的背影，拿起電話：“福爾摩斯·K先生，我是華生，我回來了!”。

　　當(dāng)前疫情形勢依舊嚴(yán)峻，無數(shù)的企業(yè)、家庭和個(gè)人被籠罩在疫情的巨大陰影之下。

　　結(jié)語

　　在這場看不見硝煙的戰(zhàn)斗中，一線疫情防控工作者們默默堅(jiān)守在自己的崗位上，為大眾做好健康防護(hù)工作。

　　然而，昔日奔波于各個(gè)客戶現(xiàn)場的數(shù)據(jù)庫實(shí)施運(yùn)維和DBA，受疫情影響活動(dòng)受限，只能在客戶求助時(shí)遠(yuǎn)程介入，無法周期性巡檢。因此，那些在周期性巡檢時(shí)就能發(fā)現(xiàn)并解決的問題，例如數(shù)據(jù)庫性能降低、硬件資源出現(xiàn)告警、CPU使用率過高、磁盤空間不足、網(wǎng)絡(luò)延遲超長等，對(duì)于居家隔離的數(shù)據(jù)庫實(shí)施運(yùn)維和DBA而言，就變得鞭長莫及，只能在這些問題演變成了事故時(shí)四處救火。

　　人大金倉KMonitor于此時(shí)橫空出世，立志成為數(shù)據(jù)庫背后的孤勇者，為購買使用金倉數(shù)據(jù)庫的用戶保駕護(hù)航，時(shí)刻關(guān)注他們?cè)谏a(chǎn)環(huán)境下金倉數(shù)據(jù)庫的健康狀況，一旦發(fā)現(xiàn)問題及時(shí)告警，幫助DBA和用戶及早處理隱患，防患于未然。

　　數(shù)據(jù)庫的健康守護(hù)者——KMonitor，于無聲處默默地堅(jiān)守自己的崗位，保障數(shù)據(jù)庫的健康運(yùn)行，保護(hù)用戶數(shù)據(jù)的安全。