前言
halo,相信大家一定過了一個很開心的端午節吧數據庫錯誤代碼2003,我看朋友圈里各種曬旅游,曬美食的,真是羨慕啊,不像我,感冒了只能在家擼文章。 當然,玩的多開心,節后上班就有多郁悶,假日綜合征可不是說說而已。對此我想表達的是,沒事,不用郁悶,來看我如何自爆家丑來讓你們開心下。
反常的sql語句
上周四午休時分,我正在工位上小憩,睡夢中仿佛看到了自己拿著李白在榮耀峽谷里大殺四方的情景,就在我剛拿完五殺準備帶領隊友推對面水晶的時候,一句慌亂急促的“糟了”把我從睡夢中驚醒。我瞇開朦朧的雙眼,才發現剛才的發聲來源于我的組長莊哥,看到他在緊張的點開日志系統查看日志,我預感到有什么不妙的事情發生,仔細一問才知道,原來就在我瞇眼的期間,線上數據庫服務器的CPU被打滿,同時觸發了生產數據庫只讀延遲的限定時間并且發出告警,而且告警的過程持續了半個小時。
這讓我倒吸了一口涼氣,因為我們組做的系統很多都用的是同一個數據庫服務器,日用戶活躍量有好幾十萬,如果服務器崩潰了將會使所有的系統服務都不可用,于是我們趕緊通過sql日志進行問題查找,最后排查出來是因為一張sql的高量查詢沒有走索引導致,日志列表顯示,這條sql語句的掃描行數達到了上百萬,基本就是全表掃描的情況,而且半個小時的時間查詢了達上萬次,每條sql查詢的耗時都在以上。我的天啊,難怪服務器會CPU打滿,這么一條耗時的sql語句查詢量這么大,數據庫的資源當然是直接就崩潰了,這是當時那條sql的查詢情況:
臨時處理
看了這條語句,我又倒吸一口涼氣,這不就是我寫的系統調用的sql語句嗎?完了,這回逃不掉了,真是人在睡夢里,鍋從天上來。
當然,因為是我自己寫的sql,所以我一看就知道這條語句是有問題的。
根據我的代碼處理,這條sql的調用還少了個重要的參數,這個參數沒有傳的話是不應該走這條sql查詢的,在我的設計里,該參數是數據表里一個聯合索引的最左側字段,如果該字段沒有傳值的話,那么索引就不會生效了。
KEY `idx_userfruitid_type` (`user_fruit_id`,`task_type`,`receive_start_time`,`receive_end_time`) USING BTREE
雖然定位到了sql語句,但是線上的問題刻不容緩,總不可能找出bug改完再上線吧,所以,我們只能做了一個臨時處理,就是在原來的表上多加了一個聯合索引,其實就是去掉了 字段,讓這些高量的查詢都能走新的索引,就像下面這樣
KEY `idx_task_type_receive_start_time` (`task_type`,`receive_start_time`,`receive_end_time`,`created_time`) USING BTREE
加上索引后,sql的掃描行數就大幅度的降低了,重啟實例后就又能正常運行了。
最左匹配原則
那么為什么最左側的字段沒傳索引就不生效了,這是因為MySQL的聯合索引是基于“最左匹配原則”匹配的。
我們都知道,索引的底層是B+樹結構,聯合索引的結構也是B+樹,只不過鍵值數量不是一個,而是多個,構建一顆B+樹只能根據一個值來構建,因此數據庫依據聯合索引最左的字段來構建B+樹。
例如我們用兩個字段(name,age)這個聯合索引來分析,
圖片來源于林曉斌老師的《MySQL實戰45講》課程,
當我們在where條件中查找name為“張三”的所有記錄的時候,可以快速定位到ID4,并且查出所有包含“張三”的記錄,而如果要查找“張三,10”這一條特定的數據,就可以用 name = "張三" and age = 10 獲取,因為聯合索引的鍵值對是兩個,所以只要前面的name確定的情況下就可以進一步定位到具體的age記錄,但是如果你的查詢條件只有age的話,那么索引就不會生效,因為沒有匹配最左邊的字段,后面所有的索引字段都不會生效,所以我之前寫的sql語句才會因為少了最左邊的字段而走了全表掃描的查詢方式。
正常來說,假設一個聯合索引設計成(a,b)這樣的結構的話,那么用a and b作為條件,或者a單獨作為查詢條件都會走索引,這種情況下我們就不要再為a字段單獨設計索引了。
但如果查詢條件里面只有b的語句,是無法使用(a,b)這個聯合索引的,這時候你不得不維護另外一個索引,也就是說你需要同時維護(a,b)、(b) 這兩個索引。
找出Bug
雖然臨時做了處理,但問題并不算解決,很明顯是系統出現了bug才會有走這樣的查詢條件。因為是我自己寫的代碼,所以知道是哪條sql后我就馬上定位到了代碼里的具體方法,后來才發現是因為我對字段的判空處理不生效所致。
因為該字段是從調用方傳過來的,所以我在方法參數里對該字段做了非空限制的注解,也就是javax包下的@,
public class GardenUserTaskListReq implements Serializable {
private static final long serialVersionUID = -9161295541482297498L;
@ApiModelProperty(notes = "水果id")

@NotNull(message = "水果id不能為空")
private Long userFruitId;
/**以下省略*/
.....................
}
雖然加上該注解來做非空校驗,但我卻沒有在參數加上另一個注解@,該注解如果沒加上的話,那么調用javax包下的校驗規則就都不生效,正確的寫法是在層方法的參數前面加上注解,
除此之外,因為這個字段是另一張表的主鍵,我在代碼里也沒有對這張表是否存在這個id做查詢判斷,這樣一來,無論調用方傳什么值過來都會直接觸發sql查詢,并且在不跑索引的情況下直接走全表掃描。
不得不說,這真是個低級錯誤,說真的,我對這個原因真是感到嘀笑皆非,再怎么說也工作幾年了,怎么還犯一些新手級別的錯誤呢,這臉打得真是讓我相當慚愧。
總結
雖然是低級錯誤,但造成的后果也算挺嚴重了,這次事件也讓我更加的警醒,在以后的開發工作中必須要遵守該有的原則數據庫錯誤代碼2003,大概有這么幾點:
1、不能相信調用端。重要的參數都要先做驗證,即使是非空值也需要做驗證,不符合條件的就要直接返回或拋異常,不能參與業務sql的查詢,否則頻繁的訪問也會對服務造成負擔。
2、sql語句要先做性能查詢。對于數據量大的表,建好索引后,所有的sql查詢語句要用檢測性能,并且根據結果來進一步優化索引。
3、代碼必須要。之前我沒有放太大的精力在代碼的上,雖說跟迭代排期的緊湊也有關系,但不管怎么說,bug確實是我的疏忽造成的,尤其是像空值這種細小的錯誤在Java里可以說家常便飯。千里之堤毀于蟻穴,有時一個小bug很容易就引發整個系統的崩盤,這一次的問題也讓我更加深刻的認識到了代碼的重要性,不管業務開發的工作量有多麻煩,這一步操作絕對不能忽視。
后續
知道了bug的原因,改完代碼當天就重新發布了,后來,莊哥告訴我說,為了以后讓組里的其他人對此次問題有所警戒,讓我寫一篇問題記錄總結一下,我想了一下,這不是我的強項啊,但怎么說也確實是自己的問題,還是老老實實的寫一下記錄好了。我本以為這樣就可以松一口氣了,可平哥 (組里的一位大佬) 卻突然用詭異的眼神看著我,語重心長的說,上次xxx也因為線上出現問題寫了報告,你這一次估計也不能例外了,可能要一萬字以上。我瞬間就感覺一個雷劈到了我頭上,蒼天啊。。。。。。