前言
在應用開發的早期,數據量少,開發人員開發功能時更重視功能上的實現,隨著生產數據的增長,很多 SQL 語句開始暴露出性能問題,對生產的影響也越來越大,有時可能這些有問題的 SQL 就是整個系統性能的瓶頸。
SQL 優化一般步驟
| 通過慢查日志等定位那些執行效率較低的 SQL 語句| 分析SQL的執行計劃
需要重點關注 type、rows、、extra。
type 由上至下,效率越來越高:
Extra:
| show 分析
了解 SQL 執行的線程的狀態及消耗的時間。
默認是關閉的,開啟語句“set = 1;”
SHOWPROFILES;
SHOWPROFILEFORQUERY#{id};
| 分析優化器如何選擇執行計劃,通過 trace 文件能夠進一步了解為什么優惠券選擇 A 執行計劃而不選擇 B 執行計劃。
setoptimizer_trace="enabled=on";
setoptimizer_trace_max_mem_size=1000000;

select*frominformation_schema.optimizer_trace;
| 確定問題并采用相應的措施
如下:
場景分析
| 案例 1:最左匹配索引:
KEY`idx_shopid_orderno`(`shop_id`,`order_no`)
SQL 語句:
select*from_twhereorderno=''
查詢匹配從左往右匹配,要使用 走索引,必須查詢條件攜帶 或者索引(,)調換前后順序。
| 案例 2:隱式轉換索引:
KEY`idx_mobile`(`mobile`)
SQL 語句:
select*from_userwheremobile=12345678901
隱式轉換相當于在索引上做運算,會讓索引失效。 是字符類型,使用了數字,應該使用字符串匹配,否則 MySQL 會用到隱式替換,導致索引失效。
| 案例 3:大分頁索引:
KEY`idx_a_b_c`(`a`,`b`,`c`)
SQL 語句:
select*from_twherea=1andb=2orderbycdesclimit10000,10;
對于大分頁的場景,可以優先讓產品優化需求,如果沒有優化的sql中兩表關聯條件,有如下兩種優化方式:
SQL 改動如下:
selectt1.*from_tt1,(selectidfrom_twherea=1andb=2orderbycdesclimit10000,10)t2wheret1.id=t2.id;
| 案例 4:in + order by索引:
KEY`idx_shopid_status_created`(`shop_id`,`order_status`,`created_at`)
SQL 語句:
select*from_orderwhereshop_id=1andorder_statusin(1,2,3)orderbycreated_atdesclimit10
in 查詢在 MySQL 底層是通過 n*m 的方式去搜索,類似 union,但是效率比 union 高。
in 查詢在進行 cost 代價計算時(代價 = 元組數 * IO 平均值),是通過將 in 包含的數值,一條條去查詢獲取元組數的,因此這個計算過程會比較的慢。
所以 MySQL 設置了個臨界值(limit),5.6 之后超過這個臨界值后該列的 cost 就不參與計算了。因此會導致執行計劃選擇不準確。
默認是 200,即 in 條件超過了 200 個數據,會導致 in 的代價計算存在問題,可能會導致 MySQL 選擇的索引不準確。
處理方式:可以(,)互換前后順序,并且調整 SQL 為延遲關聯。
| 案例 5:范圍查詢阻斷,后續字段不能走索引索引:
KEY`idx_shopid_created_status`(`shop_id`,`created_at`,`order_status`)
SQL 語句:
select*from_orderwhereshop_id=1andcreated_at>'2021-01-010000'andorder_status=10
范圍查詢還有“IN、”。
| 案例 6:不等于、不包含不能用到索引的快速搜索可以用到 ICP:
select*from_orderwhereshop_id=1andorder_statusnotin(1,2)
select*from_orderwhereshop_id=1andorder_status!=1
在索引上,避免使用 NOT、!=、、!、NOT 、NOT IN、NOT LIKE等。
| 案例 7:優化器選擇不使用索引的情況如果要求訪問的數據量很小,則優化器還是會選擇輔助索引,但是當訪問的數據占整個表中數據的蠻大一部分時(一般是 20% 左右),優化器會選擇通過聚集索引來查找數據。
select*from_orderwhereorder_status=1
查詢出所有未支付的訂單,一般這種訂單是很少的,即使建了索引sql中兩表關聯條件,也沒法使用索引。
| 案例 8:復雜查詢
selectsum(amt)from_twherea=1andbin(1,2,3)andc>'2020-01-01';
select*from_twherea=1andbin(1,2,3)andc>'2020-01-01'limit10;
如果是統計某些數據,可能改用數倉進行解決;如果是業務上就有那么復雜的查詢,可能就不建議繼續走 SQL 了,而是采用其他的方式進行解決,比如使用 ES 等進行解決。
| 案例 9:asc 和 desc 混用
select*from_twherea=1orderbybdesc,casc
desc 和 asc 混用時會導致索引失效。
| 案例 10:大數據
對于推送業務的數據存儲,可能數據量會很大,如果在方案的選擇上,最終選擇存儲在 MySQL 上,并且做 7 天等有效期的保存。
那么需要注意,頻繁的清理數據,會照成數據碎片,需要聯系 DBA 進行數據碎片處理。