欧美vvv,亚洲第一成人在线,亚洲成人欧美日韩在线观看,日本猛少妇猛色XXXXX猛叫

作者：王帥
來源地址：https://yq.aliyun.com/articles/690978

使用阿里云rds for MySQL數據庫（就是.6版本），有個用戶上網記錄表6個月的數據量近2000萬，保留最近一年的數據量達到4000萬，查詢速度極慢，日常卡死。嚴重影響業務。

問題前提：老系統，當時設計系統的人大概是大學沒畢業，表設計和sql語句寫的不僅僅是垃圾，簡直無法直視。原開發人員都已離職，到我來維護，這就是傳說中的維護不了就跑路，然后我就是掉坑的那個！！！

我嘗試解決該問題，so，有個這個日志。

方案概述方案一：優化現有mysql數據庫。優點：不影響現有業務，源程序不需要修改代碼，成本最低。缺點：有優化瓶頸，數據量過億就玩完了。

方案二：升級數據庫類型，換一種100%兼容mysql的數據庫。優點：不影響現有業務，源程序不需要修改代碼，你幾乎不需要做任何操作就能提升數據庫性能，缺點：多花錢

方案三：一步到位，大數據解決方案，更換/nosql數據庫。優點：擴展性強，成本低，沒有數據容量瓶頸，缺點：需要修改源程序代碼

以上三種方案，按順序使用即可，數據量在億級別一下的沒必要換nosql，開發成本太高。三種方案我都試了一遍，而且都形成了落地解決方案。該過程心中慰問跑路的那幾個開發者一萬遍 :)

方案一詳細說明：優化現有mysql數據庫

跟阿里云數據庫大佬電話溝通 and 解決方案 and 問群里大佬，總結如下（都是精華）：

1.數據庫設計和表創建時就要考慮性能

2.sql的編寫需要注意優化

3.分區

4.分表

5.分庫

1.數據庫設計和表創建時就要考慮性能

mysql數據庫本身高度靈活，造成性能不足，嚴重依賴開發人員能力。也就是說開發人員能力高，則mysql性能高。這也是很多關系型數據庫的通病，所以公司的dba通常工資巨高。

設計表時要注意：

1.表字段避免null值出現，null值很難查詢優化且占用額外的索引空間，推薦默認數字0代替null。

2.盡量使用INT而非，如果非負則加上（這樣數值容量會擴大一倍）監控mysql表的數據變化，當然能使用、、更好。

3.使用枚舉或整數代替字符串類型

4.盡量使用而非

5.單表不要有太多字段，建議在20以內

6.用整型來存IP

索引

1.索引并不是越多越好，要根據查詢有針對性的創建，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據來查看是否用了索引還是全表掃描

2.應盡量避免在WHERE子句中對字段進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描

3.值分布很稀少的字段不適合建索引，例如"性別"這種只有兩三個值的字段

4.字符字段只建前綴索引

5.字符字段最好不要做主鍵

6.不用外鍵，由程序保證約束

7.盡量不用，由程序保證約束

8.使用多列索引時主意順序和查詢條件保持一致，同時刪除不必要的單列索引

簡言之就是使用合適的數據類型，選擇合適的索引

#選擇合適的數據類型

（1）使用可存下數據的最小的數據類型，整型 < date,time < char, < blob

（2）使用簡單的數據類型，整型比字符處理開銷更小，因為字符串的比較更復雜。如，int類型存儲時間類型，類型轉ip函數

（3）使用合理的字段屬性長度，固定長度的表會更快。使用enum、char而不是 （4）盡可能使用not null定義字段

（5）盡量少用text，非用不可最好分表

# 選擇合適的索引列

（1）查詢頻繁的列，在where，group by，order by，on從句中出現的列

（2）where條件中=，，in，以及like 字符串+通配符（%）出現的列

（3）長度小的列，索引字段越小越好，因為數據庫的存儲單位是頁，一頁中能存下的數據越多越好

（4）離散度大（不同的值多）的列，放在聯合索引前面。查看離散度，通過統計不同的列值來實現，count越大，離散程度越高：

原開發人員已經跑路，該表早已建立，我無法修改，故：該措辭無法執行，放棄！

2.sql的編寫需要注意優化

1.使用limit對查詢結果的記錄進行限定

2.避免 *，將需要查找的字段列出來

3.使用連接（join）來代替子查詢

4.拆分大的或語句

5.可通過開啟慢查詢日志來找出較慢的SQL

6.不做列運算： id WHERE age + 1 = 10，任何對列的操作都將導致表掃描，它包括數據庫教程函數、計算表達式等等，查詢時要盡可能將操作移至等號右邊

7.sql語句盡可能簡單：一條sql只能在一個cpu運算；大語句拆小語句，減少鎖時間；一條大sql可以堵死整個庫

8.OR改寫成IN：OR的效率是n級別，IN的效率是log(n)級別，in的個數建議控制在200以內

9.不用函數和觸發器，在應用程序實現

10.避免%xxx式查詢

11.少用JOIN

12.使用同類型進行比較，比如用'123'和'123'比，123和123比

13.盡量避免在WHERE子句中使用!=或操作符，否則將引擎放棄使用索引而進行全表掃描

14.對于連續數值，使用不用IN： id FROM t WHERE num 1 AND 5

15.列表數據不要拿全表，要使用LIMIT來分頁，每頁數量也不要太大

原開發人員已經跑路，程序已經完成上線，我無法修改sql，故：該措辭無法執行，放棄！引擎

引擎

目前廣泛使用的是和兩種引擎：

引擎是MySQL 5.1及之前版本的默認引擎，它的特點是：

1.不支持行鎖，讀取時對需要讀到的所有表加鎖，寫入時則對表加排它鎖

2.不支持事務

3.不支持外鍵

4.不支持崩潰后的安全恢復

5.在表有讀取查詢的同時，支持往表中插入新紀錄

6.支持BLOB和TEXT的前500個字符索引，支持全文索引

7.支持延遲更新索引，極大提升寫入性能

8.對于不會進行修改的表，支持壓縮表，極大減少磁盤空間占用

在MySQL 5.5后成為默認索引，它的特點是：

1.支持行鎖，采用MVCC來支持高并發

2.支持事務

3.支持外鍵

4.支持崩潰后的安全恢復

5.不支持全文索引

總體來講，適合密集型的表，而適合和密集型的表

速度可能超快，占用存儲空間也小，但是程序要求事務支持，故是必須的，故該方案無法執行，放棄！

3.分區

MySQL在5.1版引入的分區是一種簡單的水平拆分，用戶需要在建表的時候加上分區參數，對應用是透明的無需修改代碼

對用戶來說，分區表是一個獨立的邏輯表，但是底層由多個物理子表組成，實現分區的代碼實際上是通過對一組底層表的對象封裝，但對SQL層來說是一個完全封裝底層的黑盒子。MySQL實現分區的方式也意味著索引也是按照分區的子表定義，沒有全局索引

用戶的SQL語句是需要針對分區表做優化，SQL條件中要帶上分區條件的列，從而使查詢定位到少量的分區上，否則就會掃描全部分區，可以通過 來查看某條SQL語句會落在那些分區上，從而進行SQL優化，我測試，查詢時不帶分區條件的列，也會提高速度，故該措施值得一試。

分區的好處是：

1.可以讓單表存儲更多的數據

2.分區表的數據更容易維護，可以通過清楚整個分區批量刪除大量數據，也可以增加新的分區來支持新插入的數據。另外，還可以對一個獨立分區進行優化、檢查、修復等操作

3.部分查詢能夠從查詢條件確定只落在少數分區上，速度會很快

4.分區表的數據還可以分布在不同的物理設備上，從而搞笑利用多個硬件設備

5.可以使用分區表賴避免某些特殊瓶頸，例如單個索引的互斥訪問、ext3文件系統的inode鎖競爭

6.可以備份和恢復單個分區

分區的限制和缺點：

1.一個表最多只能有1024個分區

2.如果分區字段中有主鍵或者唯一索引的列，那么所有主鍵列和唯一索引列都必須包含進來

3.分區表無法使用外鍵約束

4.NULL值會使分區過濾無效

5.所有分區必須使用相同的存儲引擎

分區的類型：

1.RANGE分區：基于屬于一個給定連續區間的列值，把多行分配給分區

2.LIST分區：類似于按RANGE分區，區別在于LIST分區是基于列值匹配一個離散值集合中的某個值來進行選擇

3.HASH分區：基于用戶定義的表達式的返回值來進行選擇的分區，該表達式使用將要插入到表中的這些行的列值進行計算。這個函數可以包含MySQL中有效的、產生非負整數值的任何表達式

4.KEY分區：類似于按HASH分區，區別在于KEY分區只支持計算一列或多列，且MySQL服務器提供其自身的哈希函數。必須有一列或多列包含整數值

5.具體關于mysql分區的概念請自行或查詢官方文檔，我這里只是拋磚引玉了。

我首先根據月份把上網記錄表RANGE分區了12份，查詢效率提高6倍左右，效果不明顯，故：換id為HASH分區，分了64個分區，查詢速度提升顯著。問題解決！

結果如下： BY HASH (id) 64

count() from ; --行記錄

/ 受影響行數: 0 已找到記錄: 1 警告: 0 持續時間 1 查詢: 5.734 sec. /

* from where month() =11 limit 10;

/ 受影響行數: 0 已找到記錄: 10 警告: 0 持續時間 1 查詢: 0.719 sec. */

4.分表

分表就是把一張大表，按照如上過程都優化了，還是查詢卡死，那就把這個表分成多張表，把一次查詢分成多次查詢，然后把結果組合返回給用戶。

分表分為垂直拆分和水平拆分，通常以某個字段做拆分項。比如以id字段拆分為100張表： 表名為

但：分表需要修改源程序代碼，會給開發帶來大量工作，極大的增加了開發成本，故：只適合在開發初期就考慮到了大量數據存在，做好了分表處理，不適合應用上線了再做修改，成本太高！！！而且選擇這個方案，都不如選擇我提供的第二第三個方案的成本低！故不建議采用。

5.分庫

把一個數據庫分成多個，建議做個讀寫分離就行了，真正的做分庫也會帶來大量的開發成本，得不償失！不推薦使用。

方案二詳細說明：升級數據庫，換一個100%兼容mysql的數據庫

mysql性能不行，那就換個。為保證源程序代碼不修改，保證現有業務平穩遷移，故需要換一個100%兼容mysql的數據庫。

開源選擇

1.tiDB //tidb

2. /

3.開源數據庫會帶來大量的運維成本且其工業品質和MySQL尚有差距，有很多坑要踩，如果你公司要求必須自建數據庫，那么選擇該類型產品。

云數據選擇

1.阿里云

//?spm=a2c4g...47.

官方介紹語： 是阿里云自研的下一代關系型分布式云原生數據庫，100%兼容MySQL，存儲容量最高可達 100T，性能最高提升至 MySQL 的 6 倍。 既融合了商業數據庫穩定、可靠、高性能的特征，又具有開源數據庫簡單、可擴展、持續迭代的優勢，而成本只需商用數據庫的 1/10。

我開通測試了一下，支持免費mysql的數據遷移，無操作成本，性能提升在10倍左右，價格跟rds相差不多，是個很好的備選解決方案！

1.阿里云

2.淘寶使用的，扛得住雙十一，性能卓著，但是在公測中，我無法嘗試，但值得期待

3.阿里云 for MySQL (原)

//?spm=a2c4g...54.

官方介紹：云數據庫 for MySQL （原名）是同時支持海量數據在線事務（OLTP）和在線分析（OLAP）的HTAP（ / ）關系型數據庫。

我也測試了一下，是一個olap和oltp兼容的解決方案，但是價格太高，每小時高達10塊錢，用來做存儲太浪費了，適合存儲和分析一起用的業務。

1.騰訊云DCDB

//

官方介紹：DCDB又名TDSQL，一種兼容MySQL協議和語法，支持自動水平拆分的高性能分布式數據庫——即業務顯示為完整的邏輯表，數據卻均勻的拆分到多個分片中；每個分片默認采用主備架構，提供災備、恢復、監控、不停機擴容等全套解決方案，適用于TB或PB級的海量數據場景。

騰訊的我不喜歡用，不多說。原因是出了問題找不到人，線上問題無法解決頭疼！但是他價格便宜，適合超小公司，玩玩。

方案三詳細說明：去掉mysql，換大數據引擎處理數據

數據量過億了，沒得選了，只能上大數據了。

開源解決方案

家族。hbase/hive懟上就是了。但是有很高的運維成本，一般公司是玩不起的，沒十萬投入是不會有很好的產出的！

云解決方案

這個就比較多了，也是一種未來趨勢，大數據由專業的公司提供專業的服務，小公司或個人購買服務，大數據就像水/電等公共設施一樣，存在于社會的方方面面。

國內做的最好的當屬阿里云。

我選擇了阿里云的配合，使用超級舒服，按量付費，成本極低。

可以理解為開源的Hive，提供sql//ai算法/腳本/shell腳本等方式操作數據，數據以表格的形式展現，以分布式方式存儲，采用定時任務和批處理的方式處理數據。提供了一種工作流的方式管理你的數據處理任務和調度監控。

當然你也可以選擇阿里云hbase等其他產品，我這里主要是離線處理，故選擇，基本都是圖形界面操作，大概寫了300行sql，費用不超過100塊錢就解決了數據處理問題。

想要成為中高級phper， shell 腳本是需要掌握的，它有助于你在工作環境中自動完成很多任務。

如下是一些面試過程中，經常會遇到的 shell 腳本面試問題及解答：

Q:1 Shell腳本是什么、它是必需的嗎?

答:一個Shell腳本是一個文本文件，包含一個或多個命令。作為系統管理員，我們經常需要使用多個命令來完成一項任務，我們可以添加這些所有命令在一個文本文件(Shell腳本)來完成這些日常工作任務。

Q:2 什么是默認登錄shell，如何改變指定用戶的登錄shell

答:在Linux操作系統監控mysql表的數據變化，“/bin/bash”是默認登錄shell，是在創建用戶時分配的。使用chsh命令可以改變默認的shell。示例如下所示:

# chsh <用戶名> -s <新shell>
# chsh linuxtechi -s /bin/sh

Q:3 可以在shell腳本中使用哪些類型的變量?

答：在shell腳本，我們可以使用兩種類型的變量：

系統變量是由系統系統自己創建的。這些變量通常由大寫字母組成，可以通過“set”命令查看。

用戶變量由系統用戶來生成和定義，變量的值可以通過命令“echo $”查看。

Q:4 如何將標準輸出和錯誤輸出同時重定向到同一位置?

答：這里有兩個方法來實現：

方法一：

2>&1 (如# ls /usr/share/doc > out.txt 2>&1 )

方法二：

&> (如# ls /usr/share/doc &> out.txt )

Q:5 shell腳本中“if”語法如何嵌套?

答：基礎語法如下：

if [ 條件 ]
then
命令1
命令2
…..
else
if [ 條件 ]
then
命令1
命令2
….
else
命令1
命令2
…..
fi
fi

Q:6 shell腳本中“$?”標記的用途是什么？

答：在寫一個shell腳本時，如果你想要檢查前一命令是否執行成功，在if條件中使用“$?”可以來檢查前一命令的結束狀態。簡單的例子如下：

root@localhost:~# ls /usr/bin/shar
/usr/bin/shar
root@localhost:~# echo $?
0

如果結束狀態是0，說明前一個命令執行成功。

root@localhost:~# ls /usr/bin/share
ls: cannot access /usr/bin/share: No such file or directory
root@localhost:~# echo $?
2

如果結束狀態不是0，說明命令執行失敗。

Q:7 在shell腳本中如何比較兩個數字 ?

答：在if-then中使用測試命令（ -gt 等）來比較兩個數字，例子如下：

#!/bin/bash
x=10
y=20
if [ $x -gt $y ]
then
echo “x is greater than y”
else
echo “y is greater than x”
fi

Q:8 shell腳本中break命令的作用 ?

答：break命令一個簡單的用途是退出執行中的循環。我們可以在while和until循環中使用break命令跳出循環。

Q:9 shell腳本中命令的作用 ?

答：命令不同于break命令，它只跳出當前循環的迭代，而不是整個循環。命令很多時候是很有用的，例如錯誤發生，但我們依然希望繼續執行大循環的時候。

Q:10 告訴我shell腳本中Case語句的語法 ?

答：基礎語法如下：

case 變量 in
值1)
命令1
命令2
…..
最后命令
!!
值2)
命令1
命令2
……
最后命令
;;
esac

Q:11 shell腳本中while循環語法 ?

答：如同for循環，while循環只要條件成立就重復它的命令塊。不同于for循環，while循環會不斷迭代，直到它的條件不為真。基礎語法：

while [ 條件 ]
do
命令…
done

Q:12 如何使腳本可執行 ?

答：使用chmod命令來使腳本可執行。例子如下：

# chmod a+x myscript.sh

Q:13 “#!/bin/bash”的作用 ?

答：#!/bin/bash是shell腳本的第一行，稱為釋伴（）行。這里#符號叫做hash，而! 叫做 bang。它的意思是命令通過 /bin/bash 來執行。

Q:14 shell腳本中for循環語法 ?

答：for循環的基礎語法：

for 變量 in 循環列表
do
命令1
命令2
….
最后命令
done

Q:15 如何調試shell腳本 ?

答：使用'-x'參數（sh -x .sh）可以調試shell腳本。另一個種方法是使用‘-nv’參數( sh -nv .sh)。

Q:16 shell腳本如何比較字符串?

答：test命令可以用來比較字符串。測試命令會通過比較字符串中的每一個字符來比較。

Q:17 shell(bash) 中有哪些特殊的變量 ?

答：下面的表列出了 shell為命令行設置的特殊變量。

內建變量    解釋
$0    命令行中的腳本名字
$1    第一個命令行參數
$2    第二個命令行參數
…..    …….
$9    第九個命令行參數
$#    命令行參數的數量
$*    所有命令行參數，以空格隔開

Q:18 在shell腳本中，如何測試文件 ?

答：test命令可以用來測試文件。基礎用法如下表格：

Test         用法

-d 文件名    如果文件存在并且是目錄，返回true
-e 文件名    如果文件存在，返回true
-f 文件名    如果文件存在并且是普通文件，返回true
-r 文件名    如果文件存在并可讀，返回true
-s 文件名    如果文件存在并且不為空，返回true
-w 文件名    如果文件存在并可寫，返回true
-x 文件名    如果文件存在并可執行，返回true

Q:19 在shell腳本中，如何寫入注釋 ?

答：注釋可以用來描述一個腳本可以做什么和它是如何工作的。每一行注釋以#開頭。例子如下：

#!/bin/bash
# This is a command
echo “I am logged in as $USER”

Q:20 如何讓 shell 就腳本得到來自終端的輸入?

答：read命令可以讀取來自終端（使用鍵盤）的數據。read命令得到用戶的輸入并置于你給出的變量中。例子如下：

# vi /tmp/test.sh
#!/bin/bash
echo ‘Please enter your name’
read name
echo “My Name is $name”
# ./test.sh
Please enter your name
LinuxTechi
My Name is LinuxTechi

Q:21 如何取消變量或取消變量賦值 ?

答：“unset”命令用于取消變量或取消變量賦值。語法如下所示：

# unset <變量名>

Q:22 如何執行算術運算 ?

答：有兩種方法來執行算術運算：

1.使用expr命令

# expr 5 + 2

2.用一個美元符號和方括號（$[ 表達式 ]）例如：

test=$[16 + 4] ; test=$[16 + 4]

Q:23 do-while語句的基本格式 ?

答：do-while語句類似于while語句，但檢查條件語句之前先執行命令（LCTT 譯注：意即至少執行一次。）。下面是用do-while語句的語法

do
{
命令
} while (條件)

Q:24 在shell腳本如何定義函數呢 ?

答：函數是擁有名字的代碼塊。當我們定義代碼塊，我們就可以在我們的腳本調用函數名字，該塊就會被執行。示例如下所示：

$ diskusage () { df -h ; }
譯注：下面是我給的shell函數語法，原文沒有
[ function ] 函數名 [()]
{
命令;
[return int;]
}
原文出處：linuxtechi
譯文鏈接：http://linux.cn/article-5311-1.html-

以上內容希望幫助到大家，更多PHP大廠PDF面試文檔，PHP進階架構視頻資料，PHP精彩好文可以關注公眾號：PHP開源社區，或者訪問：

四年精華PHP技術文章整理合集——PHP框架篇

四年精華PHP技術文合集——微服務架構篇

四年精華PHP技術文合集——分布式架構篇

四年精華PHP技術文合集——高并發場景篇

四年精華PHP技術文章整理合集——數據庫篇