這個專欄是為了記錄我excel和sql的學(xué)習(xí)之旅。
2018年2月份的時候，有通讀過誰說菜鳥不會數(shù)據(jù)分析入門篇，以及sql必知必會，并且實操過書中大部分案例。這次開專欄，一方面為了復(fù)習(xí)，另一方面為了將本地的筆記和實操，記錄在知乎之上。
這次的復(fù)習(xí)只記錄實操的內(nèi)容excel刪除外部數(shù)據(jù)連接，理論性的知識在不再重復(fù)記錄了。
目前計劃的主線是：誰說菜鳥不會數(shù)據(jù)分析入門篇，誰說菜鳥不會數(shù)據(jù)分析工具篇，sql必知必會復(fù)習(xí)及刷題，綜合項目。
關(guān)于工具篇，這本書我還沒有看，里面應(yīng)該會講到宏和VBA，_(:з)∠)_如果VBA不如好用的話，我可能就跳過了哈哈哈ヾ?≧?≦)o
我使用的是，和書中的一些操作不太一樣，所以會有部分操作來自于百度~
下面就開始誰說菜鳥不會數(shù)據(jù)分析入門篇的實操整理吧~
這篇主要講解數(shù)據(jù)準備以及數(shù)據(jù)清洗，等等數(shù)據(jù)預(yù)處理操作。
誰說菜鳥不會數(shù)據(jù)分析入門篇
一、數(shù)據(jù)準備
1.二維表到一維表的轉(zhuǎn)化
excel的二維表是因為列標簽中不僅有字段，還有數(shù)據(jù)的記錄。要轉(zhuǎn)化為一維表，需要使列標簽中全部為字段，需要使用到數(shù)據(jù)透視表的逆透視操作。
原表如下。
然后我們在數(shù)據(jù)選項卡中，選擇從表格。excel就會打開查詢編輯器，并可以有強大的功能來解析這個表格。
我們選擇轉(zhuǎn)換，選擇逆透視其他列，則可以直接將二維表變成一維表。
最后在開始選項卡，選擇關(guān)閉并上載，就可以保存轉(zhuǎn)換的結(jié)果了。
結(jié)果如下：
2.導(dǎo)入外部數(shù)據(jù)
導(dǎo)入文本文件。一種方法是直接打開文本文件，一種是在數(shù)據(jù)選項卡，自文本。
首先我們來試驗一下，數(shù)據(jù)-自文本的方法。
選擇由分隔符號分隔，因為我自己用txt文件，并且是以空格分隔的，所以選擇空格即可。
進入下一步，點擊完成即可。如果不需要某一列，可以點擊不導(dǎo)入此列，然后選中該列即可。
最后導(dǎo)入結(jié)果如下。
3.導(dǎo)入網(wǎng)站數(shù)據(jù)。
這里僅針對數(shù)據(jù)規(guī)整的數(shù)據(jù)，例如國家統(tǒng)計局這種的數(shù)據(jù)。我們使用數(shù)據(jù)-自網(wǎng)站選項。
導(dǎo)入的數(shù)據(jù)網(wǎng)址如下：
在查詢框中輸入網(wǎng)址并轉(zhuǎn)到該網(wǎng)頁，excel可以自動識別出能被導(dǎo)入的文本表格，并且每個表格前面都有一個方框，可以打勾，打勾之后就可以導(dǎo)入。
于是我們就可以導(dǎo)入選中的表格數(shù)據(jù)了。
選擇全部刷新的下拉菜單，還能設(shè)置連接屬性，比如多久數(shù)據(jù)可以自動更新一次，這樣就無需再手動更新。
二、數(shù)據(jù)處理
數(shù)據(jù)處理包括數(shù)據(jù)清洗，加工，抽樣等等。
數(shù)據(jù)清洗就是將多余重復(fù)的數(shù)據(jù)篩選清除，將缺失的數(shù)據(jù)補充完整，將錯誤的數(shù)據(jù)糾正或刪除。
數(shù)據(jù)加工則是對數(shù)據(jù)字段進行提取，計算，分組，轉(zhuǎn)換等，將清洗好的數(shù)據(jù)變成我們想要的形式。
1.數(shù)據(jù)清洗
（1）重復(fù)數(shù)據(jù)的處理
對于重復(fù)數(shù)據(jù)的處理，我們首先可以用到函數(shù)法。使用函數(shù)，可以識別重復(fù)數(shù)據(jù)。
我們先隨便輸入一些重復(fù)數(shù)據(jù)，使用函數(shù)，進行識別。
例如對于B2單元格，公式就如下所示。可手動輸入，可以點擊fx進行選擇。這個公式的意思是對于A列，A:A就是A列全部的意思，A列中和A2重復(fù)的數(shù)據(jù)有多少，然后后下拉，就能看到所有的重復(fù)。比如ASF這個數(shù)據(jù)excel刪除外部數(shù)據(jù)連接，就都是重復(fù)了3次。
那如果我想要知道，比如對于第一個ASF是1，對于第二個ASF才顯示2，也就是出現(xiàn)了幾次，才顯示重復(fù)幾次。這樣怎么操作呢？
上面是B2的公式，這個公式的意思是，從起始值A(chǔ)2開始，其實的位置絕對引用A2，將
公式下拉，我們來看看其他單元格的公式，例如B6。
B6的意思是，從A2到A6之間，與A6重復(fù)的次數(shù)。通過這種設(shè)定絕對引用的方式，就會從頭開始，到每一個單元格的位置，一次一次計算，就能顯示出是第幾次重復(fù)。
對于重復(fù)數(shù)據(jù)的處理，我們還可以用到高級篩選法。我們可以利用數(shù)據(jù)-排序和篩選-高級，直接將一列中不重復(fù)的數(shù)據(jù)復(fù)制到其他區(qū)域。
我們還可以使用條件格式法。標識重復(fù)項，然后可以用不同的顏色把它標記出來。
還能使用數(shù)據(jù)透視。數(shù)據(jù)透視真的很好用，嘻嘻。我們直接選中內(nèi)容，選擇插入-數(shù)據(jù)透視表。
點擊推薦數(shù)據(jù)透視表，能直接計算重復(fù)值的樣表~
刪除重復(fù)數(shù)據(jù)。
數(shù)據(jù)選項卡-數(shù)據(jù)工具，可以直接選中內(nèi)容，進行刪除重復(fù)項。
excel會提示刪除了多少值，保留了多少值。
同樣我們之前利用函數(shù)，使得體現(xiàn)了數(shù)據(jù)重復(fù)的次數(shù)，從1次到2次到3次，我們選中不等于1的數(shù)據(jù)，就可以刪除重復(fù)項了。
（2）缺失數(shù)據(jù)的處理
如果一份數(shù)據(jù)，缺失值過多，那這份數(shù)據(jù)就失去了分析的意義，缺失值一般要控制在10%以下。
首先我們選擇出所有的空白單元格，開始選項卡-編輯-查找和選擇-定位條件-空格，就可以同時選中所有的空白單元格。
如果不是查找空格，而是查找某一特定內(nèi)容的單元格，可以通過查找-輸入內(nèi)容之后-查找全部，然后直接ctrl+A，就能全部選中相應(yīng)的單元格。
注意，表格中有ASF和，即如果我們查找ASF的話，包含ASF的也會被選中，這個時候我們可以勾選單元格匹配。這樣就能精確查找一樣的單元格了，就不會被包含在內(nèi)。
然后全部選中之后，比如我們想改成123，則直接輸入123，然后按ctrl+enter即可。就可以把123全部輸入到ASF的單元格中。
（3）檢查數(shù)據(jù)邏輯錯誤
檢查重復(fù)數(shù)據(jù)和空值是非常簡單的操作，現(xiàn)在我們看一下如何處理錯誤數(shù)據(jù)。處理錯誤數(shù)據(jù)使用IF函數(shù)，進行邏輯判斷。比如下面這個數(shù)據(jù)，是一道多選題，6個選項，最多只能選擇3個，也就是