據迷爸的觀察,書小迷同學對編程的感興趣程度好像遠遠超過畫畫、架子鼓、乒乓球、獨輪車等。如果編程課是書小迷同學真正的興趣愛好,那就好了。
為了能讓書小迷同學更好地學習編程,迷爸專門給他買了一臺筆記本電腦,讓小子除了在課堂上學習外,在課余時間能有更多的練習。如果說書小迷同學真的對編程是發自內心的喜歡,那他以后每天都會使用這臺筆記本電腦。
專門給書小迷同學配置一臺筆記本電腦是迷爸提議的,起初迷媽還不同意,書小迷同學自己也沒有想到。迷爸之所以想到,是因為上個學期編程課結束時,在他同培訓班上的一個初二女生在家練習做題,綜合分數排第一,而書小迷同學從沒有在課外練習過,綜合分數排第三。
于是,迷爸分析,如果書小迷同學也能用電腦每天練習練習,那么在培訓班的分數還會更高一些,并且更利于學習編程。所以迷爸決定必須要給書小迷同學買一臺筆記本電腦。
對于一個小學生來說,能擁有一臺筆記本電腦,無疑是一件非常喜歡、高興、驕傲的事情。這比擁有一臺智能手機、智能手機、平板電腦更帶勁。而且迷爸跟他強調,這臺筆記本電腦就是專門給他買的,所有權歸他。如果迷爸迷媽要用一下,也是像他借用。迷爸還說,或許他是他們班級第一個擁有筆記本電腦的人。迷爸用“專門”、“第一”、“所有權歸他”幾個特定的詞語,讓小子體會到滿滿的驕傲和自豪。
前天迷爸跟書小迷同學提議買筆記本電腦,昨天下午就在網上購買,今天上午已經到貨,今天下午就體驗練習編程,這個節奏,書小迷同學一直處于興奮之中,興奮得不要不要滴。
擁有一臺筆記本電腦,書小迷同學很興奮。而給書小迷同學購買,迷爸是經過思考的。
昨天晚上,迷爸跟書小迷同學溝通,給他買筆記本電腦,有幾個條件希望他能做到,書小迷同學說能做到。今天迷爸再次跟書小迷同學溝通,把昨天的幾個條件作為一份歸屬權的口頭協議。如果書小迷同學違反這個協議,迷爸就收回筆記本電腦的歸屬權。
這份口頭協議如下:
1、筆記本電腦主要是用作練習編程使用;
2、以后盡量自己寫代碼制作游戲玩。盡管現在還達不到這個水平,但也是以后的目標。
3、迷爸鼓勵用筆記本電腦玩其它游戲,但一次時間不要超過一個小時。
4、堅決杜絕利用晚上睡覺的時間玩游戲。
以上協議四點內容,書小迷同學說完全能夠執行。
迷爸告訴書小迷同學,因為他對自己的時間管理能力良好、自我控制能力良好、信用體系良好,所有迷爸迷媽愿意送他筆記本電腦,放心他使用,對他充分信任。很多家長不敢給孩子買電腦,原因在于孩子控制不住自己,在大人心目中沒有建立信用體系,而書小迷同學在迷爸迷媽心目中信用體系就很好。
書小迷同學則說,很多家長不信任孩子,會認為有筆記本電腦孩子一定會玩游戲。迷爸告訴他,這是一種假設有罪的管理模式。但迷爸迷媽不怕他玩游戲,遵循以上原則就可以。
迷爸給書小迷同學買筆記本電腦的目的是為了讓他更好地學習編程,但會不會朝不好的方向發展?這個很難意料。不過迷爸喜歡大膽去嘗試,去實踐。在嘗試和實踐的過程中,給書小迷同學做好監督、引導、教育。
迷爸有書小迷同學用好筆記本電腦的信心,這個信心來自于書小迷同學的平時表現,來自于是一個講原則、講信用的孩子。
書小迷同學明天又要去三鑫學校參加第二期編程夏令營。這次書小迷同學就不像上一期那樣帶《水滸傳》,因為他可以在學校借書看。迷爸開玩笑說借書可以幫迷爸省幾十元買書的錢,書小迷同學則說不值省幾十元,可以省上百元以上。因為在這幾天內,他能夠看完好幾本書。
小子好樣的!
以下為一次請求過程中可能遇到的問題,預示著網絡的復雜性。
為了簡化網絡的復雜度,網絡通信的不同方面被分解為多層次結構,每一層只與緊挨著的上層或者下層進行交互,將網絡分層,這樣就可以修改,甚至替換某一層的軟件,只要層與層之間的接口保持不變,就不會影響到其他層。
應用層:應用程序負責的部分
傳輸層:TCP、UDP、SCTP 等
網絡層:IPv4、IPv6等
數據鏈路層:以太網、無限LAN(WIFI)
物理層:光纖、雙絞線電纜、無線設備
請求各層之間都是調用對應層的接口(這個接口可以類比java中的接口,它可以有各種實現方式)。
1.在請求過程中域名是無法直接被計算機識別的,必須先轉換成ip,此時先檢測本地是否配置了host,如果沒有配置的話會發起一個dns請求。
2.DNS使用UDP作為傳輸層,DNS服務器IP配置在你的操作系統中,可以直接獲取。
3.數據鏈路層在接收到網絡層調用后,會通過IP使用ARP協議獲取當前IP對應的MAC地址。
4.最終通過物理層將數據傳入路由器,路由器進行逆向解析(MAC地址->IP),如果路由器判斷此信息不是給自己的會將信息繼續傳給下游電信運營商。
5.運營商判斷是DNS請求還是HTTP請求,如果是DNS請求會調用DNS服務器換取IP并返回。
6.獲取IP后DNS請求完成,此時再次發送一次HTTP請求,HTTP在傳輸層使用的是TCP協議,其他層同理。
7.運營商判斷如果非DNS請求,那么電信會通過運營商直接的協議進行消息的發送,最終找到ip對應的服務器。
8.接收端服務器的物理層接受到此次請求,通過對應的協議進行數據的層層解析獲取對應的信息,最終將數據傳給本地服務器(nginx、tomcat等),服務器將響應報文通過HTTP方式將數據返回。
一次請求的流轉如下圖:
超文本傳輸協議(HyperText Transfer Protocol,HTTP): 一種無狀態的,以請求/應答方式運行的協議,它使用可擴展的語義和自描述消息格式,與 基于網絡的超文本信息系統靈活的互動
請求報文和響應報文的結構基本相同。
起始行:描述請求或響應的基本信息。
頭部字段集合:key-value結構,報文的詳細信息。
消息體:真實傳輸的內容,可以是文本或二進制等。
一個HTTP請求報文由請求行(request line)、請求頭部(header)、空行和請求數據4個部分組成,下圖給出了請求報文的一般格式。
請求行由請求方法字段、URL字段和HTTP協議版本字段3個字段組成,它們用空格分隔。例如,GET /index.html HTTP/1.1。
HTTP協議的請求方法有GET、POST、HEAD、PUT、DELETE、OPTIONS、TRACE、CONNECT。
請求頭部由關鍵字/值對組成,每行一對,關鍵字和值用英文冒號“:”分隔。請求頭部通知服務器有關于客戶端請求的信息,典型的請求頭有:
User-Agent:產生請求的瀏覽器類型。 Accept:客戶端可識別的內容類型列表。 Host:請求的主機名,允許多個域名同處一個IP地址,即虛擬主機。
最后一個請求頭之后是一個空行,發送回車符和換行符,通知服務器以下不再有請求頭。
請求數據不在GET方法中使用,而是在POST方法中使用。POST方法適用于需要客戶填寫表單的場合。與請求數據相關的最常使用的請求頭是Content-Type(這個主體的對象類型)和Content-Length(主體的長度)。
字段名不區分大小寫,字段名里不允許出現空格,可以使用連字符“-”,但不能使用下劃線“_”(有的服務器不會解析帶“_”的頭字段)。字段名后面必須緊接著“:”,不能有空格,而“:”后的字段值前可以有多個空格; 字段的順序是沒有意義的,可以任意排列不影響語義; 字段原則上不能重復,除非這個字段本身的語義允許,例如 Set-Cookie。
HTTP響應也由三個部分組成,分別是:狀態行、消息報頭、響應正文。
HTTP-Version Status-Code Reason-Phrase CRLF
其中,HTTP-Version表示服務器HTTP協議的版本;Status-Code表示服務器發回的響應狀態代碼;Reason-Phrase表示狀態代碼的文本描述。狀態代碼由三位數字組成,第一個數字定義了響應的類別,且有五種可能取值。
?1xx:指示信息–表示請求已接收,繼續處理。
?2xx:成功–表示請求已被成功接收、理解、接受。
?3xx:重定向–要完成請求必須進行更進一步的操作。
?4xx:客戶端錯誤–請求有語法錯誤或請求無法實現。
?5xx:服務器端錯誤–服務器未能實現合法的請求。
常見狀態代碼、狀態描述的說明如下:
?200 OK:客戶端請求成功。
?400 Bad Request:客戶端請求有語法錯誤,不能被服務器所理解。
?401 Unauthorized:請求未經授權,這個狀態代碼必須和WWW-Authenticate報頭域一起使用。
?403 Forbidden:服務器收到請求,但是拒絕提供服務。
?404 Not Found:請求資源不存在,舉個例子:輸入了錯誤的URL。
?500 Internal Server Error:服務器發生不可預期的錯誤。
?503 Server Unavailable:服務器當前不能處理客戶端的請求,一段時間后可能恢復正常,舉個例子:HTTP/1.1 200 OK(CRLF)。
百度百科 狀態碼參考網址?
Access-Control-Allow-Credentials:true
Access-Control-Allow-Origin:*
Access-Control-Expose-Headers:Date,X-API-Request-Id
Content-Encoding:gzip
Content-Type:application/json;charset=UTF-8
Date:Sun, 10 Mar 2024 12:00:17 GMT
服務器發給瀏覽器,要讓瀏覽器顯示的內容(html,js,css,圖片,數據等信息)。
1.首先瀏覽器先解析URL中的域名。
2.通過域名獲取對應的ip地址,上邊已經說過ip是通過DNS服務器獲取,我們可以在谷歌瀏覽器中查看到域名對應ip的解析。
3.獲取到IP地址后,瀏覽器就可以發起與服務器的三次握手
4.建立連接后,就開始組裝http請求,發送請求。
5.接收端收到請求后,開始處理請求解析請求頭中的數據,并生成對應的響應數據,給發送端返回響應數據。
6.瀏覽器收到響應后,會通過響應頭類型,解析對應的數據報文。
補充:上邊2中從瀏覽器中獲取域名的步驟。
瀏覽器中輸入:chrome://net-export/
打開對應文件搜索你想找的域名即可。
面向連接的,可靠的,基于字節流的傳輸層通信協議
?基于連接的:數據傳輸之前需要建立連接
?全雙工的:雙向傳輸
?客戶端和服務端可以互相雙向寫數據
?字節流:不限制數據大小,打包成報文段,保證有序接收,重復報文自動丟棄
?發送方:每次傳輸不限制數據大小,不是一次性將所有的數據都傳輸,會將數據切分成多個片段,并進行排序,通過網絡介質傳輸給接收方。
?接收方:不同的數據包會通過網絡不同的路線傳入接受方,因此接收方收到的數據有可能是亂序的,因此需要對數據包進行重排序。
?流量緩沖:解決雙方處理能力的不匹配
?可靠的傳輸服務:保證可達,丟包時通過重發機制實現可靠性
?擁塞控制:防止網絡出現惡性擁塞
?當網絡環境比較差的時候,會控制報文大小減小傳輸速率。
四元組分別為:源地址、 源端口、 目的地址、 目的端口
序列號:在建?連接時由計算機?成的隨機數作為其初始值,通過 SYN 包傳給接收端主機,每發送?次數據,就累加?次該數據字節數的??。?來解決?絡包亂序問題。
確認應答號:指下?次期望收到的數據的序列號,發送端收到這個確認應答以后可以認為在這個序號以前的數據都已經被正常接收。?來解決不丟包的問題。
控制位:
ACK:該位為 1 時,確認應答的字段變為有效,TCP 規定除了最初建?連接時的 SYN 包之外該位必須設置為 1 。
RST:該位為 1 時,表示 TCP 連接中出現異常必須強制斷開連接。
SYN:該位為 1 時,表示希望建?連接,并在其序列號的字段進?序列號初始值的設定。
FIN:該位為 1 時,表示今后不會再有數據發送,希望斷開連接。當通信結束希望斷開連接時,通信雙?的 主機之間就可以相互交換FIN位為 的 TCP 段。
URG:當URG=1時,表明緊急指針字段有效。它告訴系統此報文段中有緊急數據,應該盡快傳送,而不按照原來的排隊序列來傳送。
PSH:推送(PuSH),當兩個應用進程進行交互式的通信時,有時一端的應用進程希望在鍵入一個命令之后就能立即收到對方的響應。在這樣的情況下,就可以使用推送操作,此時,發送方將PSH置為1,并創建一個報文發送出去,接收端接受到該報文,發現PSH為1,就盡快交付接受應用進程,而不用等到整個緩存都滿了之后再向上交付。
緊急數據指針:當發送端需要發送一些緊急數據時,可以設置緊急指針來指示接收端,在接收到該指針之后盡快處理這些數據。緊急指針的值是一個相對于當前序列號的偏移量,用于指示緊急數據在整個數據流中的位置。
窗口大小:當前服務器緩存可接受的數據報文大小。
說明:
1.開始時服務端和客戶端的連接處于斷開狀態。
2.服務端啟動后會監聽特定端口,處于監聽狀態,等待客戶端的請求。
3.客戶端發起請求,變更成發送狀態,此時會在請求中攜帶同步序列號 x。
4.服務端接受到請求后,保存客戶端對應的信息,并發送確認收到應答消息,此消息的應答碼需要在x的基礎上加1,此時服務端處于等待客戶端確認狀態。
5.客戶端收到服務端確認后,狀態變更為已連接,客戶端也需要給服務端回復確認收到,此時應答碼為服務端確認碼y+1。
6.服務端收到客戶端確認消息后,狀態變更為已連接。
7.連接建立成功,此為三次握手。
8.握手過程中會消耗序號,建立鏈接后不會消耗。
以下是三次握手的示例過程:
說明:
1.客戶端和服務端都可以主動發起關閉連接。
2.圖中為客戶端發起關閉連接,首先客戶端發起 FIN 關閉連接請求。
3.服務端收到關閉請求后,先回復收到關閉請求的確認消息給客戶端,此時客戶端處于等待關閉2狀態,等待服務端完成收尾工作,服務端完成收尾(剩余未完成傳輸數據同步),執行關閉連接方法,并給客戶端發送FIN 關閉鏈接請求。
4.客戶端收到關閉請求后,給服務端回復確認關閉應答消息,服務端關閉,客戶端處于等待狀態,此時需要等待兩個最大請求時長(防止服務端由于網絡原因未收到應答消息,服務端會重試發送FIN消息)。
5.等待時間到期后關閉連接。
描述:沒傳送一個報文,服務端都回復一個確認消息,效率低下。
描述:如果出現丟包如何處理
說明:
1.約定窗口大小為4,每次發送四個報文。
2.服務端收到后只收到,1,2,4。 3丟失,此時服務端確認只確認到2。
3.客戶端收到確認后,從3開始在滑動下一個窗口,進行數據傳輸。
OSI參考模型: https://baike.baidu.com/item/OSI%E5%8F%82%E8%80%83%E6%A8%A1%E5%9E%8B/708028?fr=aladdin
HTTP狀態碼: https://baike.baidu.com/item/HTTP%E7%8A%B6%E6%80%81%E7%A0%81?fromModule=lemma_search-box
TCP協議: https://baike.baidu.com/item/TCP/33012?fr=ge_ala
TCP與UDP的可靠性傳輸: https://zhuanlan.zhihu.com/p/636141175
操作系統:(Operating System,簡稱OS)是管理和控制計算機硬件與軟件資源的計算機程序,是直接運行在“裸機”上的最基本的系統軟件,任何其他軟件都必須在操作系統的支持下才能運行。
注:計算機(硬件)->os->應用軟件
一臺硬設有了操作系統,然后裝上軟件你就可以正常使用了,然而你也只能自己使用像這樣,每個人都擁有一臺自己的機器,然而彼此孤立
如何能讓大家一起玩耍
然而internet為何物?
其實兩臺計算機之間通信與兩個人打電話之間通信的原理是一樣的(中國有很多地區,不同的地區有不同的方言,為了全中國人都可以聽懂,大家統一講普通話)
普通話屬于中國國內人與人之間通信的標準,那如果是兩個國家的人交流呢?
問題是,你不可能要求一個人/計算機掌握全世界的語言/標準,于是有了世界統一的通信標準:英語
結論:英語成為世界上所有人通信的統一標準,如果把計算機看成分布于世界各地的人,那么連接兩臺計算機之間的internet實際上就是
一系列統一的標準,這些標準稱之為互聯網協議,互聯網的本質就是一系列的協議,總稱為‘互聯網協議’(Internet Protocol Suite).
互聯網協議的功能:定義計算機如何接入internet,以及接入internet的計算機通信的標準。
互聯網協議按照功能不同分為osi七層或tcp/ip五層或tcp/ip四層
每層運行常見物理設備
OSI七層協議數據傳輸的封包與解包過程
我們將應用層,表示層,會話層并作應用層,從tcp/ip五層協議的角度來闡述每層的由來與功能,搞清楚了每層的主要協議
就理解了整個互聯網通信的原理。
首先,用戶感知到的只是最上面一層應用層,自上而下每層都依賴于下一層,所以我們從最下一層開始切入,比較好理解
每層都運行特定的協議,越往上越靠近用戶,越往下越靠近硬件
物理層由來:上面提到,孤立的計算機之間要想一起玩,就必須接入internet,言外之意就是計算機之間必須完成組網
物理層功能:主要是基于電器特性發送高低電壓(電信號),高電壓對應數字1,低電壓對應數字0
數據鏈路層:
數據鏈路層由來:單純的電信號0和1沒有任何意義,必須規定電信號多少位一組,每組什么意思
數據鏈路層的功能:定義了電信號的分組方式
以太網協議:
早期的時候各個公司都有自己的分組方式,后來形成了統一的標準,即以太網協議ethernet
ethernet規定
一組電信號構成一個數據包,叫做‘幀’
每一數據幀分成:報頭head和數據data兩部分
head data
head包含:(固定18個字節)
發送者/源地址,6個字節
接收者/目標地址,6個字節
數據類型,6個字節
data包含:(最短46字節,最長1500字節)
數據包的具體內容
head長度+data長度=最短64字節,最長1518字節,超過最大限制就分片發送
mac地址:
head中包含的源和目標地址由來:ethernet規定接入internet的設備都必須具備網卡,發送端和接收端的地址便是指網卡的地址,即mac地址
mac地址:每塊網卡出廠時都被燒制上一個世界唯一的mac地址,長度為48位2進制,通常由12位16進制數表示(前六位是廠商編號,后六位是流水線號)
廣播:
有了mac地址,同一網絡內的兩臺主機就可以通信了(一臺主機通過arp協議獲取另外一臺主機的mac地址)
ethernet采用最原始的方式,廣播的方式進行通信,即計算機通信基本靠吼
網絡的由來:有了ethernet、mac地址、廣播的發送方式,世界上的計算機就可以彼此通信了,問題是世界范圍的互聯網是由
一個個彼此隔離的小的局域網組成的,那么如果所有的通信都采用以太網的廣播方式,那么一臺機器發送的包全世界都會收到,
這就不僅僅是效率低的問題了,這會是一種災難
上圖結論:必須找出一種方法來區分哪些計算機屬于同一廣播域,哪些不是,如果是就采用廣播的方式發送,如果不是,
就采用路由的方式(向不同廣播域/子網分發數據包),mac地址是無法區分的,它只跟廠商有關
網絡層功能:引入一套新的地址用來區分不同的廣播域/子網,這套地址即網絡地址
IP協議:
ip地址分成兩部分
例:172.16.10.1與172.16.10.2并不能確定二者處于同一子網
子網掩碼
所謂”子網掩碼”,就是表示子網絡特征的一個參數。它在形式上等同于IP地址,也是一個32位二進制數字,它的網絡部分全部為1,主機部分全部為0。比如,IP地址172.16.10.1,如果已知網絡部分是前24位,主機部分是后8位,那么子網絡掩碼就是11111111.11111111.11111111.00000000,寫成十進制就是255.255.255.0。
知道”子網掩碼”,我們就能判斷,任意兩個IP地址是否處在同一個子網絡。方法是將兩個IP地址與子網掩碼分別進行AND運算(兩個數位都為1,運算結果為1,否則為0),然后比較結果是否相同,如果是的話,就表明它們在同一個子網絡中,否則就不是。
比如,已知IP地址172.16.10.1和172.16.10.2的子網掩碼都是255.255.255.0,請問它們是否在同一個子網絡?兩者與子網掩碼分別進行AND運算,
172.16.10.1:10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網絡地址結果:10101100.00010000.00001010.000000001->172.16.10.0
172.16.10.2:10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網絡地址結果:10101100.00010000.00001010.000000001->172.16.10.0
結果都是172.16.10.0,因此它們在同一個子網絡。
總結一下,IP協議的作用主要有兩個,一個是為每一臺計算機分配IP地址,另一個是確定哪些地址在同一個子網絡。
ip數據包
ip數據包也分為head和data部分,無須為ip包定義單獨的欄位,直接放入以太網包的data部分
head:長度為20到60字節
data:最長為65,515字節。
而以太網數據包的”數據”部分,最長只有1500字節。因此,如果IP數據包超過了1500字節,它就需要分割成幾個以太網數據包,分開發送了。
以太網頭 ip 頭 ip數據
ARP協議
arp協議由來:計算機通信基本靠吼,即廣播的方式,所有上層的包到最后都要封裝上以太網頭,然后通過以太網協議發送,在談及以太網協議時候,我門了解到
通信是基于mac的廣播方式實現,計算機在發包時,獲取自身的mac是容易的,如何獲取目標主機的mac,就需要通過arp協議
arp協議功能:廣播的方式發送數據包,獲取目標主機的mac地址
協議工作方式:每臺主機ip都是已知的
例如:主機172.16.10.10/24訪問172.16.10.11/24
一:首先通過ip地址和子網掩碼區分出自己所處的子網
場景 數據包地址
同一子網 目標主機mac,目標主機ip
不同子網 網關mac,目標主機ip
二:分析172.16.10.10/24與172.16.10.11/24處于同一網絡(如果不是同一網絡,那么下表中目標ip為172.16.10.1,通過arp獲取的是網關的mac)
源mac 目標mac 源ip 目標ip 數據部分
發送端主機 發送端mac FF:FF:FF:FF:FF:FF 172.16.10.10/24 172.16.10.11/24 數據
三:這個包會以廣播的方式在發送端所處的自網內傳輸,所有主機接收后拆開包,發現目標ip為自己的,就響應,返回自己的mac
傳輸層的由來:網絡層的ip幫我們區分子網,以太網層的mac幫我們找到主機,然后大家使用的都是應用程序,你的電腦上可能同時開啟qq,暴風影音,等多個應用程序,
那么我們通過ip和mac找到了一臺特定的主機,如何標識這臺主機上的應用程序,答案就是端口,端口即應用程序與網卡關聯的編號。
傳輸層功能:建立端口到端口的通信
補充:端口范圍0-65535,0-1023為系統占用端口
tcp協議:
可靠傳輸,TCP數據包沒有長度限制,理論上可以無限長,但是為了保證網絡的效率,通常TCP數據包的長度不會超過IP數據包的長度,以確保單個TCP數據包不必再分割。
以太網頭 ip 頭 tcp頭 數據
udp協議:
不可靠傳輸,”報頭”部分一共只有8個字節,總長度不超過65,535字節,正好放進一個IP數據包。
以太網頭 ip頭 udp頭 數據
tcp報文
tcp三次握手和四次揮手
應用層由來:用戶使用的都是應用程序,均工作于應用層,互聯網是開發的,大家都可以開發自己的應用程序,數據多種多樣,必須規定好數據的組織形式
應用層功能:規定應用程序的數據格式。
例:TCP協議可以為各種各樣的程序傳遞數據,比如Email、WWW、FTP等等。那么,必須有不同協議規定電子郵件、網頁、FTP數據的格式,這些應用程序協議就構成了”應用層”。
我們知道兩個進程如果需要進行通訊最基本的一個前提能能夠唯一的標示一個進程,在本地進程通訊中我們可以使用PID來唯一標示一個進程,但PID只在本地唯一,網絡中的兩個進程PID沖突幾率很大,這時候我們需要另辟它徑了,我們知道IP層的ip地址可以唯一標示主機,而TCP層協議和端口號可以唯一標示主機的一個進程,這樣我們可以利用ip地址+協議+端口號唯一標示網絡中的一個進程。
能夠唯一標示網絡中的進程后,它們就可以利用socket進行通信了,什么是socket呢?我們經常把socket翻譯為套接字,socket是在應用層和傳輸層之間的一個抽象層,它把TCP/IP層復雜的操作抽象為幾個簡單的接口供應用層調用已實現進程在網絡中通信。
socket起源于UNIX,在Unix一切皆文件哲學的思想下,socket是一種"打開—讀/寫—關閉"模式的實現,服務器和客戶端各自維護一個"文件",在建立連接打開后,可以向自己文件寫入內容供對方讀取或者讀取對方內容,通訊結束時關閉文件。
總結圖如下:
數據傳輸動圖如下:
三.網絡通信實現
想實現網絡通信,每臺主機需具備四要素
本機的IP地址
子網掩碼
網關的IP地址
DNS的IP地址
獲取這四要素分兩種方式
1.靜態獲取
即手動配置
2.動態獲取
通過dhcp獲取
以太網頭 ip頭 udp頭 dhcp數據包
(1)最前面的”以太網標頭”,設置發出方(本機)的MAC地址和接收方(DHCP服務器)的MAC地址。前者就是本機網卡的MAC地址,后者這時不知道,就填入一個廣播地址:FF-FF-FF-FF-FF-FF。
(2)后面的”IP標頭”,設置發出方的IP地址和接收方的IP地址。這時,對于這兩者,本機都不知道。于是,發出方的IP地址就設為0.0.0.0,接收方的IP地址設為255.255.255.255。
(3)最后的”UDP標頭”,設置發出方的端口和接收方的端口。這一部分是DHCP協議規定好的,發出方是68端口,接收方是67端口。
這個數據包構造完成后,就可以發出了。以太網是廣播發送,同一個子網絡的每臺計算機都收到了這個包。因為接收方的MAC地址是FF-FF-FF-FF-FF-FF,看不出是發給誰的,所以每臺收到這個包的計算機,還必須分析這個包的IP地址,才能確定是不是發給自己的。當看到發出方IP地址是0.0.0.0,接收方是255.255.255.255,于是DHCP服務器知道”這個包是發給我的”,而其他計算機就可以丟棄這個包。
接下來,DHCP服務器讀出這個包的數據內容,分配好IP地址,發送回去一個”DHCP響應”數據包。這個響應包的結構也是類似的,以太網標頭的MAC地址是雙方的網卡地址,IP標頭的IP地址是DHCP服務器的IP地址(發出方)和255.255.255.255(接收方),UDP標頭的端口是67(發出方)和68(接收方),分配給請求端的IP地址和本網絡的具體參數則包含在Data部分。
新加入的計算機收到這個響應包,于是就知道了自己的IP地址、子網掩碼、網關地址、DNS服務器等等參數
DNS的作用:在互聯網中,其實沒有類似于www.xxx.com這種域名方式,而替代的是以IP地址,如222.222.222.222,那我們在IE地址欄中應當輸入222.222.222.222才能打開網站www.xxx.com,但我們細想一下,互聯網上的網站成千上萬,如果每個網站登陸都需要記住一大串數字,那是不是特別不方便,對于記憶力不強的人,根本無法記住這么煩瑣的數字。這個時候DNS就出現了,它的作用就是將222.222.222.222解析為www.xxx.com,那么我們登陸的時候就直接輸入域名就可以了。
為什么一定要設置DNS才能上網?有些朋友可能會發現,為什么我可能登陸QQ、MSN,但卻打不開網頁呢?其實大部分原因都是因為DNS服務器故障造成的,DNS服務器地址是唯一的,是運營商提供給終端用戶用來解析IP地址及域名的關系,而如果不設定DNS服務器地址,那么就無法查詢地址的去向,自然也就打不開網頁,而QQ、MSN等即時聊天軟件,采用的是UDP傳輸協議,即不可靠傳輸協議,無需提供DNS服務器地址,也同樣可以登陸。
dns的兩種查詢方式
# 一 :遞歸
主機向本地域名服務器的查詢一般都是采用遞歸查詢。所謂遞歸查詢就是:如果主機所詢問的本地域名服務器不知道被查詢的域名的IP地址,
那么本地域名服務器就以DNS客戶的身份,向其它根域名服務器繼續發出查詢請求報文(即替主機繼續查詢),而不是讓主機自己進行下一步查詢。
因此,遞歸查詢返回的查詢結果或者是所要查詢的IP地址,或者是報錯,表示無法查詢到所需的IP地址。
# 二:迭代
本地域名服務器向根域名服務器的查詢的迭代查詢。迭代查詢的特點:當根域名服務器收到本地域名服務器發出的迭代查詢請求報文時,要么給出所要查詢的IP地址,
要么告訴本地服務器:“你下一步應當向哪一個域名服務器進行查詢”。然后讓本地服務器進行后續的查詢。根域名服務器通常是把自己知道的頂級域名服務器的IP地址告訴本地域名服務器,
讓本地域名服務器再向頂級域名服務器查詢。頂級域名服務器在收到本地域名服務器的查詢請求后,要么給出所要查詢的IP地址,要么告訴本地服務器下一步應當向哪一個權限域名服務器進行查詢。
最后,知道了所要解析的IP地址或報錯,然后把這個結果返回給發起查詢的主機。
復制代碼
下圖給出了這兩種查詢的差別
圖1
圖2
# 下面舉一個例子演示整個查詢過程:
假定域名為m.xyz.com的主機想知道另一個主機y.abc.com的IP地址。例如,主機m.xyz.com打算發送郵件給y.abc.com。這時就必須知道主機y.abc.com的IP地址。下面是圖2的幾個查詢步驟:
1、主機m.abc.com先向本地服務器dns.xyz.com進行遞歸查詢。
2、本地服務器采用迭代查詢。它先向一個根域名服務器查詢。
3、根域名服務器告訴本地服務器,下一次應查詢的頂級域名服務器dns.com的IP地址。
4、本地域名服務器向頂級域名服務器dns.com進行查詢。
5、頂級域名服務器dns.com告訴本地域名服務器,下一步應查詢的權限服務器dns.abc.com的IP地址。
6、本地域名服務器向權限域名服務器dns.abc.com進行查詢。
7、權限域名服務器dns.abc.com告訴本地域名服務器,所查詢的主機的IP地址。
8、本地域名服務器最后把查詢結果告訴m.xyz.com。
# 整個查詢過程共用到了8個UDP報文。
為了提高DNS查詢效率,并減輕服務器的負荷和減少因特網上的DNS查詢報文數量,在域名服務器中廣泛使用了高速緩存,用來存放最近查詢過的域名以及從何處獲得域名映射信息的記錄。
例如,在上面的查詢過程中,如果在m.xyz.com的主機上不久前已經有用戶查詢過y.abc.com的IP地址,那么本地域名服務器就不必向根域名服務器重新查詢y.abc.com的IP地址,而是直接把告訴緩存中存放的上次查詢結果(即y.abc.com的IP地址)告訴用戶。
由于名字到地址的綁定并不經常改變,為保持告訴緩存中的內容正確,域名服務器應為每項內容設置計時器并處理超過合理時間的項(例如每個項目兩天)。當域名服務器已從緩存中刪去某項信息后又被請求查詢該項信息,就必須重新到授權管理該項的域名服務器綁定信息。當權限服務器回答一個查詢請求時,在響應中都指明綁定有效存在的時間值。增加此時間值可減少網絡開銷,而減少此時間值可提高域名解析的正確性。
不僅在本地域名服務器中需要高速緩存,在主機中也需要。許多主機在啟動時從本地服務器下載名字和地址的全部數據庫,維護存放自己最近使用的域名的高速緩存,并且只在從緩存中找不到名字時才使用域名服務器。維護本地域名服務器數據庫的主機應當定期地檢查域名服務器以獲取新的映射信息,而且主機必須從緩存中刪除無效的項。由于域名改動并不頻繁,大多數網點不需花精力就能維護數據庫的一致性。
DNS解析流程舉例
如上圖所示,我們將詳細闡述DNS解析流程。
1、首先客戶端位置是一臺電腦或手機,在打開瀏覽器以后,比如輸入http://www.zdns.cn的域名,它首先是由瀏覽器發起一個DNS解析請求,
如果本地緩存服務器中找不到結果,則首先會向根服務器查詢,根服務器里面記錄的都是各個頂級域所在的服務器的位置,當向根請求http://www.zdns.cn的時候,
根服務器就會返回.cn服務器的位置信息。
2、遞歸服務器拿到.cn的權威服務器地址以后,就會尋問cn的權威服務器,知不知道http://www.zdns.cn的位置。這個時候cn權威服務器查找并返回http://zdns.cn服務器的地址。
3、繼續向http://zdns.cn的權威服務器去查詢這個地址,由http://zdns.cn的服務器給出了地址:202.173.11.10
4、最終才能進行http的鏈接,順利訪問網站。
5、這里補充說明,一旦遞歸服務器拿到解析記錄以后,就會在本地進行緩存,如果下次客戶端再請求本地的遞歸域名服務器相同域名的時候,就不會再這樣一層一層查了,
因為本地服務器里面已經有緩存了,這個時候就直接把http://www.zdns.cn的A記錄返回給客戶端就可以了。
DNS查詢類型
DNS的查詢類型有20種,比較常用的查詢類型有有A,NS,CNAME,PTR,MX等五種類型。以下分別介紹五種類型:
1)A:由DNS域名到IP地址的查詢,即正向查詢,編程中由函數gethostbyname實現。
2)PTR:由IP到域名的查詢,即逆向查詢,編程中由函數gethostbyaddr。
3)NS:查詢解析的名字服務器(Name server)。
4)CNAME:查詢DNS的別名。
5)MX:郵箱服務器查詢。
記錄一條域名信息映射關系,稱之為資源記錄(RR)。
當我們查詢域名http://www.zdns.cn的時候,查詢結果得到的資源記錄結構體中有如下數據:
1、TTL,就是生存周期,是遞歸服務器會在緩存中保存該資源記錄的時長。
2、網絡/協議類型,它的代表的標識是IN,IN就是internet,目前DNS系統主要支持的協議是IN。
3、type,就是資源記錄類型,一般的網站都是都是A記錄(IPv4的主機地址)。
4、rdata是資源記錄數據,就是域名關聯的信息數據。
DNS緩存
DNS緩存指DNS返回了正確的IP之后,系統就會將這個結果臨時儲存起來。并且它會為緩存設定一個失效時間 (例如N小時),在這N小時之內,當你再次訪問這個網站時,系統就會直接從你電腦本地的DNS緩存中把結果交還給你,而不必再去詢問DNS服務器,變相“加速”了網址的解析。
當然,在超過N小時之后,系統會自動再次去詢問DNS服務器獲得新的結果。所以,當你修改了 DNS 服務器,并且不希望電腦繼續使用之前的DNS緩存時,就需要手動去清除本地的緩存了。
DNS緩存分類
1)瀏覽器DNS緩存(內存中): 瀏覽器會按照一定頻率緩存DNS記錄
2)本地操作系統DNS緩存(內存中): 如果瀏覽器緩存中找不到需要的DNS記錄,那就去操作系統找。
3)本地HOSTS文件(硬盤中): Windows系統中位于C:\Windows\System32\drivers\etc
4)路由器指定的DNS(遠程): 路由器自動獲取DNS地址,也可以手動修改-登錄后臺設置DNS服務器地址
ps:路由器DNS被篡改會造成域名劫持,你訪問的網址都會被定位到同一個位置,但是IP直接可以訪問
5)ISP的DNS服務器(遠程): ISP(Internet Service Provider互聯網服務提供商、聯通電信移動),ISP有專門的DNS服務器應 對DNS查詢請求
6)根服務器(遠程,跨國): ISP的DNS服務器還找不到的話,它就會向根服務器發出查詢請求
復制代碼
調用系統緩存需要跨進程,消耗大,因此為了解析速度的方便,就有了一系列緩存來加快IP查找速度。
瀏覽器DNS查找順序
瀏覽器DNS緩存->本地系統DNS緩存->本地計算機HOSTS文件->ISP DNS緩存->遞歸or迭代搜索
期間如果查詢到了,也就直接訪問ip地址了,這個就像三級緩存原理一樣,例如,能夠在hosts文件中找到就不會再去查其他的
清除DNS緩存
打開cmd執行命令:ipconfig /all
全國通用DNS地址(國內用戶推薦使用,速度較快!)
首先DNS服務器地址添:114.114.114.114 (位于北京人民英雄紀念碑)
備用DNS服務器地址添:114.114.115.115
全球通用DNS地址(此DNS地址為谷歌服務器的)
首選DNS服務器地址添:8.8.8.8
備用DNS服務器地址添:8.8.4.4
查看本地dns緩存命令:ipconfig /displaydns
清除本地dns緩存命令:ipconfig /flushdns
清除瀏覽器緩存:
我們在開發的時候,有時候會給某個域名綁hosts,用于本地開發測試,但是綁了之后,用谷歌瀏覽器訪問會發現并沒有生效,按F12會發現訪問的還是線上的ip,
說明瀏覽器是有該域名的dns緩存的,那么如何清除瀏覽器的dns緩存呢?
# 1、針對谷歌瀏覽器
谷歌瀏覽器清除方法如下:打開瀏覽器,訪問如下地址
chrome://net-internals/#dns
點擊 clear host cache,就清楚了瀏覽器的dns緩存,再訪問綁hosts的域名,就會發現ip變啦
# 2、針對火狐瀏覽器
如果是firefox火狐瀏覽器的話,可以按照以下方式:
在地址欄中 about:config 并回車,可能會出現一個警告信息,直接點擊按鈕進入,會出現firefox的所有配置信息,通過搜索dns 進行過濾,
可以看到一項名為 network.dnsCacheExpirationGracePeriod 項,它對應的值就是DNS緩存的時間,雙擊此項,會出現修改的提示框,填入 0 (不緩存DNS)即可。
其他了解
13臺根dns:
A.root-servers.net198.41.0.4美國
B.root-servers.net192.228.79.201美國(另支持IPv6)
C.root-servers.net192.33.4.12法國
D.root-servers.net128.8.10.90美國
E.root-servers.net192.203.230.10美國
F.root-servers.net192.5.5.241美國(另支持IPv6)
G.root-servers.net192.112.36.4美國
H.root-servers.net128.63.2.53美國(另支持IPv6)
I.root-servers.net192.36.148.17瑞典
J.root-servers.net192.58.128.30美國
K.root-servers.net193.0.14.129英國(另支持IPv6)
L.root-servers.net198.32.64.12美國
M.root-servers.net202.12.27.33日本(另支持IPv6)
域名定義:http://jingyan.baidu.com/article/1974b289a649daf4b1f774cb.html
頂級域名:以.com,.net,.org,.cn等等屬于國際頂級域名,根據目前的國際互聯網域名體系,國際頂級域名分為兩類:類別頂級域名(gTLD)和地理頂級域名(ccTLD)兩種。類別頂級域名是 以"COM"、"NET"、"ORG"、"BIZ"、"INFO"等結尾的域名,均由國外公司負責管理。地理頂級域名是以國家或地區代碼為結尾的域名,如"CN"代表中國,"UK"代表英國。地理頂級域名一般由各個國家或地區負責管理。
二級域名:二級域名是以頂級域名為基礎的地理域名,比喻中國的二級域有,.com.cn,.net.cn,.org.cn,.gd.cn等.子域名是其父域名的子域名,比喻父域名是abc.com,子域名就是www.abc.com或者.abc.com.
一般來說,二級域名是域名的一條記錄,比如alidiedie.com是一個域名,www.alidiedie.com是其中比較常用的記錄,一般默認是用這個,但是類似.alidiedie.com的域名全部稱作是alidiedie.com的二級
本機的IP地址:192.168.1.100
子網掩碼:255.255.255.0
網關的IP地址:192.168.1.1
DNS的IP地址:8.8.8.8
2.打開瀏覽器,想要訪問Google,在地址欄輸入了網址:www.google.com。
3.dns協議(基于udp協議)
4.HTTP部分的內容,類似于下面這樣:
GET / HTTP/1.1
Host: www.google.com
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1) ……
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Cookie: … …
我們假定這個部分的長度為4960字節,它會被嵌在TCP數據包之中。
5 TCP協議
TCP數據包需要設置端口,接收方(Google)的HTTP端口默認是80,發送方(本機)的端口是一個隨機生成的1024-65535之間的整數,假定為51775。
TCP數據包的標頭長度為20字節,加上嵌入HTTP的數據包,總長度變為4980字節。
6 IP協議
然后,TCP數據包再嵌入IP數據包。IP數據包需要設置雙方的IP地址,這是已知的,發送方是192.168.1.100(本機),接收方是172.194.72.105(Google)。
IP數據包的標頭長度為20字節,加上嵌入的TCP數據包,總長度變為5000字節。
7 以太網協議
最后,IP數據包嵌入以太網數據包。以太網數據包需要設置雙方的MAC地址,發送方為本機的網卡MAC地址,接收方為網關192.168.1.1的MAC地址(通過ARP協議得到)。
以太網數據包的數據部分,最大長度為1500字節,而現在的IP數據包長度為5000字節。因此,IP數據包必須分割成四個包。因為每個包都有自己的IP標頭(20字節),所以四個包的IP數據包的長度分別為1500、1500、1500、560。
8 服務器端響應
經過多個網關的轉發,Google的服務器172.194.72.105,收到了這四個以太網數據包。
根據IP標頭的序號,Google將四個包拼起來,取出完整的TCP數據包,然后讀出里面的”HTTP請求”,接著做出”HTTP響應”,再用TCP協議發回來。
本機收到HTTP響應以后,就可以將網頁顯示出來,完成一次網絡通信。