前文的爬蟲都建立在靜態網頁基礎之上，首先通過請求網站url獲取到網頁源代碼。之后對源代碼進行信息提取進而存儲即可，本文則針對動態網頁進行數據采集，首先介紹Ajax相關理論，之后實戰爬取同花順動態網頁，獲取個股相關信息。
1.Ajax簡介
Ajax 即“Asynchronous Javascript And XML”（異步 JavaScript 和 XML），是指一種創建交互式、快速動態網頁應用的網頁開發技術，無需重新加載整個網頁的情況下，能夠更新部分網頁的技術。通過在后臺與服務器進行少量數據交換，Ajax 可以使網頁實現異步更新。這意味著可以在不重新加載整個網頁的情況下，對網頁的某部分進行更新。
2.Ajax分析
微博網站就是一個比較容易識別的帶有Ajax的動態網頁，首先打開Dectools工具（調至XHR一欄）和中南財經政法大學的官微網站（https://m.weibo.cn/u/1216903164），這里選用的是移動端微博，之后選擇清空所有內容。
接下來滾動滑輪將頁面向下拉，直至清空的XHR一欄出現新的item，點開這個item并選擇Preview欄即可發現這里對應的相應內容即為頁面新出現的微博，而反觀上方網頁鏈接卻沒有變，此時我們即可判定這是一個經過Ajax請求之后的網頁。
3.Ajax提取
還是選擇同樣的條目進入Headers進一步查看信息，可以發現這是一個GET類型的請求，請求url為：https://m.weibo.cn/api/container/getIndex?type=uid&value=1216903164&containerid=1076031216903164&since_id=4479891116113956，即請求的參數有四個：type、value、containerid、since_id，隨后接著翻頁發現除since_id變化外，其余都不變化，這里可知since_id即為翻頁方式。
接下來進一步觀察since_id發現上下請求之間的since_id無明顯規律，進一步查找可知下一頁的since_id在上一頁響應中的cardListInfo里，因此可以建立循環聯系進一步將動態url循環加至爬蟲里。
發起請求獲取響應之后進一步分析，可知響應格式為json，因此進一步對json進行處理即可得最終數據！
1.網頁概覽
有了上文分析之后我們將通過同花順網頁數據采集實戰進行實例驗證。首先打開網頁：http://q.10jqka.com.cn/，如下圖：
進一步按F12鍵打開Devtools后臺源代碼，鼠標放至第一條目右鍵檢查可展現出源代碼中所在位置。
2.Ajax判別
接下來我們通過點擊網頁下方的下一頁，發現網頁url沒有發生任何變化！此時基本可以判定此網頁屬于Ajax動態網頁。
進一步我們清空Network中所有內容，繼續點擊下一頁至第五頁，發現連續彈出三條Name相同內容，可通過General欄獲取到請求的url以及請求頭的具體內容。
因此我們將此請求url復制放至瀏覽器中打開，響應內容果然為標準化表格數據，這正是我們想要的內容。
3.Ajax提取
接著我們同樣打開源代碼，發現為html文檔，表明響應內容為網頁形式，這與上文微博響應json格式不同，因此之后可以通過網頁解析形式獲取數據。
1.網頁獲取
在經過第一部分的理論介紹和第二部分的網頁分析之后我們就可以開始編寫爬蟲代碼了，首先導入庫，并定義請求頭。需要注意一點的是此處的請求頭除User-Agent外還需要host、Referer和X-Requested-With參數，要區分與靜態網頁爬取。
# 導入庫
import time
import json
import random
import requests
import pandas as pd
from bs4 import BeautifulSoup
?
headers = {
'host':'q.10jqka.com.cn',
'Referer':'http://q.10jqka.com.cn/',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3554.0 Safari/537.36',
'X-Requested-With':'XMLHttpRequest'
}
url = 'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/%s/ajax/1/' % page_id
res = requests.get(url,headers=headers)
res.encoding = 'GBK'2.信息提取
之后就是上文解析庫中的內容，此處采用BaetifulSoup庫更易于理解。先將上文html轉化為BeautifulSoup對象，之后通過對象的select選擇器選擇響應tr標簽內的數據，并進一步解析每一條tr標簽的內容即可得到以下相應信息。
# 獲取單頁數據
def get_html(page_id):
headers = {
'host':'q.10jqka.com.cn',
'Referer':'http://q.10jqka.com.cn/',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3554.0 Safari/537.36',
'X-Requested-With':'XMLHttpRequest'
}
url = 'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/%s/ajax/1/' % page_id
res = requests.get(url,headers=headers)
res.encoding = 'GBK'
soup = BeautifulSoup(res.text,'lxml')
tr_list = soup.select('tbody tr')
# print(tr_list)
stocks = []
for each_tr in tr_list:
td_list = each_tr.select('td')
data = {
'股票代碼':td_list[1].text,
'股票簡稱':td_list[2].text,
'股票鏈接':each_tr.a['href'],
'現價':td_list[3].text,
'漲幅':td_list[4].text,
'漲跌':td_list[5].text,
'漲速':td_list[6].text,
'換手':td_list[7].text,
'量比':td_list[8].text,
'振幅':td_list[9].text,
'成交額':td_list[10].text,
'流通股':td_list[11].text,
'流通市值':td_list[12].text,
'市盈率':td_list[13].text,
}
stocks.append(data)
return stocks3.保存數據
定義write2excel函數將數據保存至stocks.xlsx文件中。
# 保存數據
def write2excel(result):
json_result = json.dumps(result)
with open('stocks.json','w') as f:
f.write(json_result)
with open('stocks.json','r') as f:
data = f.read()
data = json.loads(data)
df = pd.DataFrame(data,columns=['股票代碼','股票簡稱','股票鏈接','現價','漲幅','漲跌','漲速','換手','量比','振幅','成交額', '流通股','流通市值','市盈率'])
df.to_excel('stocks.xlsx',index=False)4.循環結構
考慮到同花順多頁結構，同時存在反爬，此處同樣采用字符串拼接和循環結構遍歷多頁股票信息，同時通過random庫中randint方法和time庫的sleep方法間斷一定時長再進行爬取。
def get_pages(page_n):
stocks_n = []
for page_id in range(1,page_n+1):
page = get_html(page_id)
stocks_n.extend(page)
time.sleep(random.randint(1,10))
return stocks_n最終的爬取結果如下：
至此同花順動態網頁的爬取完成，再通過此爬蟲總結一下：首先我們通過瀏覽網頁結構和翻頁對比XHR欄對該頁進行Ajax判定，如果網頁url不變且XHR會刷新內容則基本表明為動態網頁，此時我們進一步查看多頁間url請求的異同并找尋規律，規律找到之后即可建立多頁請求流程。之后對單獨一個響應內容進行處理（具體看響應內容的格式），最后建立起整個循環爬蟲結構即可自動化爬取想要的信息。
爬蟲完整代碼可以在頭條號中私信獲得。下文將進一步對瀏覽器模擬行為進行講解和實戰，前文涉及的基礎知識可參考下面鏈接：
爬蟲所要了解的基礎知識，這一篇就夠了！Python網絡爬蟲實戰系列
一文帶你深入了解并學會Python爬蟲庫！從此數據不用愁
Python爬蟲有多簡單？一文帶你實戰豆瓣電影TOP250數據爬取！
一文弄清Python網絡爬蟲解析庫！內含多個實例講解
來源：cnBeta.COM
多年來，夾在智能手機和筆記本電腦之間的Pad類產品地位尷尬——和手機比，生態落后，核心功能體驗也不如手機好；和筆電比，便攜性的優勢有了，使用場景上的劣勢又顯現出來。相較之下，消費者其實更希望Pad在功能上能夠進一步貼近筆電，由此成為輕辦公需求下的首選生產力工具。
作為國內市場平板的領航者，華為MatePad Pro在傳統平板各項功能上的表現已趨近于完美。在此基礎上，麒麟990 5GSoC旗艦芯片的加持，不僅帶來了超強性能，也帶來了5G功能。而5G功能的加入，無異于如虎添翼，搭配華為日臻成熟的云端技術，用戶這次終于能夠在平板類產品上實現完完整整的PC辦公和游戲體驗。
廢話不多說，接下來就讓我們率先來體驗5G技術賦能下華為MatePad Pro 5G顛覆傳統認知的功能進化吧。
上篇：5G進化體驗
移動辦公體驗幾乎與筆電無異
用華為MatePadPro 5G實現移動辦公有兩種方法，第一種方法只需要點擊下拉菜單中的“電腦模式”即可進入安卓系統下的準筆電模式。
該模式下支持多窗口任務操作，再搭配上鍵盤和鼠標，就能開始準桌面體驗。讓我們點擊“開啟”進入。
等待大約一秒時間，整個系統界面會立刻轉變為類似Windows10的桌面布局，看看桌面的圖標排序和底端任務欄，是不是很熟悉的感覺？注意右下角，傳統的安卓導航三鍵也得到保留。
但這種模式終歸是基于安卓系統，在出差途中或其他移動場景，有沒有可能將平板瞬間變成一臺運行Windows10系統的筆電設備呢？華為MatePad Pro 5G給出的答案是肯定的——通過“華為云電腦”App和5G技術的高速率、低時延完美搭配，我們如今終于可以實現這項“癡心妄想”的功能。
“華為云電腦”有兩種機型可供選擇，我們可以根據平時需求的不同自由選擇。顧名思義，“游戲型”的“配置”要高過“標準型”，但如果我們的需求以移動辦公為主，那么“標準型”已經足夠。
是的，你沒看錯，經過前面的登錄操作后，我們的華為MatePad Pro 5G此時此刻已經變成了一臺Windows10操作系統的筆電。經過實際體驗測試，只要5G網絡通暢，在PC上能做的一切事情，現在我們都可以通過華為MatePad Pro 5G完成。
一模一樣的開始菜單：
瀏覽PC端網頁：
打開WPS進行復雜的排版工作：
使用已經安裝的任意軟件：
日常使用的辦公軟件（如Office，PhotoShop，XMind）和專業軟件（如東方財富，大智慧，同花順）系統里沒有安裝怎么辦？下載下來使用就好咯。總之就是你怎么用筆電就怎么用華為MatePad Pro 5G，這次的體驗真的可以用“一模一樣”來描述。
5G云游戲體驗絕對讓人驚喜
除了盡善盡美的移動辦公體驗，華為MatePad Pro 5G的游戲體驗更讓人瞠目結舌，因為除了確保安卓類游戲的流暢運行外，我們還可以隨時隨地用它來玩兒只能運行在PC端的大型端游。還是不相信？來看看下面這張圖，是什么游戲正運行在MatePad Pro5G上？
“奧秘”在咪咕快游App和5G的完美結合，MatePad Pro 5G的用戶登錄即可獲贈旗艦版會員，可享受長達60個小時的免費游戲時長。
接下來，在“游戲”-“主機”板塊下可以找到諸多知名大作，包括刺客信條、孤島驚魂、戰地、極品飛車這些PC端的大作。
想要玩哪一款，直接點擊后面的“秒玩”按鈕就可以等待游戲載入，游戲支持虛擬按鍵，外接鍵盤以及手柄等操控方式，加載速度和游戲過程中的流暢程度取決于你當前所處的網絡環境，5G信號給力的環境下，不夸張的說，某些在PC上都不一定能暢玩的大作，都能在華為MatePad Pro 5G上以1080P高清畫質持續流暢的運行。
來看看都能玩哪些知名的PC端游大作吧~
刺客信條：奧德賽
極品飛車20：
戰地5：
5G下載實測
我們如果來到信號比較好的地方，測試的速度甚至可以達到1000M以上。筆者由于最近沒出門，于是找到了朋友進行下載測速，發現速度實在驚人。這種速度，無論玩大型游戲看藍光視頻都極為流暢，至于觀看在線直播，搶紅包這些，更是不在話下。
實測的結論是，只要處于良好的5G信號覆蓋區域，華為MatePad Pro 5G的在線和下載功能幾乎就是無敵的存在。
下篇：傳統功能評測
外觀設計
4.9mm等距微邊框全面屏是華為MatePad Pro 5G外觀設計上的一大亮點，90%屏占比也是目前市面平板產品中最高的一款。華為MatePad Pro 5G搭載了一塊10.8英寸屏幕，長寬比16：10，分辨率達到2560*1600，280 PPI，支持96%NTSC廣色域、亮度540nit、1500：1高對比度。
華為MatePad Pro5G采用完整一體化設計，這讓握持變得更加圓潤舒適。整機薄至7.2mm，重約492g，纖薄輕盈更符合平板定位。
值得一提的是，華為MatePadPro 5G后殼采用了青山黛素皮的后殼，顯得大氣和具有質感。
華為MatePad Pro5G采用USB Type-C接口，標配40W超級快充，支持27W無線正向超級快充，也是全球首款支持無線正反向充電的平板產品。
華為MatePad Pro5G前置800萬，后置1300萬像素攝像頭，雖然用平板拍照不是主流操作，不過應對視頻通話和應急拍攝等需求綽綽有余。
智慧輕辦公套件
為了在生產力方面進行提升，華為MatePadPro 5G也配備了智能磁吸鍵盤和HUAWEI M-Pencil手寫筆，方便又快捷。
智能磁吸鍵盤采用全尺寸鍵盤設計，完全能夠勝任“輕辦公”的場景需求。
HUAWEI M-Pencil擁有4096級壓感，延時低至20ms。
橫屏生態
同為安卓系統，平板相比智能手機最大的優勢莫過于屏幕尺寸，但實際上很多平板都沒有發揮出橫屏的優勢，似乎也就是看視頻玩游戲而已。但實際上，華為很早就開始了平板的橫屏生態布局，具體到華為MatePad Pro 5G上，有三大橫屏功能可供使用。
智慧分屏：顧名思義，實現多窗口多任務顯示；左右屏能夠顯示不同應用，無需切換；懸浮窗口功能可以在不退出當前進程的情況下，更高效快速的處理彈出的消息。
平行視界：我們知道有不少App是不支持平板橫屏操控的，但單純的豎屏放大體驗也并不那么出色。平行視界最大的便利就是在橫屏狀態下，將這樣的App不同界面分屏顯示。舉個例子，我們既可以在屏幕右側觀看微信公眾號的內容，與此同時還可以繼續在屏幕左側執行看朋友圈等其他操作，非常人性化。
多屏協同：簡而言之，華為所有智能設備之間實現互通互聯，目前使用比較多的場景是手機與平板之間的互聯，連接成功后就可以實現數據傳輸、互為外設等操作。目前，多屏協同也更新了“共享剪貼板”功能，能夠在手機上復制，平板上粘貼，方便進行信息整理。
EMUI 10.1
EMUI操作系統來到第10代，各方面優化已經非常完善，如果展開詳細說的話又會是一大篇專項評測。本篇這里只簡單體驗了暢連通話、分布式圖庫和視頻接續三個主打功能。
暢連通話功能支持在華為手機、平板、智慧屏等眾多設備上，進行1080P級別高清視頻通話流轉；分布式圖庫則借助EMUI 10.1系統的分布式技術，可在連接同一WiFi路由器和同一華為賬號下快速實現跨設備圖片訪問、搜索以及分享；視頻接續功能可將手機正在播放的視頻“碰一下”直接傳遞到華為MatePad Pro 5G上，在平板上打開對應APP后無縫續播視頻。整體上講，強勁性能搭配EMUI 10.1這個最新操作系統，這讓華為MatePad Pro 5G在日常使用上很是不錯。
編輯點評：這次是真正顛覆性的進化
如果不是用大大的平板打電話太過突兀，那么真的可以說華為MatePad Pro 5G集成了手機、平板和筆電的所有功能。想想看，擁有了這個平板，不但可以體驗到傳統平板的所有功能，甚至還能實現與PC無異的重度辦公和重度游戲體驗。當然，也許你會說，其它平板也可以安裝“華為云電腦”和“咪咕快游”App，但麒麟990 5G SoC芯片不僅帶來了5G，也是全程支撐流暢體驗的強有力保障。
再加上同樣出色的設計、屏幕、續航和充電，華為MatePad Pro 5G絕對是當前最值得購買的一步到位的平板之選。