Selenium 是一個 Web 自動化測試工具,最初是為網站自動化測試而開發,Selenium 可以直接調用瀏覽器,它支持所有主流的瀏覽器(包括 PhantomJS 這些無界面的瀏覽器),可以接收指令,讓瀏覽器自動加載頁面,獲取需要的數據,甚至頁面截屏等。
在下載好 chromedriver 以及安裝好 selenium 模塊后,執行下列代碼:
from selenium import webdriver
# 如果driver沒有添加到環境變量,則需要將driver的絕對路徑賦值給executable_path參數
# driver = webdriver.Chrome(executable_path='/home/worker/Desktop/driver/chromedriver')
# 如果driver添加了環境變量,則不需要設置executable_path
driver = webdriver.Chrome()
# 向一個url發起請求
driver.get('https://www.baidu.com')
# 把網頁保存為圖片,69版本以上的谷歌瀏覽器將無法使用截圖功能
driver.save_screenshot("screenshot.png")
print(driver.title) # 打印頁面標題
# 退出模擬瀏覽器
driver.quit() # 一定要退出!不退出會有殘留進程!
PhantomJS 是一個基于 Webkit 的"無界面"(headless)瀏覽器,它會把網站加載到內存并執行頁面上的 JavaScript。下載地址:https://phantomjs.org/download
from selenium import webdriver
driver = webdriver.PhantomJS()
# driver = webdriver.PhantomJS(executable_path='/home/worker/Desktop/driver/phantomjs')
# 向一個url發起請求
driver.get('https://www.baidu.com')
# 把網頁保存為圖片
driver.save_screenshot('screenshot.png')
# 退出模擬瀏覽器
driver.quit() # 一定要退出!不退出會有殘留進程!
利用瀏覽器原生 API,封裝成一套更加面向對象的 Selenium WebDriver API,直接操作瀏覽器頁面里的元素,甚至操作瀏覽器本身(截屏、窗口大小、啟動、關閉、安裝插件、配置證書...)
pip/pip3 install selenium
pip/pip3 install selenium==版本號
以 Chrome 瀏覽器為例:
注意:不同版本瀏覽器對應的 driver 是不一樣的,盡量使用與瀏覽器版本號一致的 driver(一般大版本號一致是可以兼容的,例如 瀏覽器 91.0.4472.124,驅動 91.0.4472.19)。否則會報錯,比如:This version of ChromeDriver only supports Chrome version 92 Current browser version is 91.0.4472.124
使用 Selenium 啟動 Chrome 瀏覽器,打開百度網頁,在搜索框中輸入文字后,點擊搜索按鈕:
import time
from selenium import webdriver
# chromedriver已經添加到環境變量
# driver = webdriver.Chrome()
# 通過指定chromedriver的路徑來實例化driver對象
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
# 控制瀏覽器訪問url地址
driver.get('https://www.baidu.com')
# 在百度搜索框中搜索 'python'
driver.find_element_by_id('kw').send_keys('python')
# 點擊 "百度搜索"
driver.find_element_by_id('su').click()
time.sleep(6)
# 退出瀏覽器
driver.quit()
舉例:
from selenium import webdriver
import time
# 創建一個瀏覽器對象
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
# 訪問指定的url地址
driver.get('http://www.baidu.com')
# 顯示源碼
print(driver.page_source)
# 顯示響應對應的url
print(driver.current_url) # https://www.baidu.com/
# 標簽頁標題
print(driver.title) # 百度一下,你就知道
time.sleep(2)
driver.get('http://www.douban.com')
time.sleep(2)
driver.back()
time.sleep(2)
driver.forward()
# 保存網頁快照,常用于驗證是否運行或者驗證碼截圖
driver.save_screenshot('douban.png')
time.sleep(2)
# 關閉標簽頁
# driver.close()
# 關閉瀏覽器
driver.quit()
注意:
舉例:
from selenium import webdriver
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
driver.get('http://www.baidu.com')
# 根據xpath進行元素定位
# driver.find_element_by_xpath('//*[@id="kw"]').send_keys('python3')
# 根據css選擇器進行元素定位
# driver.find_element_by_css_selector('#kw').send_keys('python3')
# 根據name屬性值進行元素定位
# driver.find_element_by_name('wd').send_keys('python3')
# 根據class屬性值進行元素定位
# driver.find_element_by_class_name('s_ipt').send_keys('python3')
# 根據id屬性值進行元素定位
# driver.find_element_by_id('su').click()
# 根據鏈接文本進行元素定位
# driver.find_element_by_link_text('hao123').click()
# 根據部分鏈接文本進行元素定位
# driver.find_element_by_partial_link_text('hao').click()
# 根據標簽名進行元素定位
# 限制:目標元素在當前html中是唯一標簽的時候或者是眾多定位出來的標簽中的第一個的時候才能使用
driver.find_element_by_tag_name('title')
find_element 只能獲取元素,不能直接獲取其中的數據,如果需要獲取數據需要使用以下方法:
舉例:
from selenium import webdriver
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
driver.get('https://sz.58.com/chuzu/')
el_list = driver.find_elements_by_xpath('//li[@class="house-cell realverify"]//a[@class="strongbox"]')
for el in el_list:
print(el.text, el.get_attribute('href'))
# el.click() # el必須是可點擊的,否則會報錯
# el.send_keys(data) # el必須是 text input 這類可輸入的標簽
# el.clear() # 對輸入框做清空操作
當 selenium 控制瀏覽器打開多個標簽時,就需要進行標簽頁切換了,操作步驟如下:
窗口句柄:指向標簽頁對象的標識
方法:
# 1. 獲取當前所有的標簽頁的句柄構成的列表
current_windows = driver.window_handles
# 2. 根據標簽頁句柄列表索引下標進行切換
driver.switch_to.window(current_window[0])
舉例:
from selenium import webdriver
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
driver.get('https://jn.58.com/')
print(driver.current_url) # https://jn.58.com/
print(driver.window_handles) # ['CDwindow-C612EA61989BAA']
# 定位到“租房”a標簽
el = driver.find_element_by_xpath('//span[@class="contentAdTilRt"]/a[text()="租房"]')
el.click()
print(driver.window_handles) # ['CDwindow-C612EA61989BAA', 'CDwindow-45CEE57C52AAB2FE']
# 切換到最新的標簽頁面
driver.switch_to.window(driver.window_handles[-1])
print(driver.current_url) # https://jn.58.com/chuzu/
iframe 是 html 中常用的一種技術 ,即一個頁面中嵌套了另一個網頁,selenium 默認是訪問不了 frame 中的內容的,需要使用代碼切換到指定的 frame 中再進行后續的操作。
方法:
# 可以傳入frame標簽的id
driver.switch_to.frame(frame_id)
# 當id無法獲取到時,也可以傳入(通過xpath等方式)定位到的frame標簽對象
driver.switch_to.frame(frame_element)
舉例:
from selenium import webdriver
qq_username = ''
qq_password = ''
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
driver.get('https://qzone.qq.com/')
# 切換到賬號登錄iframe
driver.switch_to.frame('login_frame') # <iframe id="login_frame" ...></iframe>
# driver.switch_to.frame(driver.find_element_by_id('login_frame'))
# 點擊 賬號密碼登錄
driver.find_element_by_id("switcher_plogin").click()
# 輸入賬號密碼
driver.find_element_by_id('u').send_keys(qq_username)
driver.find_element_by_id('p').send_keys(qq_password)
# 點擊登錄
driver.find_element_by_id('login_button').click()
driver.get_cookies() 返回列表,其中包含了完整的 cookie 信息,即不光有 name、value,還有 domain 等其他維度的信息,所以如果想把獲取的 cookie 信息和 requests 模塊配合使用的話,需要轉換為 name、value 作為鍵值對的 cookie 字典。
舉例:
# 獲取當前標簽頁的全部cookie信息
print(driver.get_cookies())
# 將cookie信息轉可用于requests使用的cookie字典
cookies_dict = {data['name']: data['value'] for data in driver.get_cookies()}
# 刪除一條cookie
driver.delete_cookie('CookieName')
# 刪除所有的cookie
driver.delete_all_cookies()
selenium 可以讓瀏覽器執行我們規定的 js 代碼,比如,頁面向下滾動等等。
方法:
driver.execute_script(js_script)
舉例:
from selenium import webdriver
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
driver.get('https://sz.lianjia.com/')
# js代碼:向下滾動500像素
js_script = 'scrollTo(0, 500)'
driver.execute_script(js_script)
# 點擊Android App下載按鈕(默認位置超過屏幕高度,不在視野中)
el_apk = driver.find_element_by_xpath('//div[@class="hand-app"]/a[@class="android"]')
el_apk.click()
注意:如果 Selenium 點擊了不在視野內的元素會報錯,所以需要等將頁面滾動的元素可見。
強制等待很簡單,直接使用 time 模塊即可。
方法:
import time
time.sleep()
這種方式的缺點是不智能,設置的時間太短,元素可能還沒有加載出來;設置的時間太長,則會浪費時間。
隱式等待針對的是元素定位,隱式等待設置了一個時間,在一段時間內判斷元素是否定位成功,如果成功,就進行下一步(可能提前,節省時間),如果在設置的時間內沒有定位成功,則會報超時異常。
方法:
driver.implicitly_wait(timeout)
注意:timeout 的單位是秒
舉例:
from selenium import webdriver
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
# 在這段設置代碼之后,所有的元素定位操作都有最大等待時間10s,在10s內會定期進行元素定位,超過設置時間之后將會報錯
driver.implicitly_wait(10)
driver.get('http://www.baidu.com')
# 定位一個不存在的元素
el = driver.find_element_by_xpath('//*[@id="lg"]/img[10000]')
print(el)
每經過多少秒就查看一次等待條件是否達成,如果達成就停止等待,繼續執行后續代碼;如果沒有達成就繼續等待,直到超過規定的時間,報超時異常。
區別:
舉例:
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
driver = webdriver.Chrome(executable_path='../selenium_drivers/chromedriver')
driver.get('http://www.baidu.com')
# 每0.5秒一次檢查,通過鏈接文本內容定位標簽是否存在,如果存在就向下繼續執行;如果不存在,直到20秒上限就拋超時異常
WebDriverWait(driver, 20, 0.5).until(EC.presence_of_element_located((By.LINK_TEXT, '好123')))
print(driver.find_element_by_link_text('好123').get_attribute('href'))
driver.quit()
絕大多數服務器是沒有界面的,所有需要使用 selenium 無頭瀏覽器,有 2 種方式:
注意:MacOS 中 chrome 瀏覽器 59+版本,Linux 中 57+版本才能使用無界面模式。
方法:
# 創建配置對象
options = webdriver.ChromeOptions()
# 配置對象添加開啟無界面模式的命令
options.add_argument('--headless')
# 配置對象添加禁用gpu的命令
options.add_argument('--disable-gpu')
# 實例化帶有配置對象的driver對象
driver = webdriver.Chrome(chrome_options=options)
selenium 控制瀏覽器也是可以使用代理 ip 的。
方法:
# 創建配置對象
options = webdriver.ChromeOptions()
# 配置代理ip
options.add_argument('--proxy-server=http://150.138.253.70:808')
# 實例化帶有配置對象的driver對象
driver = webdriver.Chrome(chrome_options=options)
注意:更換 ip 代理,必須重新啟動瀏覽器。
selenium 控制谷歌瀏覽器時,User-Agent 默認是谷歌瀏覽器的,有時候我們可能需要對 User-Agent 進行替換,新版 Chrome 也支持配置 User-Agent。
方法:
# 創建配置對象
options = webdriver.ChromeOptions()
# 更換User-Agent
options.add_argument('--user-agent=Opera/9.23 (X11; Linux x86_64; U; en)')
# 實例化帶有配置對象的driver對象
driver = webdriver.Chrome(chrome_options=options)
安利:在線查看 User-Agent 小工具 http://service.spiritsoft.cn/ua.html
用selenium做自動化,有時候會遇到需要模擬鼠標操作才能進行的情況,比如單擊、雙擊、點擊鼠標右鍵、拖拽等等。而selenium給我們提供了一個類來處理這類事件——ActionChains
selenium.webdriver.common.action_chains.ActionChains(driver)
這個類基本能夠滿足我們所有對鼠標操作的需求。
1.ActionChains基本用法
首先需要了解ActionChains的執行原理,當你調用ActionChains的方法時,不會立即執行,而是會將所有的操作按順序存放在一個隊列里,當你調用perform()方法時,隊列中的時間會依次執行。
這種情況下我們可以有兩種調用方法:
兩種寫法本質是一樣的,ActionChains都會按照順序執行所有的操作。
2.ActionChains方法列表
click(on_element=None) ——單擊鼠標左鍵
click_and_hold(on_element=None) ——點擊鼠標左鍵,不松開
context_click(on_element=None) ——點擊鼠標右鍵
double_click(on_element=None) ——雙擊鼠標左鍵
drag_and_drop(source, target) ——拖拽到某個元素然后松開
drag_and_drop_by_offset(source, xoffset, yoffset) ——拖拽到某個坐標然后松開
key_down(value, element=None) ——按下某個鍵盤上的鍵
key_up(value, element=None) ——松開某個鍵
move_by_offset(xoffset, yoffset) ——鼠標從當前位置移動到某個坐標
move_to_element(to_element) ——鼠標移動到某個元素
move_to_element_with_offset(to_element, xoffset, yoffset) ——移動到距某個元素(左上角坐標)多少距離的位置
perform() ——執行鏈中的所有動作
release(on_element=None) ——在某個元素位置松開鼠標左鍵
send_keys(*keys_to_send) ——發送某個鍵到當前焦點的元素
send_keys_to_element(element, *keys_to_send) ——發送某個鍵到指定元素
接下來用示例來詳細說明和演示每一個方法的用法:
3.代碼示例
1. 點擊操作
示例網址http://sahitest.com/demo/clicks.htm
代碼:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from time import sleep
driver = webdriver.Firefox()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/clicks.htm')
click_btn = driver.find_element_by_xpath('//input[@value="click me"]') # 單擊按鈕
doubleclick_btn = driver.find_element_by_xpath('//input[@value="dbl click me"]') # 雙擊按鈕
rightclick_btn = driver.find_element_by_xpath('//input[@value="right click me"]') # 右鍵單擊按鈕
ActionChains(driver).click(click_btn).double_click(doubleclick_btn).context_click(rightclick_btn).perform() # 鏈式用法
print driver.find_element_by_name('t2').get_attribute('value')
sleep(2)
driver.quit()
結果:
[CLICK][DOUBLE_CLICK][RIGHT_CLICK]
2.鼠標移動
示例網址http://sahitest.com/demo/mouseover.htm
示例代碼:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from time import sleep
driver = webdriver.Firefox()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/mouseover.htm')
write = driver.find_element_by_xpath('//input[@value="Write on hover"]') # 鼠標移動到此元素,在下面的input框中會顯示“Mouse moved”
blank = driver.find_element_by_xpath('//input[@value="Blank on hover"]') # 鼠標移動到此元素,會清空下面input框中的內容
result = driver.find_element_by_name('t1')
action = ActionChains(driver)
action.move_to_element(write).perform() # 移動到write,顯示“Mouse moved”
print result.get_attribute('value')
# action.move_to_element(blank).perform()
action.move_by_offset(10, 50).perform() # 移動到距離當前位置(10,50)的點,與上句效果相同,移動到blank上,清空
print result.get_attribute('value')
action.move_to_element_with_offset(blank, 10, -40).perform() # 移動到距離blank元素(10,-40)的點,可移動到write上
print result.get_attribute('value')
sleep(2)
driver.quit()
結果
Mouse moved
Mouse moved
一般很少用位置關系來移動鼠標,如果需要,可參考下面的鏈接來測量元素位置
http://jingyan.baidu.com/article/eb9f7b6d87e2ae869264e847.html
3.拖拽
示例網址http://sahitest.com/demo/dragDropMooTools.htm
代碼:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from time import sleep
driver = webdriver.Firefox()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/dragDropMooTools.htm')
dragger = driver.find_element_by_id('dragger') # 被拖拽元素
item1 = driver.find_element_by_xpath('//div[text()="Item 1"]') # 目標元素1
item2 = driver.find_element_by_xpath('//div[text()="Item 2"]') # 目標2
item3 = driver.find_element_by_xpath('//div[text()="Item 3"]') # 目標3
item4 = driver.find_element_by_xpath('//div[text()="Item 4"]') # 目標4
action = ActionChains(driver)
action.drag_and_drop(dragger, item1).perform() # 1.移動dragger到目標1
sleep(2)
action.click_and_hold(dragger).release(item2).perform() # 2.效果與上句相同,也能起到移動效果
sleep(2)
action.click_and_hold(dragger).move_to_element(item3).release().perform() # 3.效果與上兩句相同,也能起到移動的效果
sleep(2)
# action.drag_and_drop_by_offset(dragger, 400, 150).perform() # 4.移動到指定坐標
action.click_and_hold(dragger).move_by_offset(400, 150).release().perform() # 5.與上一句相同,移動到指定坐標
sleep(2)
driver.quit()
結果:
dropped dropped dropped dropped
一般用坐標定位很少,用上例中的方法1足夠了,如果看源碼,會發現方法2其實就是方法1中的drag_and_drop()的實現。注意:拖拽使用時注意加等待時間,有時會因為速度太快而失敗。
4.按鍵
模擬按鍵有多種方法,能用win32api來實現,能用SendKeys來實現,也可以用selenium的WebElement對象的send_keys()方法來實現,這里ActionChains類也提供了幾個模擬按鍵的方法。
示例網址http://sahitest.com/demo/keypress.htm
代碼1:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from time import sleep
driver = webdriver.Firefox()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/keypress.htm')
key_up_radio = driver.find_element_by_id('r1') # 監測按鍵升起
key_down_radio = driver.find_element_by_id('r2') # 監測按鍵按下
key_press_radio = driver.find_element_by_id('r3') # 監測按鍵按下升起
enter = driver.find_elements_by_xpath('//form[@name="f1"]/input')[1] # 輸入框
result = driver.find_elements_by_xpath('//form[@name="f1"]/input')[0] # 監測結果
# 監測key_down
key_down_radio.click()
ActionChains(driver).key_down(Keys.CONTROL, enter).key_up(Keys.CONTROL).perform()
print result.get_attribute('value')
# 監測key_up
key_up_radio.click()
enter.click()
ActionChains(driver).key_down(Keys.SHIFT).key_up(Keys.SHIFT).perform()
print result.get_attribute('value')
# 監測key_press
key_press_radio.click()
enter.click()
ActionChains(driver).send_keys('a').perform()
print result.get_attribute('value')
driver.quit()
結果:
key downed charCode=[0] keyCode=[17] CTRL
key upped charCode=[0] keyCode=[16] NONE
key pressed charCode=[97] keyCode=[0] NONE
示例2:
示例網址http://sahitest.com/demo/label.htm
代碼:
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from time import sleep
driver = webdriver.Firefox()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/label.htm')
input1 = driver.find_elements_by_tag_name('input')[3]
input2 = driver.find_elements_by_tag_name('input')[4]
action = ActionChains(driver)
input1.click()
action.send_keys('Test Keys').perform()
action.key_down(Keys.CONTROL).send_keys('a').key_up(Keys.CONTROL).perform() # ctrl+a
action.key_down(Keys.CONTROL).send_keys('c').key_up(Keys.CONTROL).perform() # ctrl+c
action.key_down(Keys.CONTROL, input2).send_keys('v').key_up(Keys.CONTROL).perform() # ctrl+v
print input1.get_attribute('value')
print input2.get_attribute('value')
driver.quit()
結果:
Test Keys
Test Keys
復制粘貼用WebElement< input >.send_keys()也能實現,大家可以試一下,也可以用更底層的方法,同時也是os彈框的處理辦法之一的win32api,有興趣也可以試試SendKeys、keybd_event