婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁(yè) > 知識(shí)庫(kù) > 關(guān)于python爬蟲(chóng)應(yīng)用urllib庫(kù)作用分析

關(guān)于python爬蟲(chóng)應(yīng)用urllib庫(kù)作用分析

熱門標(biāo)簽:高德地圖標(biāo)注收入咋樣 怎么辦理400客服電話 企業(yè)微信地圖標(biāo)注 B52系統(tǒng)電梯外呼顯示E7 鶴壁手機(jī)自動(dòng)外呼系統(tǒng)違法嗎 萊蕪電信外呼系統(tǒng) 地圖標(biāo)注多個(gè) 銀川電話機(jī)器人電話 沈陽(yáng)防封電銷電話卡

一、urllib庫(kù)是什么?

urllib庫(kù)用于操作網(wǎng)頁(yè) URL,并對(duì)網(wǎng)頁(yè)的內(nèi)容進(jìn)行抓取處理

urllib包 包含以下幾個(gè)模塊:

urllib.request - 打開(kāi)和讀取 URL。

urllib.error - 包含 urllib.request 拋出的異常。

urllib.parse - 解析 URL。

urllib.robotparser - 解析 robots.txt 文件

python爬蟲(chóng)主要用到的urllib庫(kù)中的request和parse模塊

二、urllib庫(kù)的使用

下面我們來(lái)詳細(xì)說(shuō)明一下這兩個(gè)常用模塊的基本運(yùn)用

urllib.request模塊

urllib.request 定義了一些打開(kāi) URL 的函數(shù)和類,包含授權(quán)驗(yàn)證、重定向、瀏覽器 cookies等。

語(yǔ)法如下:

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None,

capath=None, cadefault=False, context=None)

 url:url 地址。

data:發(fā)送到服務(wù)器的其他數(shù)據(jù)對(duì)象,默認(rèn)為 None。

timeout:設(shè)置訪問(wèn)超時(shí)時(shí)間。

cafile capath:cafile 為 CA 證書, capath 為 CA 證書的路徑,使用 HTTPS 需要用到。

cadefault:已經(jīng)被棄用。

context:ssl.SSLContext類型,用來(lái)指定 SSL 設(shè)置。

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
#get請(qǐng)求
response = urllib.request.urlopen("http://www.baidu.com")  #返回的是存儲(chǔ)網(wǎng)頁(yè)數(shù)據(jù)的對(duì)象
#print(response)  可以嘗試打印一下看一下
print(response.read().decode('utf-8')) #通過(guò)read將數(shù)據(jù)讀取出來(lái), 使用utf-8解碼防止有的地方出現(xiàn)亂碼

將其打印的內(nèi)容寫到一個(gè)html文件中,打開(kāi)和百度一毛一樣

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
response = urllib.request.urlopen("http://www.baidu.com")  #返回的是存儲(chǔ)網(wǎng)頁(yè)數(shù)據(jù)的對(duì)象
data = response.read().decode('utf-8')  #通過(guò)read將數(shù)據(jù)讀取出來(lái), 使用utf-8解碼防止有的地方出現(xiàn)亂碼
#print(data)
with open("index.html",'w',encoding='utf-8') as wfile: #或者你們也可以常規(guī)打開(kāi),不過(guò)需要最后關(guān)閉記得close()
    wfile.write(data)
    print("讀取結(jié)束")

urllib.parse模塊

有時(shí)我們爬蟲(chóng)需要模擬瀏覽器進(jìn)行用戶登錄等操作,這個(gè)時(shí)候我們就需要進(jìn)行post請(qǐng)求

但是post必須有一個(gè)獲取請(qǐng)求之后的響應(yīng),也就是我們需要有一個(gè)服務(wù)器。給大家介紹一個(gè)免費(fèi)的服務(wù)器網(wǎng)址,就是用來(lái)測(cè)試用的http://httpbin.org/。主要用來(lái)測(cè)試http和https的

我們可以嘗試執(zhí)行一下,去獲取對(duì)應(yīng)的響應(yīng)。

可以用Linux命令去發(fā)起請(qǐng)求,URL地址為http://httpbin.org/post。得到下方的響應(yīng)。

我們也可以通過(guò)爬蟲(chóng)來(lái)實(shí)現(xiàn)

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
import urllib.parse #解析器
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding='utf-8')  #轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)包,里面是鍵值對(duì)(有時(shí)輸入的用戶名:密碼就是這樣的),還有一些編碼解碼的數(shù)值等.這里就是按照utf-8的格式進(jìn)行解析封裝生成二進(jìn)制數(shù)據(jù)包
response = urllib.request.urlopen("http://httpbin.org/post",data=data)  #返回的請(qǐng)求
print(response.read().decode('utf-8'))      #通過(guò)read將數(shù)據(jù)讀取出來(lái), 使用utf-8解碼防止有的地方出現(xiàn)亂碼

兩個(gè)響應(yīng)結(jié)果對(duì)比是不是一樣幾乎

相當(dāng)于進(jìn)行了一次模擬的post請(qǐng)求。這樣有些需要登錄的網(wǎng)站也是可以爬取的。

利用try-except,進(jìn)行超時(shí)處理

一般進(jìn)行爬蟲(chóng)時(shí),不可能一直等待響應(yīng)。有時(shí)網(wǎng)絡(luò)不好或者網(wǎng)頁(yè)有反爬或者一些其他東西時(shí)。無(wú)法快速爬出。我們就可以進(jìn)入下一個(gè)網(wǎng)頁(yè)繼續(xù)去爬。利用timeout屬性就好

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
try:
    response = urllib.request.urlopen("http://httpbin.org/get",timeout=0.01)  #返回的是存儲(chǔ)網(wǎng)頁(yè)數(shù)據(jù)的對(duì)象, 直接用這個(gè)網(wǎng)址的get請(qǐng)求了.timeout表示超時(shí),超過(guò)0.01秒不響應(yīng)就報(bào)錯(cuò),避免持續(xù)等待
    print(response.read().decode('utf-8'))      #通過(guò)read將數(shù)據(jù)讀取出來(lái), 使用utf-8解碼防止有的地方出現(xiàn)亂碼
except urllib.error.URLError as e:
    print("超時(shí)了\t\t錯(cuò)誤為:",e)

status狀態(tài)碼 getheaders()

status:

  • 返回200,正確響應(yīng)可以爬取
  • 報(bào)錯(cuò)404,沒(méi)有找到網(wǎng)頁(yè)
  • 報(bào)錯(cuò)418,老子知道你就是爬蟲(chóng)
  • getheaders():獲取Response Headers

 

  • 也可以通過(guò)gethead(“xx”) 獲取xx對(duì)應(yīng)的值,比如:上圖 gethead(content-encoding) 為 gzip

突破反爬

首先打開(kāi)任何一個(gè)網(wǎng)頁(yè)按F12找到Response Headers,拉到最下面找到 User-Agent。將其復(fù)制保存下來(lái),為反爬做準(zhǔn)備。

下面我們進(jìn)行嘗試,直接爬取豆瓣,直接來(lái)個(gè)418,知道你是爬蟲(chóng),我們來(lái)偽裝一下

為什么418呢,因?yàn)槿绻侵苯舆M(jìn)行請(qǐng)求訪問(wèn)的話,發(fā)過(guò)去的User-Agent 是下面的,直接告訴瀏覽器我們是爬蟲(chóng)。我們需要偽裝

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/2 19:24
# @FileName : testUrllib.py
# Software : PyCharm
import urllib.request
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}
request = urllib.request.Request("http://douban.com", headers=headers) #返回的是請(qǐng)求,將我們偽裝成瀏覽器發(fā)送的請(qǐng)求
response = urllib.request.urlopen(request)  #返回的是存儲(chǔ)網(wǎng)頁(yè)數(shù)據(jù)的對(duì)象
data = response.read().decode('utf-8')     #通過(guò)read將數(shù)據(jù)讀取出來(lái), 使用utf-8解碼防止有的地方出現(xiàn)亂碼
with open("index.html",'w',encoding='utf-8') as wfile: #或者你們也可以常規(guī)打開(kāi),不過(guò)需要最后關(guān)閉記得close()
    wfile.write(data)

當(dāng)然反爬不可能如此簡(jiǎn)單,上面將講的那個(gè) post請(qǐng)求,也是十分常見(jiàn)的突破反爬的方式,不行就將整個(gè)Response Headers全部模仿。下面還有個(gè)例子作為參考。和上面的post訪問(wèn)的網(wǎng)址一樣

瀏覽器訪問(wèn)結(jié)果

爬蟲(chóng)訪問(wèn)結(jié)果

# -*- codeing = utf-8 -*-
# @Author: Y-peak
# @Time : 2021/9/3 0:47
# @FileName : testUrllib.py
# Software : PyCharm

import urllib.request
import urllib.parse
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}
url = "http://httpbin.org/post"
data = (bytes)(urllib.parse.urlencode({"賬戶":"密碼"}),encoding = 'utf-8')
request = urllib.request.Request(url, data = data,headers=headers, method='POST') #返回的是請(qǐng)求
response = urllib.request.urlopen(request)  #返回的是存儲(chǔ)網(wǎng)頁(yè)數(shù)據(jù)的對(duì)象
data = response.read().decode('utf-8')     #通過(guò)read將數(shù)據(jù)讀取出來(lái), 使用utf-8解碼防止有的地方出現(xiàn)亂碼
print(data)

以上就是關(guān)于python爬蟲(chóng)應(yīng)用urllib庫(kù)作用分析的詳細(xì)內(nèi)容,更多關(guān)于python爬蟲(chóng)urllib庫(kù)分析的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • python爬蟲(chóng)Scrapy框架:媒體管道原理學(xué)習(xí)分析
  • python爬蟲(chóng)Mitmproxy安裝使用學(xué)習(xí)筆記
  • Python爬蟲(chóng)和反爬技術(shù)過(guò)程詳解
  • python爬蟲(chóng)之Appium爬取手機(jī)App數(shù)據(jù)及模擬用戶手勢(shì)
  • 爬蟲(chóng)Python驗(yàn)證碼識(shí)別入門
  • Python爬蟲(chóng)技術(shù)
  • Python爬蟲(chóng)爬取商品失敗處理方法
  • Python獲取江蘇疫情實(shí)時(shí)數(shù)據(jù)及爬蟲(chóng)分析
  • Python爬蟲(chóng)之Scrapy環(huán)境搭建案例教程
  • Python爬蟲(chóng)中urllib3與urllib的區(qū)別是什么
  • 教你如何利用python3爬蟲(chóng)爬取漫畫島-非人哉漫畫
  • Python爬蟲(chóng)分析匯總

標(biāo)簽:銀川 三亞 安慶 湘西 烏魯木齊 呼倫貝爾 呼倫貝爾 葫蘆島

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《關(guān)于python爬蟲(chóng)應(yīng)用urllib庫(kù)作用分析》,本文關(guān)鍵詞  關(guān)于,python,爬蟲(chóng),應(yīng)用,urllib,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《關(guān)于python爬蟲(chóng)應(yīng)用urllib庫(kù)作用分析》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于關(guān)于python爬蟲(chóng)應(yīng)用urllib庫(kù)作用分析的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    国产视频一区二区在线| 91高清视频在线| 久久综合五月天婷婷伊人| 免费看日韩精品| 日韩一二三区视频| 国产一区二区三区不卡在线观看 | 欧美日韩激情在线| 日本 国产 欧美色综合| 欧美精品一区二区三区高清aⅴ| 国产一区二区三区黄视频| 国产精品色婷婷久久58| 欧美性大战久久| 精品一区二区三区久久久| 国产精品丝袜一区| 在线视频一区二区三| 蜜桃一区二区三区在线| 亚洲国产精品黑人久久久 | 7777女厕盗摄久久久| 蜜桃视频一区二区| 国产精品美女久久久久久久| 欧美日韩中文国产| 国产伦精品一区二区三区免费 | 国产精品福利一区二区三区| 欧美在线视频全部完| 免费成人在线观看视频| 国产欧美日韩中文久久| 欧美日韩一卡二卡三卡| 国产乱码字幕精品高清av| 亚洲黄色免费网站| 久久久不卡网国产精品一区| 欧美亚洲国产一区二区三区| 国模无码大尺度一区二区三区| 综合欧美亚洲日本| 日韩欧美一二三| 色哟哟国产精品| 久久精品国产**网站演员| 亚洲人成伊人成综合网小说| 欧美一区二区三区啪啪| 99精品欧美一区| 欧美精品一二三| 国产精品资源网站| 免费成人在线视频观看| 亚洲三级在线观看| 欧美国产欧美亚州国产日韩mv天天看完整 | 久久综合狠狠综合久久综合88| 欧美主播一区二区三区美女| 国产成人福利片| 日韩va欧美va亚洲va久久| 中文字幕日韩欧美一区二区三区| 欧美一级国产精品| 欧美视频三区在线播放| 91亚洲国产成人精品一区二区三| 九一九一国产精品| 免费观看一级特黄欧美大片| 一二三四区精品视频| 亚洲色图19p| 国产精品毛片a∨一区二区三区| 日韩三级精品电影久久久| 欧美色爱综合网| 色av成人天堂桃色av| 99热国产精品| www.在线成人| 波多野结衣一区二区三区| 国产精品系列在线观看| 国产一区二区精品在线观看| 极品瑜伽女神91| 狠狠色丁香久久婷婷综合丁香| 日韩成人一区二区| 日本人妖一区二区| 日本中文一区二区三区| 免费成人在线视频观看| 奇米综合一区二区三区精品视频| 日韩国产精品久久| 青青草97国产精品免费观看无弹窗版| 亚洲va欧美va国产va天堂影院| 亚洲一区在线观看免费| 亚洲国产精品久久人人爱蜜臀| 一区二区在线电影| 亚洲自拍偷拍综合| 五月综合激情日本mⅴ| 日韩精品视频网| 青青青伊人色综合久久| 国产一区二区在线免费观看| 狠狠色伊人亚洲综合成人| 国产高清不卡二三区| 波多野洁衣一区| 在线中文字幕不卡| 精品视频免费在线| 亚洲香蕉伊在人在线观| 午夜在线成人av| 免费观看成人鲁鲁鲁鲁鲁视频| 久久99精品国产麻豆不卡| 国产成人精品三级| 91在线国产观看| 欧美夫妻性生活| 久久久久久久久岛国免费| 国产女人aaa级久久久级| 亚洲丝袜精品丝袜在线| 午夜欧美一区二区三区在线播放| 免费一级片91| 成人污视频在线观看| 在线区一区二视频| 欧美成人一区二区| 中文字幕中文字幕一区| 亚洲成人综合网站| 国产精品夜夜嗨| 欧美在线制服丝袜| 久久婷婷国产综合国色天香| ㊣最新国产の精品bt伙计久久| 午夜亚洲福利老司机| 国产成人综合网| 欧美性受极品xxxx喷水| 日韩欧美电影一区| 亚洲私人黄色宅男| 激情综合网激情| 欧美性生交片4| 国产日韩欧美电影| 五月天中文字幕一区二区| 成人av电影在线| 精品日韩欧美一区二区| 亚洲精品视频一区| 国产精品一二三在| 欧美一区二区久久| 亚洲免费在线看| 国产一区二区三区av电影| 欧美日韩视频不卡| 亚洲人成网站精品片在线观看| 久久99国产精品尤物| 欧美无人高清视频在线观看| 国产免费成人在线视频| 美女在线观看视频一区二区| 色综合中文综合网| 北条麻妃一区二区三区| 日韩欧美亚洲一区二区| 亚洲人被黑人高潮完整版| 精品一区中文字幕| 5566中文字幕一区二区电影| 亚洲丝袜精品丝袜在线| 丁香婷婷综合网| 精品对白一区国产伦| 日韩 欧美一区二区三区| 欧美色图片你懂的| 亚洲免费观看高清完整版在线观看 | 欧美在线观看视频在线| 国产精品入口麻豆原神| 国精产品一区一区三区mba视频| 欧美肥妇毛茸茸| 亚洲第一二三四区| 欧美午夜精品电影| 亚洲在线成人精品| 色综合激情五月| 亚洲精品日韩专区silk| 91视视频在线直接观看在线看网页在线看 | 色香色香欲天天天影视综合网| 国产精品乱人伦| av不卡在线播放| 中文字幕一区二区不卡| www.亚洲精品| 自拍av一区二区三区| av亚洲精华国产精华| 中文字幕一区二区三区蜜月| 国产福利91精品一区二区三区| 久久婷婷成人综合色| 国产成人在线观看免费网站| 2020国产精品久久精品美国| 精品制服美女久久| 欧美精品一区二区三区蜜桃 | 久久综合久久鬼色| 国产一区二区美女| 国产精品人妖ts系列视频| 99麻豆久久久国产精品免费优播| 国产精品剧情在线亚洲| 91女厕偷拍女厕偷拍高清| 亚洲色图在线播放| 欧美日韩国产综合一区二区 | 日韩午夜激情av| 国产主播一区二区| 国产精品国产精品国产专区不蜜| 91捆绑美女网站| 亚洲国产精品麻豆| 精品国产免费人成电影在线观看四季 | 久久久久久亚洲综合影院红桃| 国产+成+人+亚洲欧洲自线| 国产精品毛片久久久久久| 欧洲色大大久久| 久久精品免费观看| 国产日产亚洲精品系列| 日本韩国欧美三级| 免费的国产精品| 国产精品理论片在线观看| 欧美性xxxxxx少妇| 黄色小说综合网站| 亚洲免费大片在线观看| 日韩一区二区三区精品视频| 国产乱码字幕精品高清av| 亚洲精品videosex极品| 欧美videofree性高清杂交| av电影天堂一区二区在线| 爽爽淫人综合网网站| 日本一区二区成人在线|