1.登陸網(wǎng)站，開啟開發(fā)者模式。
可以在瀏覽器中點(diǎn)擊右鍵檢查或者F12打開開發(fā)者模式。
2.點(diǎn)選 NetWork，DOC，然后刷新頁(yè)面。
在 network 中選擇 doc，在請(qǐng)求的 headers 中搜索 cookie。
3.獲取對(duì)應(yīng)的 cookie 以及 user-agent。
4.在代碼中添加到 headers 里面。
def getHTMLText(url):
kv = {
'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
try:
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "gg"
實(shí)例擴(kuò)展：
程序的結(jié)構(gòu)設(shè)計(jì)
- 提交商品搜索請(qǐng)求，循環(huán)獲取頁(yè)面
- 對(duì)于每個(gè)頁(yè)面，提取商品名稱和價(jià)格信息
- 將信息輸出
遇到問(wèn)題
爬取成功，數(shù)據(jù)有問(wèn)題
打印 html 文件，返回如下
script type="text/javascript">
TRLang = {
ERROR_NICK_BLANK: "請(qǐng)?zhí)顚戀~戶名",
ERROR_PASSWORD_BLANK: "請(qǐng)輸入密碼",
ERROR_NICK_PASSWORD_BLANK: "請(qǐng)輸入賬戶名和密碼",
ERROR_CHECKCODE_BLANK: "請(qǐng)輸入驗(yàn)證碼",
TIPS_REMEMBER_PASSWORD: "記住密碼",
TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計(jì)算機(jī)記住密碼，防止賬戶被盜"
};
/script>
到此這篇關(guān)于Python爬蟲爬取商品失敗處理方法的文章就介紹到這了,更多相關(guān)Python爬蟲爬取商品失敗內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- 關(guān)于python爬蟲應(yīng)用urllib庫(kù)作用分析
- python爬蟲Scrapy框架:媒體管道原理學(xué)習(xí)分析
- python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記
- Python爬蟲和反爬技術(shù)過(guò)程詳解
- python爬蟲之Appium爬取手機(jī)App數(shù)據(jù)及模擬用戶手勢(shì)
- 爬蟲Python驗(yàn)證碼識(shí)別入門
- Python爬蟲技術(shù)
- Python獲取江蘇疫情實(shí)時(shí)數(shù)據(jù)及爬蟲分析
- Python爬蟲之Scrapy環(huán)境搭建案例教程
- Python爬蟲中urllib3與urllib的區(qū)別是什么
- 教你如何利用python3爬蟲爬取漫畫島-非人哉漫畫
- Python爬蟲分析匯總
