目錄
- 一、配置抓包工具
- 二、配置手機(jī)代理
- 三、抓取數(shù)據(jù)
- 四、總結(jié)
一、配置抓包工具
1.安裝軟件
本文選擇的抓包工具：Fiddler
具體的下載安裝這里不詳細(xì)贅述！（網(wǎng)上搜Fiddler安裝，一大堆教程），本文以實(shí)戰(zhàn)為例，就不再這里浪費(fèi)時(shí)間了！
2.配置Fiddler
安裝好之后，接下來就開始配置Fiddler工具（這里是關(guān)鍵，仔細(xì)閱讀！）
配置Connections
打開Fiddler后，點(diǎn)擊Tools->Options
點(diǎn)擊Connections
勾選上對(duì)應(yīng)的選項(xiàng)
配置HTTPS
由于目前大部分APP都是https加密，包括本文實(shí)戰(zhàn)『某乎』案例也是https加密，因此配置HTTPS，來抓取https數(shù)據(jù)包！
勾選上對(duì)應(yīng)的選項(xiàng)
最后抓包工具Fiddler就配置好了
記得重啟Fiddler！重啟Fiddler！重啟Fiddler！不然可能不生效
二、配置手機(jī)代理
1.設(shè)置代理
準(zhǔn)備工作
首先看一下安裝Fiddler主機(jī)ip（電腦和手機(jī)必須處于同一局域網(wǎng)）
查看ip命令
開始配置
目標(biāo)代理主機(jī)信息
ip：192.168.31.195
端口：8888
在wifi無線網(wǎng)處進(jìn)去，點(diǎn)擊配置代理
填寫好相關(guān)代理信息
2.安裝證書
在瀏覽器輸入：
http://192.168.31.195:8888
點(diǎn)擊下載證書后，下面就開始安裝（看圖操作）
ok，這樣手機(jī)端就配置完成，下面開始抓取數(shù)據(jù)！！！
三、抓取數(shù)據(jù)
1.打開某乎app
2.查看數(shù)據(jù)包列表
打開app之后，F(xiàn)iddler就已經(jīng)抓取到數(shù)據(jù)了
這里可以看到app發(fā)送和接收了哪些數(shù)據(jù)包
為了更加精準(zhǔn)定位到某乎（只看目標(biāo)的數(shù)據(jù)包），添加一個(gè)過濾條件
這樣我們獲取的數(shù)據(jù)包列表就都是過濾條件內(nèi)的目標(biāo)網(wǎng)址
3.查找數(shù)據(jù)包
比如點(diǎn)擊熱榜
對(duì)應(yīng)的https加密數(shù)據(jù)包如下：
數(shù)據(jù)包中的數(shù)據(jù)如下：
提取出url鏈接
https://api.zhihu.com/topstory/hot-list?limit=10reverse_order=0
拿到url之后，接著開始編程爬取保存數(shù)據(jù)。
4.編寫爬蟲程序
ok這樣就可以將數(shù)據(jù)獲取下來！
四、總結(jié)
1.配置抓包工具Fiddler（重點(diǎn)）。
2.ios蘋果手機(jī)配置證書和設(shè)置代理（安卓手機(jī)也類似）。
3.簡單使用Fiddler（過濾數(shù)據(jù)包、查看數(shù)據(jù)包等）。
4.本文以某乎為實(shí)戰(zhàn)，實(shí)現(xiàn)了python爬取手機(jī)app數(shù)據(jù)
到此這篇關(guān)于用Python爬取某乎手機(jī)APP數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python爬取APP數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- Python自動(dòng)化爬取天眼查數(shù)據(jù)的實(shí)現(xiàn)
- Python爬蟲實(shí)戰(zhàn)之爬取京東商品數(shù)據(jù)并實(shí)實(shí)現(xiàn)數(shù)據(jù)可視化
- Python爬蟲之自動(dòng)爬取某車之家各車銷售數(shù)據(jù)
- 教你如何使用Python快速爬取需要的數(shù)據(jù)
- Python爬蟲之爬取我愛我家二手房數(shù)據(jù)
- python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)
