婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > python爬蟲scrapy基本使用超詳細教程

python爬蟲scrapy基本使用超詳細教程

熱門標簽:深圳網絡外呼系統代理商 騰訊地圖標注有什么版本 鎮江人工外呼系統供應商 400電話辦理費用收費 申請辦個400電話號碼 外呼系統前面有錄音播放嗎 千呼ai電話機器人免費 高德地圖標注字母 柳州正規電銷機器人收費

一、介紹

官方文檔:中文2.3版本

下面這張圖大家應該很熟悉,很多有關scrapy框架的介紹中都會出現這張圖,感興趣的再去查詢相關資料,當然學會使用scrapy才是最主要的。

二、基本使用

2.1 環境安裝

1.linux和mac操作系統

pip install scrapy

2.windows系統

  1. 先安裝wheel:pip install wheel
  2. 下載twisted:下載地址
  3. 安裝twisted:pip install Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl(記得帶后綴)
  4. pip install pywin32
  5. pip install scrapy

3.Anaconda(推薦)

在我一開始學python使用的就是python3.8,在安裝各種庫的時候,總會有各種報錯,真的有點讓人奔潰。Anaconda在安裝過程中就會安裝一些常用的庫,其次,當我們想要安裝其他庫時也很方便。當然大家也可以選擇安裝其他的一些軟件,

2.2 scrapy使用流程

這里默認大家已經安裝好scrapy庫,大家要記得要在命令行里輸入以下命令啊。(我使用的anaconda的命令行)

創建工程

scrapy startproject projectName


進入工程目錄:這里一定要進入到剛才創建好的目錄中

cd projectName

創建爬蟲文件:創建的爬蟲文件會出現在之前創建好的spiders文件夾下

scrapy genspider spiderName www.xxx.com

編寫相關代碼

執行爬蟲文件

scrapy crawl spiderName

2.3 文件解析

import scrapy

class HelloSpider(scrapy.Spider):
 name = 'hello' # 爬蟲名稱

 # 允許的域名:限定start_urls列表當中哪些url可以進行請求的發送
 # 通常情況下我們不會使用
 # allowed_domains = ['www.baidu.com'] 

 # 起始的url列表:scrapy會自動對start_urls列表中的每一個url發起請求
 # 我們可以手動添加我們需要訪問的url
 start_urls = ['https://www.baidu.com/','https://www.csdn.net/']

 def parse(self, response): # 當scrapy自動向start_urls中的每一個url發起請求后,會將響應對象保存在response對象中
 # 代碼一般是在parse方法中寫
 print("response:",response)

2.4 settings.py一些常見的設置

相當于requests中的headers參數中的User-Agent

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.68'

可以忽略或者不遵守robots協議

ROBOTSTXT_OBEY = False 

只有程序出現錯誤的情況下,才顯示日志文件,程序正常執行時只會輸出我們想要的結果

LOG_LEVEL='ERROR' == scrapy crawl spiderName --nolog
//二者是等價的,當然還是推薦使用前者

未加LOG_LEVEL='ERROR'

LOG_LEVEL='ERROR'之后

scrapy 爬取文件保存為CSV文件中文亂碼的解決辦法

//下面的設置可能會導致繁體出現,可以逐個試一下
FEED_EXPORT_ENCODING = "gb18030"
FEED_EXPORT_ENCODING = "utf-8"
FEED_EXPORT_ENCODING = "gbk"

三、實例

3.1 實例要求

目的:爬取百度網頁的百度熱榜

 

3.2 實例代碼

實例代碼

 

3.3 輸出結果

結果

到此這篇關于python爬蟲scrapy基本使用超詳細教程的文章就介紹到這了,更多相關python爬蟲scrapy使用內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • Python爬蟲基礎講解之scrapy框架
  • Python爬蟲實戰之使用Scrapy爬取豆瓣圖片
  • Python爬蟲框架-scrapy的使用
  • python scrapy項目下spiders內多個爬蟲同時運行的實現
  • Python爬蟲之教你利用Scrapy爬取圖片
  • python爬蟲scrapy框架之增量式爬蟲的示例代碼
  • 一文讀懂python Scrapy爬蟲框架
  • Python爬蟲之Scrapy環境搭建案例教程

標簽:哈爾濱 烏蘭察布 郴州 合肥 烏蘭察布 海南 平頂山 大慶

巨人網絡通訊聲明:本文標題《python爬蟲scrapy基本使用超詳細教程》,本文關鍵詞  python,爬蟲,scrapy,基本,使用,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《python爬蟲scrapy基本使用超詳細教程》相關的同類信息!
  • 本頁收集關于python爬蟲scrapy基本使用超詳細教程的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 鄂州市| 铁力市| 项城市| 磐安县| 江山市| 诸暨市| 崇义县| 新宁县| 琼海市| 塔河县| 彰武县| 承德县| 贵州省| 确山县| 简阳市| 广灵县| 嘉善县| 嘉峪关市| 正阳县| 卓资县| 当雄县| 海盐县| 东港市| 集安市| 大安市| 腾冲县| 南郑县| 壤塘县| 寻乌县| 澎湖县| 定陶县| 香港| 呈贡县| 河池市| 烟台市| 昭觉县| 南皮县| 宁晋县| 民和| 枣强县| 玛沁县|