婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > python使用XPath解析數據爬取起點小說網數據

python使用XPath解析數據爬取起點小說網數據

熱門標簽:地圖標注的意義點 房產電銷外呼系統 地圖制圖標注位置改變是移位嗎 地圖標注微信發送位置不顯示 315電話機器人廣告 南京銷售外呼系統軟件 上海機器人外呼系統哪家好 浙江電銷卡外呼系統好用嗎 蓋州市地圖標注

1. xpath 的介紹

xpath是一門在XML文檔中查找信息的語言

優點:

  • 可以在xml中找信息
  • 支持HTML的查找
  • 可以通過元素和屬性進行導航

但是Xpath需要依賴xml的庫,所以我們需要去安裝lxml的庫。

安裝lxml庫

我們先要安裝lxml的庫,直接在pycharm里安裝即可:

XML的樹形結構:

元素-元素-屬性-文本

使用XPath選取節點:

  • nodename: 選取此節點的所有節點
  • /從根節點選擇
  • // 從匹配選擇的當前節點選擇文檔中的節點,而不考慮他們的位置
  • . 選擇當前節點
  • .. 選擇當前節點的父節點(此處是兩個點,瀏覽器默認顯示3個..)
  • /text() 獲取當前路徑下的文本內容
  • /@xxx 提取當前路徑下標簽的屬性值

選取節點的表達式舉例:

2. 爬取起點小說網

在瀏覽器中獲取書名和作者測試

在谷歌里安裝一個xpath的插件

在html中查找book-mid-info

我們要獲取小說的名稱: 也就是 //div[@class='book-mid-info']/h4/a/txt()

再加一個獲取作者:

使用xpath獲取起點小說網的數據

# 作者:互聯網老辛
# 開發時間:2021/4/8/0008 8:24

import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#發送請求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #類型轉換,把str轉變為class 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名稱和作者對應
for name,authors in zip(names,authors):
    print(name,":",authors)

以上就是python使用XPath解析數據爬取起點小說網數據的詳細內容,更多關于python XPath解析數據爬取起點小說網的資料請關注腳本之家其它相關文章!

您可能感興趣的文章:
  • Python爬蟲之用Xpath獲取關鍵標簽實現自動評論蓋樓抽獎(二)
  • python利用xpath爬取網上數據并存儲到django模型中
  • selenium與xpath之獲取指定位置的元素的實現
  • python Xpath語法的使用
  • Python自動化xpath實現自動搶票搶貨
  • python selenium xpath定位操作
  • Python爬蟲必備之XPath解析庫

標簽:陽泉 臨汾 貴州 雙鴨山 日照 克拉瑪依 赤峰 金華

巨人網絡通訊聲明:本文標題《python使用XPath解析數據爬取起點小說網數據》,本文關鍵詞  python,使用,XPath,解析,數據,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《python使用XPath解析數據爬取起點小說網數據》相關的同類信息!
  • 本頁收集關于python使用XPath解析數據爬取起點小說網數據的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 蚌埠市| 碌曲县| 吉水县| 大港区| 青冈县| 广宗县| 济源市| 西峡县| 新和县| 沁阳市| 行唐县| 军事| 山东省| 黔东| 沅江市| 黔西| 桐柏县| 绍兴县| 章丘市| 巨鹿县| 深泽县| 罗江县| 墨脱县| 洛浦县| 临猗县| 来安县| 宣化县| 兴国县| 大悟县| 临汾市| 平乐县| 灵丘县| 临洮县| 枞阳县| 乌拉特前旗| 涞源县| 唐海县| 沅陵县| 霍林郭勒市| 扎赉特旗| 吕梁市|