婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > powershell網絡蜘蛛解決亂碼問題

powershell網絡蜘蛛解決亂碼問題

熱門標簽:使用電話機器人電銷是否違法 湖州電銷防封卡 真人和電話機器人對話 什么渠道可以找外呼系統客戶 信陽話務外呼系統怎么收費 金融電銷公司怎么辦理外呼系統 電話智能外呼系統誠信合作 雷霆電話機器人電話 安徽400電話辦理

抓取(爬取)網上信息的腳本程序,俗稱網絡蜘蛛。
powershell中自帶了這樣的兩個命令,【Invoke-WebRequest】和【Invoke-RestMethod】,但這兩個命令有時候會亂碼。

現在轉帖分享, 某個【歪果仁】寫的腳本。來源于 墻外出處: https://gist.github.com/angel-vladov/9482676

核心代碼

function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()

# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)

# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc

#powershell 傳教士 轉帖并修改的文章 2016-01-01, 允許再次轉載,但必須保留名字和出處,否則追究法律責任

}

原文函數

function Read-HtmlPage {
  param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

  # Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
  [Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
  [Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
  $Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
  $Response = $Reader.ReadToEnd()
  $Reader.Close()

  # Create the document class
  [mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
  $Doc.IHTMLDocument2_write($Response)
  
  # Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
  $Doc
}

PowerShell function you can use for reading UTF8 encoded HTML pages content. The built in Invoke-WebRequest and Invoke-RestMethod fail miserably.

標簽:鶴崗 湛江 濟南 德州 山南 六盤水 運城 岳陽

巨人網絡通訊聲明:本文標題《powershell網絡蜘蛛解決亂碼問題》,本文關鍵詞  powershell,網絡,蜘蛛,解決,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《powershell網絡蜘蛛解決亂碼問題》相關的同類信息!
  • 本頁收集關于powershell網絡蜘蛛解決亂碼問題的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 绥宁县| 兰州市| 济宁市| 彭泽县| 淄博市| 汤原县| 额尔古纳市| 垦利县| 平塘县| 丰都县| 旅游| 措勤县| 河北省| 苏尼特右旗| 郧西县| 尉犁县| 乃东县| 许昌市| 正定县| 栾川县| 东源县| 咸宁市| 彰化县| 乐安县| 惠安县| 团风县| 泰和县| 温泉县| 图片| 北京市| 洛扎县| 铁岭县| 东兴市| 凤冈县| 晋中市| 东海县| 卢氏县| 伊金霍洛旗| 巩义市| 含山县| 印江|