本文實例講述了php使用curl_init()和curl_multi_init()多線程的速度比較。分享給大家供大家參考,具體如下:
php中curl_init()的作用很大,尤其是在抓取網頁內容或文件信息的時候,例如之前文章《php使用curl獲取header檢測開啟GZip壓縮》就介紹到curl_init()的強大。
curl_init()處理事物是單線程模式,如果需要對事務處理走多線程模式,那么php里提供了一個函數curl_multi_init()給我們,這就是多線程模式處理事務的函數。
curl_init()
與curl_multi_init()
的速度比較
curl_multi_init()
多線程能提高網頁的處理速度嗎?今天我通過實驗來驗證一下這個問題。
今天我的測試很簡單,那就是要抓取www.webkaka.com網頁的內容,要連續抓5次,分別用curl_init()
和curl_multi_init()
函數來完成,記錄兩者的耗時,比較得出結論。
首先,用curl_init()
單線程連續抓5次www.webkaka.com網頁的內容。
程序代碼如下:
?php
$mtime = explode(" ", microtime());
$mtime = $mtime[1].($mtime[0] * 1000);
$mtime2 = explode(".", $mtime);
$mtime = $mtime2[0];
echo $mtime;
echo "br>";
for($i=1; $i=5; $i++){
$szUrl = 'http://www.webkaka.com/';
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $szUrl);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_ENCODING, '');
$data=curl_exec($curl);
echo $data;
echo "br>";
$mtime_ = explode(" ", microtime());
$mtime_ = $mtime_[1].($mtime_[0] * 1000);
$mtime2_ = explode(".", $mtime_);
$mtime_ = $mtime2_[0];
echo $mtime_;
echo "br>";
echo $mtime_ - $mtime;
}
?>
然后,用curl_multi_init()
多線程連續抓5次www.webkaka.com網頁的內容。
代碼如下:
?php
echo date("Y-m-d H:m:s",time());
echo " ";
echo floor(microtime()*1000);
echo "br>";
$mtime = explode(" ", microtime());
$mtime = $mtime[1].($mtime[0] * 1000);
$mtime2 = explode(".", $mtime);
$mtime = $mtime2[0];
echo $mtime;
echo "br>";
$urls = array(
'http://www.webkaka.com',
'http://www.webkaka.com',
'http://www.webkaka.com',
'http://www.webkaka.com',
'http://www.webkaka.com');
print_r(async_get_url($urls)); // [0] => example1, [1] => example2
echo "br>";
echo date("Y-m-d H:m:s",time());
echo " ";
echo floor(microtime()*1000);
echo "br>";
$mtime_ = explode(" ", microtime());
$mtime_ = $mtime_[1].($mtime_[0] * 1000);
$mtime2_ = explode(".", $mtime_);
$mtime_ = $mtime2_[0];
echo $mtime_;
echo "br>";
echo $mtime_ - $mtime;
function async_get_url($url_array, $wait_usec = 0)
{
if (!is_array($url_array))
return false;
$wait_usec = intval($wait_usec);
$data = array();
$handle = array();
$running = 0;
$mh = curl_multi_init(); // multi curl handler
$i = 0;
foreach($url_array as $url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
curl_setopt($ch, CURLOPT_MAXREDIRS, 7);
curl_multi_add_handle($mh, $ch); // 把 curl resource 放進 multi curl handler 里
$handle[$i++] = $ch;
}
/* 執行 */
do {
curl_multi_exec($mh, $running);
if ($wait_usec > 0) /* 每個 connect 要間隔多久 */
usleep($wait_usec); // 250000 = 0.25 sec
} while ($running > 0);
/* 讀取資料 */
foreach($handle as $i => $ch) {
$content = curl_multi_getcontent($ch);
$data[$i] = (curl_errno($ch) == 0) ? $content : false;
}
/* 移除 handle*/
foreach($handle as $ch) {
curl_multi_remove_handle($mh, $ch);
}
curl_multi_close($mh);
return $data;
}
?>
為了避免隨機性,我分別測了5次(用CTRL+F5強行刷新的方式),數據如下:
curl_init():
|
第一次 |
第二次 |
第三次 |
第四次 |
第五次 |
平均 |
耗時(ms) |
3724 |
3615 |
2540 |
1957 |
2794 |
2926 |
curl_multi_init():
|
第一次 |
第二次 |
第三次 |
第四次 |
第五次 |
平均 |
耗時(ms) |
4275 |
2912 |
3691 |
4198 |
3891 |
3793 |
從測試結果來看,我們發現兩種方法的耗時差不了太多,只有700多毫秒。很多人原本以為多線程比單線程耗時會短很多,實際上并不是這樣的,從數據來看,多線程反而比單線程耗時更多了一點。不過,對于某些事務來說,用多線程來處理不一定是為了追求速度,這個是需要注意的。
關于curl_multi_init()
一般來說,想到要用curl_multi_init()
時,目的是要同時請求多個url,而不是一個一個依次請求,否則就要curl_init()
了。
不過,在使用curl_multi的時候,你可能遇到cpu消耗過高、網頁假死等現象,可以看看《PHP使用curl_multi_select解決curl_multi網頁假死問題》
使用curl_multi的步驟總結如下:
- 第一步:調用
curl_multi_init
- 第二步:循環調用
curl_multi_add_handle
- 這一步需要注意的是,
curl_multi_add_handle
的第二個參數是由curl_init而來的子handle。
- 第三步:持續調用
curl_multi_exec
- 第四步:根據需要循環調用
curl_multi_getcontent
獲取結果
- 第五步:調用
curl_multi_remove_handle
,并為每個字handle調用curl_close
- 第六步:調用
curl_multi_close
各函數作用解釋:
curl_multi_init()
初始化一個curl批處理句柄資源。
curl_multi_add_handle()
向curl批處理會話中添加單獨的curl句柄資源。curl_multi_add_handle()
函數有兩個參數,第一個參數表示一個curl批處理句柄資源,第二個參數表示一個單獨的curl句柄資源。
curl_multi_exec()
解析一個curl批處理句柄,curl_multi_exec()
函數有兩個參數,第一個參數表示一個批處理句柄資源,第二個參數是一個引用值的參數,表示剩余需要處理的單個的curl句柄資源數量。
curl_multi_remove_handle()
移除curl批處理句柄資源中的某個句柄資源,curl_multi_remove_handle()
函數有兩個參數,第一個參數表示一個curl批處理句柄資源,第二個參數表示一個單獨的curl句柄資源。
curl_multi_close()
關閉一個批處理句柄資源。
curl_multi_getcontent()
在設置了CURLOPT_RETURNTRANSFER
的情況下,返回獲取的輸出的文本流。
curl_multi_info_read()
獲取當前解析的curl的相關傳輸信息。
實例
請看本文里async_get_url()
的寫法。
更多關于PHP相關內容感興趣的讀者可查看本站專題:《php curl用法總結》、《PHP網絡編程技巧總結》、《PHP數組(Array)操作技巧大全》、《php字符串(string)用法總結》、《PHP數據結構與算法教程》及《PHP中json格式數據操作技巧匯總》
希望本文所述對大家PHP程序設計有所幫助。
您可能感興趣的文章:- 淺談php使用curl模擬多線程發送請求
- 實例講解php實現多線程
- PHP多線程模擬實現秒殺搶單
- PHP7多線程搭建教程
- PHP中多線程的兩個實現方法
- php與python實現的線程池多線程爬蟲功能示例
- php多線程并發實現方法
- php中foreach結合curl實現多線程的方法分析
- 如何用PHP實現多線程編程