前言
本文主要介紹了關于PHP利用PDO從mysql讀取大量數據處理的相關內容,分享出來供大家參考學習,下面話不多說了,來一起看看詳細的介紹吧。
環境
適用場景
需要處理一定數據集業務
pdo 關鍵設置
$dbh = new \PDO($dsn, $user, $pass); # 關鍵設置,如果不設置,php依舊會從pdo一次取出數據到php $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); //perpare里的游標屬性不是必須的 $sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL)); $sth->execute();
生成器
生成器,迭代數據操作
本生成器可省略
嘗試代碼
class Test { public function test() { set_time_limit(0); $dbms='mysql'; //數據庫類型 $host=C('DB_HOST'); //數據庫主機名 $dbName=C('DB_NAME'); //使用的數據庫 $user=C('DB_USER'); //數據庫連接用戶名 $pass=C('DB_PWD'); //對應的密碼 $dsn="$dbms:host=$host;dbname=$dbName"; $dbh = new \PDO($dsn, $user, $pass); $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false); $sth = $dbh->prepare("SELECT * FROM `order`"); $sth->execute(); $i = 0; $newLine = PHP_SAPI == 'cli' ? "\n" : 'br />'; foreach ($this->cursor($sth) as $row) { // var_dump($row); echo $row['id'] . $newLine; $i++; } echo "消耗內存:" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine; echo "處理數據行數:" . $i . $newLine; echo "success"; } public function cursor($sth) { while($row = $sth->fetch(\PDO::FETCH_ASSOC)) { yield $row; } } } $test = new Test(); $test->test();
輸出
1 ... //省略部分id 804288 消耗內存:"0.34918212890625M 處理數據行數:254062 success
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。