婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁(yè) > 知識(shí)庫(kù) > 使用Python快速打開一個(gè)百萬(wàn)行級(jí)別的超大Excel文件的方法

使用Python快速打開一個(gè)百萬(wàn)行級(jí)別的超大Excel文件的方法

熱門標(biāo)簽:舉辦過(guò)冬奧會(huì)的城市地圖標(biāo)注 螳螂科技外呼系統(tǒng)怎么用 正安縣地圖標(biāo)注app 400電話申請(qǐng)資格 地圖地圖標(biāo)注有嘆號(hào) 遼寧智能外呼系統(tǒng)需要多少錢 阿里電話機(jī)器人對(duì)話 qt百度地圖標(biāo)注 電銷機(jī)器人系統(tǒng)廠家鄭州

知乎上有同學(xué)求助說(shuō),當(dāng)他試圖打開一個(gè)20M左右的excel文件時(shí),無(wú)論是使用pandas的read_excel,還是直接使用xlrd或者openpyxl模塊,速度都慢到無(wú)法忍受的程度,耗時(shí)大約1分鐘左右。

真的會(huì)這樣嗎?第一感覺是,這位同學(xué)在使用openpyxl模塊時(shí)沒有設(shè)置只讀模式。為便于測(cè)試,先用下面的代碼生成一個(gè)一百萬(wàn)行數(shù)據(jù)的excel文件。

>>> from openpyxl import Workbook
>>> wb = Workbook()
>>> sh = wb.active
>>> sh.append(['id', '語(yǔ)文', '數(shù)學(xué)', '英語(yǔ)', '物理'])
>>> for i in range(1000000): # 寫入100萬(wàn)行數(shù)據(jù)
	sh.append([i+1, 90, 100, 95, 99])

	
>>> wb.save(r'd:\bigxlsx.xlsx')
>>> import os
>>> os.path.getsize(r'd:\bigxlsx.xlsx') # 文件大小:20M字節(jié)
20230528

接下來(lái)定義了一個(gè)使用openpyxl模塊打開文件的函數(shù),分別考察關(guān)閉和開啟只讀模式的時(shí)間消耗。

>>> from openpyxl import load_workbook
>>> import time
>>> def read_xlsx(read_only):
	t0 = time.time()
	wb = load_workbook(r'd:\bigxlsx.xlsx', read_only=read_only)
	t1 = time.time()
	print(wb.sheetnames)
	print(sh.cell(row=1, column=1).value)
	print(sh.cell(row=100, column=3).value)
	print('耗時(shí)%0.3f秒鐘'%(t1-t0))

	
>>> read_xlsx(True)
['Sheet']
id
100
耗時(shí)0.404秒鐘
>>> read_xlsx(False)
['Sheet']
id
100
耗時(shí)67.817秒鐘

運(yùn)行測(cè)試,果然,不開啟只讀的話,真的需要1分多鐘,而使用只讀模式的話,則僅需0.4秒鐘。

不過(guò),也別高興得太早,openpyxl模塊并沒有提供像pandas.read_excel()那樣把全部數(shù)據(jù)讀入一個(gè)數(shù)據(jù)結(jié)構(gòu)的功能,只能定位到行、列或格子以后再讀取數(shù)據(jù)。要想使用openpyxl模塊把全部數(shù)據(jù)讀入到數(shù)組或DataFrame中,需要遍歷所有的行和列,這仍然是一個(gè)非常耗時(shí)的操作。

那么,pandas.read_excel()是否也支持只讀模式呢?遺憾的是,read_excel()并沒有類似read_only這樣的參數(shù)。盡管read_excel()可以接受文件路徑、文件對(duì)象、類文件對(duì)象,甚至是二進(jìn)制數(shù)據(jù),但即使將文件內(nèi)容傳入,read_excel()解析這100萬(wàn)行數(shù)據(jù)仍然需要大約80秒鐘。下面的代碼驗(yàn)證了這一點(diǎn)。

>>> import pandas as pd
>>> def read_excel_by_pandas():	
	with open(r'd:\bigxlsx.xlsx', 'rb') as fp:
		content = fp.read()
		t0 = time.time()
		df = pd.read_excel(content, engine='openpyxl')
		t1 = time.time()
	print(df.head())
	print(df.tail())
	print('耗時(shí)%0.3f秒鐘'%(t1-t0))

	
>>> read_excel_by_pandas()
  id 語(yǔ)文  數(shù)學(xué) 英語(yǔ) 物理
0  1 90 100 95 99
1  2 90 100 95 99
2  3 90 100 95 99
3  4 90 100 95 99
4  5 90 100 95 99
       id 語(yǔ)文  數(shù)學(xué) 英語(yǔ) 物理
999995  999996 90 100 95 99
999996  999997 90 100 95 99
999997  999998 90 100 95 99
999998  999999 90 100 95 99
999999 1000000 90 100 95 99
耗時(shí)81.369秒鐘

結(jié)論:處理超大的Excel文件時(shí),使用openpyxl模塊的只讀模式,可以快速打開并取得指定格子的數(shù)據(jù),但不要嘗試將全部數(shù)據(jù)讀入到自己定義的數(shù)據(jù)結(jié)構(gòu)中,這將花費(fèi)漫長(zhǎng)的時(shí)間。對(duì)此,pandas也無(wú)能為力。

到此這篇關(guān)于使用Python快速打開一個(gè)百萬(wàn)行級(jí)別的超大Excel文件的方法的文章就介紹到這了,更多相關(guān)python打開excel文件內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • 如何用python合并多個(gè)excel文件
  • python合并多個(gè)excel文件的示例
  • 使用python將多個(gè)excel文件合并到同一個(gè)文件的方法
  • 使用Python橫向合并excel文件的實(shí)例
  • Python批量合并有合并單元格的Excel文件詳解
  • Python將多個(gè)excel文件合并為一個(gè)文件
  • 淺談Python xlwings 讀取Excel文件的正確姿勢(shì)
  • Python3利用openpyxl讀寫Excel文件的方法實(shí)例
  • 基于Python的接口自動(dòng)化讀寫excel文件的方法
  • python基于openpyxl生成excel文件
  • Python xlrd/xlwt 創(chuàng)建excel文件及常用操作
  • 教你用Python代碼實(shí)現(xiàn)合并excel文件

標(biāo)簽:昭通 合肥 淘寶好評(píng)回訪 濟(jì)源 隨州 興安盟 阜新 信陽(yáng)

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《使用Python快速打開一個(gè)百萬(wàn)行級(jí)別的超大Excel文件的方法》,本文關(guān)鍵詞  使用,Python,快速,打開,一個(gè),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《使用Python快速打開一個(gè)百萬(wàn)行級(jí)別的超大Excel文件的方法》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于使用Python快速打開一個(gè)百萬(wàn)行級(jí)別的超大Excel文件的方法的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 天津市| 教育| 毕节市| 昌黎县| 商水县| 垣曲县| 东莞市| 乐至县| 阳东县| 偏关县| 大邑县| 江津市| 论坛| 和顺县| 石家庄市| 定日县| 巢湖市| 曲水县| 乐安县| 镇雄县| 财经| 东乌珠穆沁旗| 枞阳县| 兖州市| 靖江市| 富源县| 博爱县| 龙海市| 丰镇市| 三门峡市| 瑞昌市| 孝义市| 惠来县| 江川县| 磐石市| 涿鹿县| 潍坊市| 金湖县| 翁牛特旗| 舒兰市| 沙田区|