标签：python pandas python-3-x dataframe excel

我需要使用pd.read_excel来处理一个excel文件中的每个工作表.
但在大多数情况下,我不知道工作表名称.
所以我用它来判断excel中有多少张表：

i_sheet_count=0
i=0
try:
  df.read_excel('/tmp/1.xlsx',sheetname=i)
  i_sheet_count+=1
  i+=1
else:
  i+=1
print(i_sheet_count)

在这个过程中,我发现这个过程很慢,
那么,read_excel只能读取有限的行来提高速度吗？
我尝试了nrows但没有工作..但仍然很慢..

解决方法:

无需猜测即可阅读所有工作表

对pd.read_excel使用sheetname = None参数.这将把所有工作表读入数据帧的字典中.例如：

dfs = pd.read_excel('file.xlsx', sheetname=None)

# access 'Sheet1' worksheet
res = dfs['Sheet1']

限制行数或列数

您可以使用parse_cols和skip_footer参数来限制列数和/或行数.这将减少读取时间,并且还可以使用sheetname = None.

例如,以下内容将读取前3列,如果您的工作表有100行,则只读取前20行.

df = pd.read_excel('file.xlsx', sheetname=None, parse_cols='A:C', skip_footer=80)

如果您希望应用特定于工作表的逻辑,可以通过提取工作表名称来实现：

sheet_names = pd.ExcelFile('file.xlsx', on_demand=True).sheet_names

dfs = {}
for sheet in sheet_names:
    dfs[sheet] = pd.read_excel('file.xlsx', sheet)

提高绩效

将Excel文件读入Pandas自然比其他选项(CSV,Pickle,HDF5)慢.如果您希望提高性能,我强烈建议您考虑这些其他格式.

例如,一个选项是use a VBA script将Excel工作表转换为CSV文件;然后使用pd.read_csv.

标签：python,pandas,python-3-x,dataframe,excel
来源： https://codeday.me/bug/20190910/1799109.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。