ag旗舰厅官网_ag旗舰厅下载客户端

热门关键词: ag旗舰厅官网,ag旗舰厅下载客户端

ag旗舰厅

当前位置:ag旗舰厅官网 > ag旗舰厅 > 通过Pandas读取大文件的实例,怎么通过Pandas读取

通过Pandas读取大文件的实例,怎么通过Pandas读取

来源:http://www.pedaLyourcycLe.com 作者:ag旗舰厅官网 时间:2019-10-03 21:46

当数据文件过大时,由于Computer内部存款和储蓄器有数,须要对大文件举行分块读取:

当数据文件过大时,由于Computer内部存款和储蓄器有数,需求对大文件举行分块读取:

import pandas as pd
f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
 try:
  chunk = reader.get_chunk(chunkSize)
  chunks.append(chunk)
 except StopIteration:
  loop = False
  print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)
import pandas as pd
f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
 try:
 chunk = reader.get_chunk(chunkSize)
 chunks.append(chunk)
 except StopIteration:
 loop = False
 print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)

read_csv()函数的iterator参数等于True时,表示回去一个TextParser以便逐块读取文件;

read_csv()函数的iterator参数等于True时,表示回去三个TextParser以便逐块读取文件;

chunkSize表示文件块的大大小小,用于迭代;

chunkSize表示文件块的尺寸,用于迭代;

TextParser类的get_chunk方法用于读取大肆大小的文件块;

TextParser类的get_chunk方法用于读取任性大小的公文块;

StopIteration的可怜表示在循环对象穷尽全体因素时报错;

StopIteration的卓殊表示在循环对象穷尽全部因素时报错;

concat()函数用于将数据做轴向连接:

concat()函数用于将数据做轴向连接:

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)

常用参数:

常用参数:

objs:塞里es,DataFrame可能是Panel构成的连串list;

objs:Series,DataFrame只怕是Panel构成的体系list;

axis:需求联合连接的轴,0是行,1是列;

axis:供给统接二连三接的轴,0是行,1是列;

join:连接的参数,inner或outer;

join:连接的参数,inner或outer;

ignore=True表示重新建立索引。

ignore=True表示重新建立索引。

上述那篇通过Pandas读取大文件的实例正是小编分享给我们的全体内容了,希望能给大家三个参谋,也意在我们多多关照脚本之家。

您恐怕感兴趣的小说:

  • 动用达成pandas读取csv文件钦定的前几行
  • 应用pandas读取csv文件的钦定列方法
  • pandas 读取各样格式文件的措施

本文由ag旗舰厅官网发布于ag旗舰厅,转载请注明出处:通过Pandas读取大文件的实例,怎么通过Pandas读取

关键词: