标签：large-data csv import namedtuple python

我正在尝试将数据导入namedtuple.数据非常大,我需要有效地导入.我在尝试

myData = namedtuple('myData', 'div, name, val')

csv.register_dialect('mycsv', delimiter='\t', quoting=csv.QUOTE_NONE)

with open('demand.txt', 'rb') as f:
     reader = csv.reader(f,'mycsv')

在这一点之后：

>我应该怎么做才能将Demand.txt中的整个表批量导入一个namedtuple？我看到了一些for循环的解决方案,但我认为这样效率不高.
>我希望能够获得一个字段下的所有值,就像我键入data.div一样？正确的格式应该是namedtuple的元组吗？

解决方法:

要获取myData元组的列表,请执行以下操作：

data = map(myData._make, reader) # or [myData._make(r) for r in reader]

要获取特定字段的所有值：

from operator import attrgetter
data_divs = map(attrgetter('div'), data) # or [r.div for r in data]

但是,如果您担心效率,则应注意,对具名元组使用属性访问比索引访问慢几倍.这样会更快：

from operator import itemgetter
div_idx = myData._fields.index('div')
data_divs = map(itemgetter(div_idx), data) # or [r[div_idx] for r in data]

两者都产生相同的值列表.

标签：large-data,csv,import,namedtuple,python
来源： https://codeday.me/bug/20191122/2058106.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。