标签：count 文件 filePath python lines 获取 buf size

python获取大文件行数

背景：处理一些日志或者请求数据时，几百万行的数据，有时候在做性能测试任务时估算出大概需要的词表数，需要一定行数的数据，需要提前看下原始文件大小，在这记一下，的确比较快

代码如下：

# 获取文件行数,一块一块读取
def get_file_lines(filePath):
    with open(filePath, 'rb') as f:
        count = 0
        buf_size = 1024 * 1024
        buf = f.read(buf_size)
        while buf:
            count += buf.count(b'\n')
            buf = f.read(buf_size)
        return count
		
# 用法
filePath = "/home/alisleepy/all_query"
lines = get_file_lines(filePath)
print "文件行数：" + str(lines)

标签：count,文件,filePath,python,lines,获取,buf,size
来源： https://www.cnblogs.com/alisleepy/p/15534601.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。