标签：NLP 文本 文件 read 读写 mode 自然语言 数据

【知识点】

1. txt文本数据的读写：

•  open，write
• 参数mode
• readlines()read()readline()的不同
• 待解决问题：f.close()、为什么两次open后变空值？

2. CSV及Excel文本数据的读写

• to_csv()，read_csv()
• to_excel()，read_excel()
• 都是上述格式

3.更多的DataFrame操作

4.数据规模太大怎么办

• 压缩文件
• 使用精确更低的数据类型
• 数据分块

 

=====================================================

 

1. txt文本数据的读写

先打开Open，后读取read

1) open（file=文本路径，mode=默认r，encoding=一般为‘utf-8’）

2) mode：

• r  只读，文件不存在则报错
• w 只写，文件不存在会先创建，存在则会覆盖原文件
• a 只写，文件不存在先创建，不会覆盖而是继续写入
• rb，wb 读写二进制文件

       可读可写，其他同上：

• r+ 
• w+ 
• a+ 

3) f.read

• read() 读取整个文件，将整个文件内容放入一个str变量中，文件非常大时无法使用
• readline() 只读文件的一行，该行放到一个str变量中
• readlines() 读取整个文件，按行将内容放到一个list中

4）f.wirte

5）例子

• 只读r

 

• 只写w

 

 2. CSV及Excel的读写

• df 是一个dataframe

 

 

 

 

4. 数据规模太大

 

 1）压缩文件

• 压缩类型相应后缀：.gz   .bz2    .zip     .xz

 

  2）使用精度更低的数据类型

• float64占8个字节，有20个数字，则占160个字节

• 通过定义dtypes字典修改

 

3）数据分块

• read_csv中的参数chunksize（每个块的行数大小），返回一个可迭代变量

          （共20行，最后返回4行）

 

标签：NLP,文本,文件,read,读写,mode,自然语言,数据
来源： https://www.cnblogs.com/Joyce0105/p/14830472.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。