ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

爬虫中文乱码繁体字乱码问题解决

2019-05-31 11:02:57  阅读:427  来源: 互联网

标签:中文 繁体字 encoding 爬虫 GB2312 乱码 Response


工作需要爬取淘宝对应的卖家账户,为了简单就直接用正则匹配所需掌柜名称。  ps:项目较老,用的python2.7

遇到三个问题:

1.中文乱码,开始直接就 Response.encoding = 'utf-8',结果中文都是乱码。查资料可以用  Response.apparent_encoding 看出返回网页的编码格式 GB2312

2.繁体字乱码 简单中文没问题,但是繁体字又是乱码,而且Response.apparent_encoding=‘GB2312’,再查资料,直接在浏览器看网页源码,找到 <meta charset="gbk">,改成gbk问题解决

3.汉字无法正则匹配,因Response.text是unicode格式,需转成python支持的utf-8

 

 

标签:中文,繁体字,encoding,爬虫,GB2312,乱码,Response
来源: https://www.cnblogs.com/yeteng/p/10954100.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有