标签：code industry json 爬虫 非标准 2019 StockNameLink Number

反爬虫，非标准的json格式解析

今天写爬虫的时候，发现有一些数据都是通过非标准的 json 格式进行传输的，标准的 json 我们可以将其转化为 Python 中的数据类型，进行查询，但对于一些类似于 json 但又非标准 json 格式的字符，就会比较头疼了。

例如下面这样

hxbase_json1({
list: [
{Number: "1", StockNameLink: "stock_bg.aspx?code=688008&date=2019-12-31", industry: "澜起科技(688008)"}
{Number: "2", StockNameLink: "stock_bg.aspx?code=600663&date=2019-12-31", industry: "陆家嘴(600663)"}
{Number: "3", StockNameLink: "stock_bg.aspx?code=000006&date=2019-12-31", industry: "深振业A(000006)"}]})

看上去格式和 json 很像，但仔细观察会发现，这其中的 key 没有被单引号包裹起来，这就导致了它无法被简单的解析为字典类型。

自己用正则去重新构建要累死，在网上找到了一个包-demjson`

pip install demjson

import demjson
text='hxbase_json1({list: [\
{Number: "1", StockNameLink: "stock_bg.aspx?code=688008&date=2019-12-31", industry: "澜起科技(688008)"}\{Number: "2", StockNameLink: "stock_bg.aspx?code=600663&date=2019-12-31", industry: "陆家嘴(600663)"}\
{Number: "3", StockNameLink: "stock_bg.aspx?code=000006&date=2019-12-31", industry: "深振业A(000006)"}]})'
#去除多余的干扰字符，变成只有key没有引起来的假json
t = text[13:-1] 
data = demjson.decode(t)

标签：code,industry,json,爬虫,非标准,2019,StockNameLink,Number
来源： https://www.cnblogs.com/aduner/p/13157999.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。