标签:__ index python svg self 爬虫 info css
大众点评爬虫很难。。。。
然后我试了一下文字偏移的破解。
首先进入一个店铺的评论页 http://www.dianping.com/shop/k9sS7qVwsRZbSSG0/review_all。然后进入调试页
可以看到这里对应“品”字的是一个svgmtsi标签。在右侧,可以看到对应的渲染方式(svg文件和css文件)。复制这两个链接,用代码请求一下,发现是有对应关系的。
svg文件部分截图如下:
比如上面的“品”,对应的class属性是sw2bs,那么在css文件里面对应的位置就是**.sw2bs{background:-392.0px -2133.0px;}**。同样这个下标可以在svg里面找到对应的文字,就是“品”。
规则如下:
css文件内的两个下标,我定义为x、y。且均转为正值
x表示的是本行的位置,开始位置为0,步长为14
y表示的是行的位置。但是找的是svg文件中y值大于这个数值的那一行
这样说比较模糊。还是以上面的“品”来举例
html: 老 class=“sw2bs”
css: .sw2bs{background:-392.0px -2133.0px;}
这样,它的 x=392 y=2133。则它对应的svg的位置 <text x=“0” y=“2156”>哲瞎路脉禾备棍锯号吐声储粉技熔艳蛮键家堪诚弃日炸续圆网裤品刷铜辱目浮赔虚冶申兆秩悟唤</text>
392 // 14 = 28
则取列表 [哲瞎路脉禾备棍锯号吐声储粉技熔艳蛮键家堪诚弃日炸续圆网裤品刷铜辱目浮赔虚冶申兆秩悟唤] 的28号位置。
完整的转化代码如下
import re
import requests
class DZDP(object):
"""大众点评"""
def __init__(self):
self.css_url = 'https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/80da73cea991b1dac8e6c3eb8cfe7461.css'
self.svg_url = 'https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/20609a5f67dfd9a34fd762ac63e59960.svg'
self.css_text = requests.get(self.css_url).text
self.svg_info = {int(info.split('">')[0]): info.split('">')[1] for info in re.findall(r'y="(.*?)</text>', requests.get(self.svg_url).text)}
def get_txt(self, code):
"""获取到编码对应的文字"""
try:
patt = '%s{background:(.*?);' % code
index = re.findall(patt, self.css_text)[0].replace('px', '').replace('-', '').split(' ')
index_x, index_y = int(index[0][:-2]), int(index[1][:-2])
for key in self.svg_info:
if key >= index_y:
return self.svg_info[key][index_x // 14]
except:
return code
if __name__ == '__main__':
t = DZDP()
print(t.get_txt(code='swnbb'))
标签:__,index,python,svg,self,爬虫,info,css 来源: https://blog.csdn.net/qq_42452095/article/details/116755477
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。