首页 > 编程语言> 文章详细

python五步教你如何浏览器自动化并保存商品数据信息~

2022-06-28 13:32:35 阅读：180 来源： 互联网

标签：csv 浏览器 title python writer selector div 五步 find

亮点:

1、系统分析目标网页

2、html标签数据解析方法

3、海量数据一键保存

环境介绍:

python 3.8
pycharm 2021专业版
selenium >>> pip install selenium==3.141.0

代码

导入模块

from selenium import webdriver
import time
import csv

1. 打开谷歌浏览器

driver = webdriver.Chrome()

for page in range(0, 38):
    print(f'------------------------正在爬取第{page+1}页------------------------')

2. 打开网页

    driver.get(f'https://search.suning.com/%E4%B8%9D%E8%A2%9C%E6%83%85%E8%B6%A3/&iy=0&isNoResult=0&cp={page}')
    # 灵活等待
    driver.implicitly_wait(1)
    drop_down()
    get_next()

3. 获取商品数据

    # 网页 html: <div class="">茅台1 <div>茅台2 <div>茅台3</div></div></div>   <div>茅台2</div>   <img src="图片"/>
    # <a href="网页链接"></a>:
    divs = driver.find_elements_by_css_selector('.item-bg')

所有的商品都拿出来

    for div in divs:

标题

        title = div.find_element_by_css_selector('.title-selling-point a').text

价格

        price = div.find_element_by_css_selector('.def-price').text

评论数

        try:
            comment_num = div.find_element_by_css_selector('.info-evaluate a').text
        except:
            comment_num = 0

商铺名字

        store_name = div.find_element_by_css_selector('.store-stock a').text

详情页链接

get_attribute: 获取标签属性名

       detail_url = div.find_element_by_css_selector('.title-selling-point a').get_attribute('href')
        print(title, price, comment_num, store_name, detail_url)

4. 保存数据

        # a: 追加写入
        # wb: 以二进制方式覆盖写入
        with open('苏宁.csv', mode='a', encoding='utf-8', newline='') as f:
            csv_writer = csv.writer(f)
            csv_writer.writerow([title, price, comment_num, store_name, detail_url])

with open('苏宁.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['title', 'price', 'comment_num', 'store_name', 'detail_url'])

5. 翻页保存

def drop_down():
    """执行页面滚动的操作"""
    for x in range(1, 12, 2):
        time.sleep(1)
        j = x / 9
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)

def get_next():

尾语

好了，我的这篇文章写到这里就结束啦！

有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง

喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！

标签：csv,浏览器,title,python,writer,selector,div,五步,find
来源： https://www.cnblogs.com/Qqun261823976/p/16417818.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9