首页 > 其他分享> 文章详细

小猫咪能有什么坏心思呢？只是想要你带它回家啦~

2022-06-23 22:05:57 阅读：183 来源： 互联网

标签：get text selector nth 心思想要小猫咪 div css

前言

嗨喽！大家好，这里是魔王。

养猫是吸猫时代的一种潮流趋势,越来越多的喵星人开始参与了人类的家庭,猫奴们为了满足自己爱猫的狂热,都纷纷开始抱猫咪回家。猫咪这种生物有谁能拒绝呢? 那么我们今天就来爬一爬猫咪交易网站

本此目的：Python爬取猫咪交易网数据

本次亮点

parsel解析模块的使用
requests模块的使用
保存csv

环境介绍：

python 3.8

最新会有bug 版本没有那么稳定, 有一些模块出现不兼容的情况所以使用python 3.8
pycharm

模块使用:

csv
requests >>> pip install requests
parsel >>> pip install parsel (用这个模块会报错) (3.7没有lxml 安装parsel会报错)

win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)

python可以实现操作的东西

网站开发 (Django/flask/tornado)

开发一个网站/ 今天爬取的内容同样也可以用python开发出来的

豆瓣/美团/youtube python开发
爬虫程序

采集网页数据内容 (可见即可爬)
数据分析

可视化图表展示/数据处理清洗等等量化交易金融分析 ....

(算法训练模型可以达到预测效果>>> 下个月走势)
人工智能

算法方面内容 >>> 人脸检测/物体识别等等
自动化脚本

游戏开发/游戏辅助模拟点击/内存辅助 ce 去找参数变化, 然后用python修改

思路

确定自己爬取的内容是什么东西
去分析我们爬取数据内容是从哪里来得 (可以爬慢一点/ 你可以破解验证码自动识别验证码)

代码实现步骤(本网站内容是静态网页):

发送请求, 对于猫咪列表页发送请求
获取数据, 获取网页源代码
解析数据, 提取猫咪详情页url地址以及地区
发送请求, 对于猫咪详情页url地址发送请求
获取数据, 获取网页源代码
解析数据, 提取猫咪相关信息
保存数据, 把数据保存到csv文件
多页数据采集

导入模块

import requests  # 数据请求模块 第三方模块 pip install requests

import parsel  # 数据解析模块 第三方模块 pip install parsel

import csv  # 内置模块

打开一个文件 csv文件 mode 保存方式 a encoding 编码 newline

f = open('猫咪data.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '地区',
    '店名',
    '标题',
    '价格',
    '浏览次数',
    '卖家承诺',
    '在售只数',
    '年龄',
    '品种',
    '预防',
    '联系人',
    '联系方式',
    '异地运费',
    '是否纯种',
    '猫咪性别',
    '驱虫情况',
    '能否视频',
    '详情页',
])
csv_writer.writeheader() # 写入表头

猫咪的列表页url

for page in range(1, 21):
    print(f'--------------------正在爬取滴{page}页数据内容--------------------')
    url = f'http://www.maomijiaoyi.com/index.php?/chanpinliebiao_c_2_{page}--24.html'
    # headers 请求头, 把python代码进行一个简单伪装 (禁止LB 穿上一个外套)
    # 巳月老师 比较流氓, 对于没什么反爬网站, 都是LB
    # 我喜欢穿衣服
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
    }
    # requests 里面 get 请求方式  为什么老师这里需要用get请求方式?
    response = requests.get(url=url, headers=headers)
    # 获取网页源代码 response.text 激发学员学习的兴趣
    # print(response.text) # 取网页源代码 html 字符串数据
    # 解析数据  不会css 或者xpath 没有关系 (不能经常用)
    selector = parsel.Selector(response.text)
    href = selector.css('#content div.breeds_floor div div a::attr(href)').getall()
    areas = selector.css('#content div.breeds_floor div div a div.price_area div.area span.color_333::text').getall()

同时提取两个列表里面的元素内容

  for index in zip(href, areas):
        # 返回的是元祖 >>> 根据索引位置取值 ()
        # http://www.maomijiaoyi.com/index.php?/chanpinxiangqing_404056.html
        # 猫咪详情页url地址
        index_url = 'http://www.maomijiaoyi.com' + index[0]
        # 字符串 方法去除字符串两端的空格 strip()  在爬取数据的过程中 也要对于数据进行一些简单处理
        # 方便我们之后做数据分析
        # css 选择器 这个里面语法还是比较多的, 像VIP课程 这个知识点会讲两个小时(详细)
        # css选择器 就是根据标签属性提取内容 解析方法: re正则表达式 css选择器 xpath (都要掌握)
        area = index[1].strip()
        html_data = requests.get(url=index_url, headers=headers).text
        selector_1 = parsel.Selector(html_data)
        title = selector_1.css('.detail_text .title::text').get().strip()
        shop = selector_1.css('.dinming::text').get().strip()  # 店名
        price = selector_1.css('.info1 div:nth-child(1) span.red.size_24::text').get()  # 价格
        views = selector_1.css('.info1 div:nth-child(1) span:nth-child(4)::text').get()  # 浏览次数
        # replace() 替换
        promise = selector_1.css('.info1 div:nth-child(2) span::text').get().replace('卖家承诺: ', '')  # 浏览次数
        num = selector_1.css('.info2 div:nth-child(1) div.red::text').get()  # 在售只数
        age = selector_1.css('.info2 div:nth-child(2) div.red::text').get()  # 年龄
        kind = selector_1.css('.info2 div:nth-child(3) div.red::text').get()  # 品种
        prevention = selector_1.css('.info2 div:nth-child(4) div.red::text').get()  # 预防
        person = selector_1.css('div.detail_text .user_info div:nth-child(1) .c333::text').get()  # 联系人
        phone = selector_1.css('div.detail_text .user_info div:nth-child(2) .c333::text').get()  # 联系方式
        postage = selector_1.css('div.detail_text .user_info div:nth-child(3) .c333::text').get().strip()  # 包邮
        purebred = selector_1.css(
            '.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(1) .c333::text').get().strip()  # 是否纯种
        sex = selector_1.css(
            '.xinxi_neirong div:nth-child(1) .item_neirong div:nth-child(4) .c333::text').get().strip()  # 猫咪性别
        video = selector_1.css(
            '.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(4) .c333::text').get().strip()  # 能否视频
        worming = selector_1.css(
            '.xinxi_neirong div:nth-child(2) .item_neirong div:nth-child(2) .c333::text').get().strip()  # 是否驱虫
        dit = {
            '地区': area,
            '店名': shop,
            '标题': title,
            '价格': price,
            '浏览次数': views,
            '卖家承诺': promise,
            '在售只数': num,
            '年龄': age,
            '品种': kind,
            '预防': prevention,
            '联系人': person,
            '联系方式': phone,
            '异地运费': postage,
            '是否纯种': purebred,
            '猫咪性别': sex,
            '驱虫情况': worming,
            '能否视频': video,
            '详情页': index_url,
        }
        csv_writer.writerow(dit)
        print(title, area, shop, price, views, promise, num, age,
              kind, prevention, person, phone, postage, purebred, sex, video, worming, index_url, sep=' | ')

好了，我的这篇文章写到这里就结束啦！

希望你在python这条路上依心而行，别回头，别四顾。一如既往不改初见的模样，未来的路很长，不管怎样，一定要相信自己一直走下去。

让我们一起加油努力叭(ง •_•)ง

标签：get,text,selector,nth,心思,想要,小猫咪,div,css
来源： https://www.cnblogs.com/Qqun261823976/p/16405456.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9