首页 > 编程语言> 文章详细

Python爬虫：抖音个人主页视频抓取

2022-08-26 10:30:13 阅读：215 来源： 互联网

标签：opt web get Python add 抖音个人主页 href div

目标：抓取抖音某博主发布的全部视频

用到的模块 selenium+requests

整体思路：

1、先用selenium自动化让数据加载出来到视频获取详情页的链接

2、然后在详情页获取到视频的真实链接

3、然后对链接进行requests请求并保存

4、在保存视频那行代码加try 有的发的不是视频是图文信息不加try程序会中断

具体代码如下：

 1 import time
 2 from selenium.webdriver.chrome.options import Options
 3 from selenium.webdriver import Chrome, ActionChains
 4 import requests
 5 opt = Options()
 6 # 无头浏览器
 7 # opt.add_argument('--headless')
 8 # opt.add_argument('--disable-gpu')
 9 # 屏蔽谷歌浏览器正在接收自动化软件控制提示
10 # opt.add_experimental_option('useAutomationExtension', False)
11 opt.add_experimental_option('excludeSwitches', ['enable-automation'])
12 opt.add_argument('--disable-blink-featurse=AutomationControlled')
13 # 不自动关闭浏览器
14 opt.add_experimental_option("detach", True)
15 web = Chrome(executable_path=r'D:\bigdata\pycharmxiangmu\venv\Scripts/chromedriver.exe',options=opt)
16 web.get('https://www.douyin.com/user/MS4wLjABAAAAJUwAJJ0vxcAx1-uUtcTG6yTIndqqLZJOU5Xvnej5sbD2GdYv818HElibMnCUajp_')
17 script = 'Object.defineProperty(navigator, "webdriver", {get: () => false,});'
18 web.execute_script(script)
19 time.sleep(2)
20 web.maximize_window()
21 web.implicitly_wait(10)
22 n = 1
23 shipindizhi = './抖音个人主页视频/'
24 try:
25     web.find_element_by_xpath('//*[@id="login-pannel"]/div[2]').click()
26 except:
27     print('没有登陆提示')
28 # 下滑到底部 全部数据加载出来
29 for i in range(1000,20000,1000):
30     web.execute_script(f'window.scrollTo(0,{i})')
31     time.sleep(2)
32 href_list = []
33 for page in range(1, 101):
34     time.sleep(1)
35     href = web.find_element_by_xpath(f'//li[{page}]/a').get_attribute('href')
36     href_list.append(href)
37 # print(len(href_list))
38 for hrefs in href_list:
39     # 循环请求报错
40     web.get(hrefs)
41     web.implicitly_wait(5)
42     web.find_element_by_xpath('/html/body/div[2]/div/div/div[2]/div/button[text()="取消"]').click()
43     web.implicitly_wait(5)
44     try:
45         web.find_element_by_xpath('//*[@id="login-pannel"]/div[2]').click()
46     except:
47         print('没有扫码登陆提示')
48     time.sleep(2)
49     web.maximize_window()
50     web.implicitly_wait(10)
51     time.sleep(1)
52     # 因为每次绝对地址都会动 所以换成//video/source[1]点一个get获取href属性
53     try:
54         splj = web.find_element_by_xpath('//video/source[1]').get_attribute('src')
55     except:
56         print('图文信息 没有视频')
57     # print(splj)
58     pinjie = shipindizhi + 'shiping_%s' % n + '.mp4'
59     f = open(pinjie, mode='wb')
60     f.write(requests.get(url=splj).content)
61     n += 1
62     print(pinjie + '图片保存成功')

标签：opt,web,get,Python,add,抖音,个人主页,href,div
来源： https://www.cnblogs.com/Gil-1117/p/16626712.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9