标签：webdriver pq pyquery selenium db 自动化 import driver

使用selenium+pyquery爬取豆瓣top250，并保存数据库中(这里写自定义目录标题)

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import os
import time
from selenium.webdriver.common.keys import Keys
from pyquery import PyQuery as pq
import pymysql
chromedriver = "E:\chromeDriver\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
driver  = webdriver.Chrome(chromedriver)
driver.maximize_window()
start_url = "https://movie.douban.com/top250"
for i in range(10):
    url = start_url+'?start='+str(25*i)+"&filter="
    driver.get(url)
    time.sleep(2)
    html = driver.page_source
    doc = pq(html)
    list = []
    for t in doc(".grid_view li"):
        name = pq(t).find('.info .hd .title').text()
        daoyan = pq(t).find(".info .bd p").text()
        pingjia = pq(t).find(".star span").text()
        list.append([name,daoyan,pingjia])
    # 打开数据库连接
    db = pymysql.connect(host="localhost", user="root", password="rootroot", database="pachong")
    # 使用cursor()方法获取操作游标 
    cursor = db.cursor()
    for  i in list:
        # SQL 插入语句
        sql = """INSERT INTO movie(name,
                 daoyan, pingjia)
                 VALUES (%s, %s,%s)"""
        try:
           # 执行sql语句
           cursor.execute(sql,i)
           # 提交到数据库执行
           db.commit()
        except:
           # 如果发生错误则回滚
           db.rollback()
    # 关闭数据库连接
    db.close()

标签：webdriver,pq,pyquery,selenium,db,自动化,import,driver
来源： https://blog.csdn.net/m0_37486489/article/details/116502285

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。