标签：webdriver Object 前端 await JS navigator Puppeteer page evaluateOnNewDocument

工具和资料

• QQ群 - Javascript高级爬虫https://jq.qq.com/?_wv=1027&k=5Bcu3YU -作者自建群，欢迎加入!
• 中国商标网加密接口https://github.com/rockswang/wsjs.saic.mmewmd  -仅做演示
• awesome-jave-crawlerhttps://github.com/rockswang/awesome-java-crawler - 作者收集的爬虫相关工具和资料

前言

这两天开始看puppeteer，发现居然也能被某数的前端js检测出来!?

github的issue区找了找，原来puppeteer启动的chrome里面，是有navigator.webdriver属性的，搞什么搞么，老外真是做那啥还要立牌坊......

方案1

issue区里看到的解决方案:

js代码

await this.page.evaluateOnNewDocument(() => {
        Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined,
    });
}

 

python代码

        await self.page.evaluateOnNewDocument('''() => { Object.defineProperty(navigator, 'webdriver', {
            get: () => undefined}) }''')
        await self.page.evaluateOnNewDocument(
            '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
        await self.page.evaluateOnNewDocument('''() =>{ window.navigator.chrome = { runtime: {},  }; }''')
        await self.page.evaluateOnNewDocument(
            '''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
        await self.page.evaluateOnNewDocument(
            '''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')

 

但是说实话这个还是有点问题的，因为用"webdriver" in navigator还是能检测出来。比如，我爬的那个网站，就被检测出来了，所以这种方法不可取

方案2

想找找到底哪个环节把"webdriver"属性加上的，但是文本搜索发现puppeteer源码中并没有......

后来chrome中用chrome:version看了一下命令行启动参数，结果发现了这个："--enable-automation" ......

一看就有问题，为了确认特意搜了一下这个命令行参数的说明:

--enable-automation: Inform users that their browser is being controlled by an automated test.

确认了可以干掉了，启动chrome时加个忽略默认参数即可:

const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});

 

1、按 Ctrl + 鼠标左键 ,点击launch查看源码，

2、launcher.py源码，

 

 

 

3、搜索找到--enable-automation

 

 在python代码加上下面的代码，就可以了

from pyppeteer import launcher
# 注意 在导入launch之前先把默认参数改了
# 去除自动化 启动参数
launcher.DEFAULT_ARGS.remove("--enable-automation")

 转载自：https://blog.csdn.net/zhangge3663/article/details/108636423

标签：webdriver,Object,前端,await,JS,navigator,Puppeteer,page,evaluateOnNewDocument
来源： https://www.cnblogs.com/amber10086/p/16455745.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。