标签：java get IP 爬虫 header jsoup doc post Document
原文链接:https://www.cnblogs.com/blog5277/p/9334560.html
原文作者:博客园--曲高终和寡
上述查看原文链接****************
当你在工作中使用爬虫的时候,你会遇到如下问题:
1.网站的反爬虫机制(验证码,封IP,投毒,js动态渲染页面)
2.分布式爬虫的效率与去重
但是基本上讲,只要是web浏览器上能打开的数据,你都能爬到,因为我们只要尽量模拟真人的操作就行了呗,反爬虫手段只是提升了爬虫的成本,不可能杜绝爬虫的,因为这样一定会误伤很多真人用户.
更多的就不细讲了,有点跑题,我在爬虫(或者高大上点叫数据挖掘?)上还有很多的路要走,参考别的大神的思路.
又扯远了,回归主题,介绍Jsoup
Jsoup是一款Java的HTML解析器，主要用来对HTML解析。官网 中文文档
在爬虫的时候，当我们用HttpClient之类的框架，获取到网页源码之后，需要从网页源码中取出我们想要的内容，
就可以使用jsoup这类HTML解析器了。可以非常轻松的实现。
1.引入依赖,maven（百度谷歌"jsoup maven",个人推荐用最新的,时刻追上发展的脚步嘛）
<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.11.3</version>
</dependency>2.发送get请求
3.发送post请求
是的,就是这么简单,再也不用管编码,再也不用管GZIP了,你敢发,jsoup就能解析好返回给你.
4.发送post,带参数
要么多.几个data,要么传个map,最后.post();
5,发送post,带requestbody
6,设置超时(个人建议必设)
7,设置动态代理IP,再配合你自己写一个代理的IP池,就可以防止反爬虫封你的IP了
8,设置cookie
9,设置浏览器
10,设置各种header
好了,不谈了,更多的你们自己点一点看一看,非常的容易,另外我个人建议
.ignoreContentType(true) //解析文档时 忽略 内容的类型
.ignoreHttpErrors(true) // 连接HTTP 请求 报错时 忽略这俩一定要开启
细心的朋友一定发现了,返回值是Document
那么怎么返回String类型的html源码呢,直接在get(),或者post()后面这样就行了
如果是调的接口,返回值是json,或者你只需要返回不带html标签的正文,那么这样就可以了
记得随时trim的好习惯哦.
这里放两个我自己常用的get和post通用的方法吧
public static Document getJsoupDocGet(String url) {
//三次试错
final int MAX = 10;
int time = 0;
Document doc = null;
while (time < MAX) {
try {
doc = Jsoup
.connect(url)
.ignoreContentType(true)
.ignoreHttpErrors(true)
.timeout(1000 * 30)
.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36")
.header("accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")
.header("accept-encoding","gzip, deflate, br")
.header("accept-language","zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7")
.get();
return doc;
} catch (Exception e) {
e.printStackTrace();
} finally {
time++;
}
}
return doc;
}
public static Document getJsoupDocPost(String url, Map<String,String> paramMap) {
//三次试错
final int MAX = 10;
int time = 0;
Document doc = null;
while (time < MAX) {
try {
doc = Jsoup
.connect(url)
.ignoreContentType(true)
.ignoreHttpErrors(true)
.timeout(1000 * 30)
.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36")
.header("accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8")
.header("accept-encoding","gzip, deflate, br")
.header("accept-language","zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7")
.data(paramMap)
.post();
return doc;
} catch (Exception e) {
e.printStackTrace();
} finally {
time++;
}
}
return doc;
}其实返回值Document还有更加强大的作用,它是个DOM解析器,我写爬虫全用它,具体怎么实现的,请自己去
https://www.jsoup.org/
学习,然后去
https://try.jsoup.org/
实验,(建议直接复制源码进来,不要用这里面自带的fetch)
我这里就不谈了,真的好用
原文链接:https://www.cnblogs.com/blog5277/p/9334560.html
原文作者:博客园--曲高终和寡
标签：java,get,IP,爬虫,header,jsoup,doc,post,Document 来源： https://blog.csdn.net/HeLLoWord______/article/details/121661761
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。