标签：Maven 网页 创建 浏览者 爬取 使用 数据 log4j

爬虫的具备条件

 

jdbc：操作数据库。

 

ehcache(redis)：重复url判断。

 

log4j：日志记录。

 

httpclient：发送http请求。

 

jsoup：解析返回的网页内容。

 

Maven的使用：

 

（1）log4j 的使用；

 

 1. 使用 Maven 下载 log4j 的 Jar 包

 

 2. 在 src 目录下创建 log4j.properties 文本文件，并做相关配置（关于每个配置的具体含义，读者可参考博文 《详细的 Log4j 使用教程》）:

 

（2）对象的创建；

 

 创建需要的对象

 

（3）集合的使用；

 

封装所得的数据

 

（4）正则表达式的使用；

 

 解析数据

 

（5）HTTP 状态码；

 

当浏览者访问一个网页时，浏览者的浏览器会向网页所在服务器发出请求

标签：Maven,网页,创建,浏览者,爬取,使用,数据,log4j
来源： https://www.cnblogs.com/wyppaa/p/13093684.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。