标签:baidu H3C 123.103 IP spider 限速 77.13 classifier
一、背景
目前百度爬虫爬取业务总是按照自己的性能进行抓取客户数据,从来不考虑客户端的网络承受能力,导致客户端网络带宽超出预算范围,因此在客户端方面针对百度的无限制抓取采取相应的策略。
二、解决方案:
1、单独用一个公网IP承载百度抓取业务。例:123.103.77.13
2、在交换机上针对IP:123.103.77.13进行单IP限速
a、创建ACL
acl number 3001 name baidu_spider_acl rule 1 permit ip source 123.103.77.13 0
b、创建 classifier 匹配ACL
traffic classifier baidu_spider operator and if-match acl 3001
c、创建 限制策略
traffic behavior baidu_spide car cir 51200 #限速50M ,此数值必须为8的倍数
d、创建QOS,关联 classifier 和 限制策略
qos policy baidu_spider classifier baidu_spider behavior baidu_spider
e、端口上应用策略
# qos apply policy baidu_spider outbound
f、效果展示:
标签:baidu,H3C,123.103,IP,spider,限速,77.13,classifier 来源: https://www.cnblogs.com/weijie0717/p/14830641.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。