目标
1 打开安居客二手房页面，如 https://nanning.anjuke.com/sale/?from=navigation 。得到如下页面。
通过分析发现，每个页面有60个二手房信息。一共有50页。
2 打开其中一个二手房的信息后，跳转到如下页面。我们的目标是要得到下图所示框起来的“房屋信息”的内容。
也就是我们需要爬取 50 * 60 = 3000 个“房屋信息”
思路
1 打开安居客二手房页面，获取源码后，使用xpath抓取每个页面的二手房标题的跳转链接。如下图所示。以便进入跳转页面。
当使用reques请求页面源码后，安居客的反爬机制会检测出我们的请求，提示如下页面。为了解决这个问题，我们应该使用代理IP。我们本次使用蘑菇代理IP。
1 import requests 2 url = 'https://nanning.anjuke.com/sale/p1/#filtersort' 3 response = requests.get(url) 4 print(response.text)
标签：房屋信息,如下,爬取,二手房,跳转,安居,页面 来源： https://www.cnblogs.com/weifeng1998/p/13236137.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。