使用简数采集采集平台来采集今日头条新闻文章,非常简单,可只需输入“头条号ID”就可以进行快速的采集。
使用步骤:
1. 创建今日头条采集任务:
新建今日头条采集任务有两个入口:
-
在控制台左侧 “采集任务管理” 列表中,点击 “采集今日头条”;
-
在创建任务栏目处,点击 “+今日头条”;
2. 今日头条采集任务配置:
-
填写任务名 、选择采集方式(按头条号ID、新闻分类ID或者关键词)、输入对应值和采集页数,保存,即可启动抓取。
还可以同时使用多个ID或关键词,多个用逗号,分隔即可。(是半角逗号);
-
‘数据处理(可选)’ 处可做一些简单数据处理,删除图片或链接,添加版权说明等;
-
今日头条采集的原始图片是无法正常显示的(防盗链),如需图片,请在“图片下载配置”中,选择暂存简数或阿里云OSS或七牛存储;
3. 采集结果:
默认采集字段:
今日头条号名称(x_name),头条号ID(x_id),标题(title),正文(content),发布日期(pubData),作者(author),标签(tag),描述(description,可使用正文截取)和关键字(keywords);
附录:(如何获取头条号ID)
I、如何获取头条号ID
使用chrome浏览器打开对应头条号主页,按下F12
键进入开发者工具,然后点击手机端模式,按下F5
键刷新页面,在网址栏处即可获取头条号user_id;
下图例子,环球网对应的头条号ID为 5954781019;
标签:教程,获取,采集,任务,今日,ID,头条 来源: https://blog.csdn.net/keydatas/article/details/111467691
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。