如何批量输入关键字采集网页数据
本文教你如何循环输入关键字采集关键词搜索结果的信息
示例网站:https:///
作用:通过循环中高级选项内的文本列表模式,实现循环输入文本,达到大量关键字搜索的功能。
适用情况:需要在输入框内检索关键字来采集数据的情况,例如:
下面进行文本循环示范:
步骤一:打开网页,在规则中拖入一个循环框,修改循环高级选项,输入文字
八爪鱼工具栏说明:
八爪鱼流程图左侧有一排工具栏,如上图所示,工具栏中有各个步骤的简化图标,从上至下分别是:打开网页、点击元素、提取数据、输入文字、识别验证码、切换下拉选项、循环、
判断条件、移动鼠标到元素上、结束循环、结束流程。
示例中使用从上至下第七个循环,鼠标点中图标拖动到流程中,放在打开网页步骤下方,选中循环框,修改高级选项,将循环方式一栏选中文本列表,将关键词粘贴进入下方文本列表中,以换行符即回车分割每个关键词。
输入文字步骤是点击输入框,选择输入文字即可,此时八爪鱼会弹出让你输入文字的界面,如果是需要输入单一关键词可以不使用循环,在此处输入关键词点击保存即可实现输入;本示例咱们需要输入多个关键词,所以可以不填文字保存,之后将输入文字步骤拖入之前设置的循环框中,选中使用当前循环里的文本来填充输入框,就可以实现循环输入循环步骤中的文本。
步骤二:点击搜索,提取数据
说明:进行本地采集后,我们可以看到上述网页过程在不断输入我们规定的关键词完成搜索,采集到的数据也对的上,成功完成循环输入。
文本循环可以结合列表模式采集实现诸如淘宝、视频网站、房产网站等的搜索并采集信息,列表模式的采集可以参考采集单个列表页面教程。
注意事项:有的网页,点击搜索按钮后,页面会发生变化,只能采集到第一个关键词的数据,则打开网页步骤需放在文本循环内。
例:https:///
如图,按照之前的文本循环方法做了一个规则,默认打开网页步骤放在循环外,则只能提取到第一个关键词的搜索结果文本,不能提取到第二个关键词的搜索结果文本,文本循环流程执行有误。
经过调整,将打开网页步骤,放到循环内,则可以提取到两个关键词的搜索结果文本,文本循环流程可正常执行。
这里再说明一次循环中高级设置中的各项内容:
1)操作名:该循环的名字,可以对其进行修改以方便日后对规则的修正。
2)执行前等待:进行该操作前等待的时间,如果设置执行前等待时间为5秒,则会在翻页完成后等待5秒再循环提取元素,如果希望采集每一个电影的信息前有个等待,则可以在提取步骤设置执行前等待。
3)或者出现元素:配合执行前等待使用,在其中输入元素的XPath则可以在出现该元素的时候结束执行前的等待,例如我们设置循环文本步骤执行前等待10秒,或者出现元素设置为电影标题,则翻页操作后,假如第11秒标题加载出来,则八爪鱼会在第10秒尝试进行
循环提取操作,而假如第8秒标题加载出来,则八爪鱼会在第8秒标题加载出来后结束循环的执行前等待来尝试进行循环提取操作。
4)元素在Iframe选项:适用于该循环需要采集的内容在网页中是框架,在新手教程中暂不涉及
5)循环方式:包括单个元素、固定元素列表、不固定元素列表、URL列表、文本列表。
①单个元素:表示只进行一个元素的循环操作,循环点击下一页便多是运用了此种操作;
②固定元素列表:表示循环一些固定的部分。
在上述示例中,如果我们只循环采集第一个以及第二个网页的内容,则多是使用固定元素列表。
③不固定元素列表:表示循环一些不固定的部分。
而使用不固定元素列表,则是输入定位的Xpath,该Xpath定位到的所有元素都会出现在循环列表中。
④URL列表多用于打开多个网页采集内容的时候,可以放入多个网页链接进行循环打开操作。
⑤文本列表:则多用于需要输入文字的网页,将列表中多个文本输入网页输入框进行查询。
6)满足以下条件时退出循环:可以设定循环次数,例如设定循环2次后退出,则循环提取步骤只会采集列表中前两条信息,如果循环翻页中设置循环2次后退出,则会循环采集前两页内容。
相关采集教程:
新手入门视频采集教程
/tutorial/videotutorial/videoxsrm
网站数据采集实战视频教程
/tutorial/videotutorial/videoszcz
ajax网页数据抓取/tutorial/gnd/ajaxlabel
特殊翻页操作/tutorial/gnd/teshufanye
提取网页文字数据/tutorial/gnd/tiqushuju
云采集功能点说明/tutorial/gnd/yuncaiji
八爪鱼——90万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。
完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
3、云采集,关机也可以。
配置好采集任务后可关机,任务可在云端执行。
庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。
4、功能免费+增值服务,可按需选择。
免费版具备所有功能,能够满足用户的基本采集需求。
同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。