腾讯地图数据采集
本文介绍使用八爪鱼采集腾讯地图的方法,地图已经是好多用户的日常使用工具了,出去吃喝玩乐,都可以上地图上搜一搜,主要是因为地图上已经包含了各色各样的商家信息,用户可以轻松在上面搜索获取到。
所以本次教程教大家怎么使用八爪鱼来采集你想要的关键词信息。
采集网站:
/
本文就以大江南北,男女老少都喜欢的餐饮关键词-烧烤为例,来教大家怎么去采集腾讯地图里的所有包含烧烤的商家信息。
采集的内容包括:店铺名,店铺主页URL,店铺评论数,店铺团购信息,店铺电话,店铺地址。
使用功能点:
●文本输入
●Ajax点击
循环创建
步骤1:创建腾讯地图采集任务
1)进入主界面,选择“自定义采集”
2)将要采集的网址URL复制粘贴到网站输入框中,你可以选择要保存的任务组,也可以新建一个,然后点击“保存网址”
步骤2:创建输入文本步骤
1)打开腾讯地图主页后,鼠标右键点击到输入框的位置,弹出一个提示栏,选择输入文本,输入你要搜索的关键词,然后点击保存。
步骤3:创建点击搜索步骤
1)输入文本后,再右键选择一下输入框右侧的搜索按钮,选择点击该按钮,这时,地图左侧就会出现输入烧烤后搜索的结果
2)这时,前面的搜索步骤就已经做好了,然后打开右上角的流程按钮,可以查看到设置好的步骤,注意观察,网页的url链接是没有变化的,所以我们要在点击元素的高级选项里勾选一下ajax,时间5秒左右即可
步骤4:创建循环翻页和循环列表
1)我们拖动左侧搜索后结果那的条形框,来到最底部,找到下一页的按钮
2)点击下一页,创建循环翻页,注意,此时的翻页也是ajax加载的,因为页面url始终没有转动和变化,所以翻页按钮也需要设置一下ajax
3)创建循环列表。
我们使用选中子元素这一方法来创建循环列表,找到搜索结果,选中第一个商家列表那一整个框,让商家的所有信息都显示已被选中,然后选择右侧提示栏的选中子元素,再选择选中全部
4)选中全部后,在右侧提示栏那可以删掉你不需要的字段,本来有10个字段的,我们删掉不需要的四个字段,选择采集数据
5)然后对所有的字段名都命名一下,改成自己熟悉的即可
6)由于该类地图网站页面格式比较简单,所以采集速度比较快,为了防止被网站防采集了,我们需要去步骤的高级选项里都设置一下执行前等待,便于采集到更多的数据。
1)我们以本地采集为例,保存任务,然后再点击采集-本地采集
2)这时,可以查看到数据,每一个商家的基本信息都采集了下来,以后如果碰到类似的地图网页,就可以按照这个方法,轻松的采集下来。
相关采集教程:
百度地图数据采集:
高德地图数据采集方法:
/tutorialdetail-1/gddtsjcj.html
百度搜索结果抓取和采集:
/tutorialdetail-1/bdssjg-7.html
新浪微博发布内容采集:
/tutorialdetail-1/xlwbcj_7.html
百度贴吧帖子信息采集:
/tutorialdetail-1/tiebashendu.html
知乎信息采集:
/tutorialdetail-1/zh-ht.html
八爪鱼——90万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。
完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
3、云采集,关机也可以。
配置好采集任务后可关机,任务可在云端执行。
庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。
4、功能免费+增值服务,可按需选择。
免费版具备所有功能,能够满足用户的基本采集需求。
同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。