八爪鱼爬虫软件教程(13):采集进阶教程- 基本排错教程(8.3版本)

八爪鱼爬虫软件教程(13):采集进阶教程- 基本排错教程(8.3版本)

本教程主要讲的是如果你在使用八爪鱼采集时遇到一些问题,如何快速找出错误、解决错误或者如何了解错误、更好的和客服沟通的方法。

八爪鱼采集器主要通过技术将用户浏览网页的操作进行定位和模拟来收集数据,用户不需要明白网页架构、数据采集原理等技能,通过八爪鱼采集器就可以构成八爪鱼可以看懂的、可以循环工作的采集流程。

如果存在采集模式不满足需求的情况,排错后面有更加详细的教程

采集过程中出现的错误可以归类为五个方面,分别是网页问题、规则问题、定位模拟问题、采集器问题、以及云端问题,当采集出现异常时,请先按照如下流程进行错误排查,寻找问题类型:

(1)手动执行一遍规则:

用鼠标点击流程图内规则,从上至下,每次点击下一步都有相应反应,没有发生反应的步骤则是问题出现步骤。

注意点:

a.循环内的点击以及提取元素要手动选择循环中除第一个以外的内容,防止循环失效,只点击提取循环内第一个元素

b.所有规则每一步执行完才执行下一步,网页未加载完全,即浏览器上圆圈等待图标未消失时,观察网页内容是否加载完全,如果加载完全可以自行取消加载,再配置规则。


(2)进行单机采集,查看采集结果中未采集到数据的项目。

注意点:规则中最好加入当前网址,这样出现未采集到数据的项目,可以复制网址在浏览器中打开查看原因,确定错误。


下面分别将可能出现问题的现象叙述如下,供你参考:

(1)手动执行步骤无反应

可能现象有两种:

1.未正常执行步骤

原因:规则问题、采集器问题、定位模拟问题

解决方法:

可进行排查,删除该步骤,重新添加一遍,如果还是无法执行,则排除了规则问题,你可以:

将该网页在浏览器打开进行操作,如果一些滚动翻页或点击翻页在浏览器可以执行而采集器中不能执行,则是采集器问题,原因是采集器内镶浏览器为火狐浏览器,可能是内镶的浏览器版本在随后的版本发生了变化,导致在浏览器可以实现的功能,在采集器内镶浏览器中无法执行,该类网页中的数据,智能采集翻页或滚动之前的数据。

排除了采集器问题及规则问题后,你可以尝试在与制作规则时同样布局的页面上进行重新添加步骤,如果在这样的页面可以执行而只在部分页面无法执行,则是定位模拟问题,该问题往往存在于时间跨度较大的网站,原因是网站布局发生变化,导致采集器定位所需的XPath发生变化,请参考XPath章节修改规则或咨询客服,建议向客服说明网站网址和错误原因,方便客服给出解决方案。

2.循环内的点击或采集只发生于第一条内容,点击第二条内容依然采集到第一条内容时

原因:规则问题,定位模拟问题

解决方法:

查看循环当中的第一项是否勾选拼接循环项xpath这一项:

如果勾选了依然不可以,你可以:

如果循环内有其他循环,先参考上问题1的动图将里面的内容移出去,删除有问题的循环,重新设置一次,如果移出去的规则没有自动复位需要手动复位,如果循环可以使用则排除规则问题,如果不可以,则是定位模拟问题,你可以:

查看循环中提取数据的自定义数据字段,查看自定义定位元素方式,看里面是否存在相对Xpath路径,如果不存在,则删除字段,勾选外层高级选项中的使用循环,并重新添加,再次尝试如果有反应,则问题得到解决,如果依然不行,你可以:

参考Xpath章节对网页Xpath进行修改或咨询客服,建议向客服说明网站网址和错误原因,方便客服给出解决方案。

(2)单机采集采不到数据

可能原因有4种:

1.单机运行规则,数据还没采完便显示采集完成

此种现象分为3种情况

A.打开网页后直接显示采集完成

原因:网页问题,第一个网页加载过慢,八爪鱼会等待一段时间,超出一定时间还在加载八爪鱼就会跳过了这个步骤,后续步骤以为内容未加载出来采不到数据,八爪鱼就结束了任务,造成采集不到数据。

解决方法:将网页的超时时间加长,或者在下一个步骤设置执行前等待,让网页有足够长的时间加载。

B.网页一直处于加载状态

原因:网页问题,有些网页的加载会很慢。想要采集的数据没有出现。

解决方法:如果当前步骤是打开网页步骤,可以将网页的超时时间加长。如果是点击元素步骤,而且要采集的数据已经加载出来的时候,可以在点击元素步骤设置ajax延时,点击了之后有新数据加载出来而网页网址没有变化的为ajax链接,




C.网页没有进入采集页面

原因:该问题常常是出现在点击元素步骤。有些网页中含有ajax链接时,根据点击位置判断是否需要设置。如果没有设置,在单机采集时会一直卡在前一个步骤,采集不到数据。当网页为异步加载时,没有设置ajax延时的话,操作一般不会正确执行,导致规则无法进行下一步,提取不到数据。

解决方法:在相应步骤设置ajax延时,一般是2-3S,如果网页加载时间较长,可以适当增加延时时长。点击元素,循环下一页、移动鼠标到元素上,这三个步骤中都有ajax设置

2.单机运行规则,无法正常执行

原因:规则问题或定位模拟问题

解决方法:

首先判断ajax是否需要设置以及是否设置正确,如果不是ajax问题,你可以:

将出现问题的步骤删除并重新设置一遍,如果问题解决则为规则问题,如果问题没有解决,则为定位模拟问题,你可以:

参考Xpath章节对网页Xpath进行修改或咨询客服,建议向客服说明网站网址和错误原因,方便客服给出解决方案。



3.单机运行规则,第一条或第一页数据正常,后面无法执行

原因:规则问题-循环部分出现了问题

解决方法:参考手动执行第二条内容。


4.单机运行规则,漏采或者错采数据

此种现象分5种情况:

A.部分字段没有数据

原因:网页内该项数据为空、模拟定位问题

解决方法:

查看没有字段的链接,用浏览器打开如果确实没有字段,则没有问题,如果浏览器打开有内容,则为模拟定位问题,你可以:

参考Xpath章节对网页Xpath进行修改或咨询客服,建议向客服说明网站网址和错误原因,方便客服给出解决方案。


B.采集数据数量不对

原因:规则问题-循环部分出现了问题

解决方法:参考手动执行第二条内容


C.采集数据错乱,不是对应信息

原因:规则问题-提取步骤过多,网页加载时间过长,如果设置ajax去忽略加载就有可能造成多个提取步骤中的某些因内容没加载出来或加载不完全出错。

解决方法:将规则分为两步,假如采集评论网页数据,第一步是采集当前页面信息和评论页面的URL,第二步是循环URL采集 评论数据,后续将导出数据在excel、数据库中匹配处理。



D.字段出现在不同位置

原因:网页问题-Xpath变化

解决方法:参考Xpath章节对网页Xpath进行修改或咨询客服,建议向客服说明网站网址和错误原因,方便客服给出解决方案。



E.数据重复

原因:网页问题-Xpath定位问题,问题主要出现在翻页处,比如只在一二页循环,或者最后一页的下一页按钮依然可以点击。

解决方法:参考Xpath章节对网页Xpath进行修改或咨询客服,建议向客服说明网站网址和错误原因,方便客服给出解决方案。




(3)单机采集正常,云采集没有数据

此种现象分4种情况:

1.网页问题-封IP原因

原因:大多数存在封IP措施的网站八爪鱼可以解决,极少数网站采用极其严格的封IP措施,这部分会导致云采集采集不到数据。

解决方法:

如果是单机采集可以使用代理IP功能,具体操作查看代理IP教程。

如果是云采集可以分配给任务多个节点,并使多个节点空闲,避免任务在同一个云端同一个IP上采集。


2.云端问题-云服务器带宽较小

原因:云端带宽较小,造成本地打开缓慢的网站在云端打开更加漫长,一旦超时就会打不开网站或者加载不出来数据造成跳过此步骤。

解决方法:把打开网址的超时时间或者下一步的执行前等待时间设置久一些。


3.规则问题-增量采集

原因:规则设置了增量采集,增量采集根据URL判断是否采集过,部分网页使用增量采集会导致增量判断失误跳过了该网页。

解决方法:关闭增量采集。

4.规则问题-禁止浏览器加载图片和云采集不拆分任务

原因:存在极少数网页不可以勾选禁止浏览器加载图片与云采集不拆分任务

解决方法:取消勾选相关选项。


如果出现更多问题,欢迎在官网或者向客服进行反馈,谢谢您的支持。

聚圣源幕布背景我是阴阳人狗血小说滤芯起名农牧科技公司起名氵字旁的字有哪些字起名字大全商务公司起名大气刻章公司起名古诗宋词 起名军旅小说姓方起名女孩我的读书故事作文公司培训计划方案功夫战警电视剧在线观看魔兽改图器邓起名字大全男宝兔子起名大全文章个人资料专业取名起名大全网站企业公司起名测试打分禹和什么起名字桌面万年历起名测试网免费的饺子店起名子易字取名起名大全女孩名字大全劝学高中课文宝宝起名软件排行版新生儿宝宝起测名14画属水的吉祥字起名字用张远山淀粉肠小王子日销售额涨超10倍罗斯否认插足凯特王妃婚姻让美丽中国“从细节出发”清明节放假3天调休1天男孩疑遭霸凌 家长讨说法被踢出群国产伟哥去年销售近13亿网友建议重庆地铁不准乘客携带菜筐雅江山火三名扑火人员牺牲系谣言代拍被何赛飞拿着魔杖追着打月嫂回应掌掴婴儿是在赶虫子山西高速一大巴发生事故 已致13死高中生被打伤下体休学 邯郸通报李梦为奥运任务婉拒WNBA邀请19岁小伙救下5人后溺亡 多方发声王树国3次鞠躬告别西交大师生单亲妈妈陷入热恋 14岁儿子报警315晚会后胖东来又人满为患了倪萍分享减重40斤方法王楚钦登顶三项第一今日春分两大学生合买彩票中奖一人不认账张家界的山上“长”满了韩国人?周杰伦一审败诉网易房客欠租失踪 房东直发愁男子持台球杆殴打2名女店员被抓男子被猫抓伤后确诊“猫抓病”“重生之我在北大当嫡校长”槽头肉企业被曝光前生意红火男孩8年未见母亲被告知被遗忘恒大被罚41.75亿到底怎么缴网友洛杉矶偶遇贾玲杨倩无缘巴黎奥运张立群任西安交通大学校长黑马情侣提车了西双版纳热带植物园回应蜉蝣大爆发妈妈回应孩子在校撞护栏坠楼考生莫言也上北大硕士复试名单了韩国首次吊销离岗医生执照奥巴马现身唐宁街 黑色着装引猜测沈阳一轿车冲入人行道致3死2伤阿根廷将发行1万与2万面值的纸币外国人感慨凌晨的中国很安全男子被流浪猫绊倒 投喂者赔24万手机成瘾是影响睡眠质量重要因素春分“立蛋”成功率更高?胖东来员工每周单休无小长假“开封王婆”爆火:促成四五十对专家建议不必谈骨泥色变浙江一高校内汽车冲撞行人 多人受伤许家印被限制高消费

聚圣源 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化