八爪鱼爬虫滚轮翻页的网页怎么爬

2023-03-14 04:00

1个回答

这类需要滚动下翻的网页需要对打开网页步骤进行设置在进行数据提取:

打开采集规则编辑界面:点击打开网页或者点击元素步骤,

在右侧的高级选项中勾选页面加载完向下滚动

根据页面设置向下滚动的次数,及每次滚动的间隔

滚动方式选择“直接滚动到底部”,

设置完成后,就可以对数据进行提取。

注意:这里不需要像详情页提取一样将提取数据的步骤放到翻页循环中,打开网页或者点击元素的步骤需要放在提取数据步骤的前面,因为页面打开后需要执行滚动的步骤之后才开始采集,否则会导致只采集到加载后未下拉的数据,造成采集的数据缺失。

相关问答
爬虫,爬取的网页源码为啥中间一部分缺失?
1个回答2022-11-25 18:20
缺失部分是动态加载的,基本上是由ajax异步获取。你需要F12打开开发者模式找到这个函数或者直接找请求记录,自己再去模拟这个请求数据。
人鱼陷落爬虫最后怎么了
1个回答2024-04-10 06:35
爬虫牺牲自己救了男主等人。 1、在原著末尾,因为受到了别人的欺骗和挑拨最后堕落了了,不过最后喊枣颤也完成了救赎,牺牲自己救了男主等人, 2、《人鱼陷落》讲的是郑败战术指挥大佬撒娇白狮,武力值top呆呆...
全文
毛毛虫爬呀爬到肩膀上,左爬爬右爬爬叫什么儿歌
1个回答2024-03-29 18:18
毛毛虫爬呀爬到肩膀上,左爬爬右爬爬出自儿歌《神奇的手指》。 《神奇的手指》 作词:佚名 作曲:佚名 一个手指头呀,变呀变呀变 变成毛毛虫呀 上爬爬,下爬爬 左爬爬,右爬爬 两个手指头...
全文
爬虫可以爬网课吗?
3个回答2022-12-27 05:49
并不能,爬虫只能爬取文字类信息,并不能爬取视频
五年级作文《小爬虫的故事》读后感
1个回答2024-01-25 19:49
这篇文章主要讲一只小爬虫落在了桌子上,翻不过来,但是小爬虫一直坚持不懈地翻。作者觉得小爬虫没有希望了,可是过了一会儿,小爬虫翻了过来。作者觉得好奇,把小爬虫倒了过来,他看到小爬虫“有付出,就有收获”的...
全文
虫子爬吧讲的是什么
1个回答2024-03-18 09:26
虫子们爬动的时候,那是姿态万方,各显其能的,看起来令人神往,有时候一不小心是可以使人入迷的。总的来看,虫子爬行的各种姿态比人丰富多彩得多了。 蚂蚁显得有点儿匆忙,但也经常有左顾右盼、犹疑彷徨的时候...
全文
什么是爬虫?
3个回答2023-08-20 21:31
不是长着腿,就是爬行的那种虫就叫爬虫。爬虫应该是可分为会飞的,还有不会飞的,反正种类极多,就是爬行的,真的有很多从数都数不尽。如果是没有会爬的那种虫,他们应该就不叫爬虫。
摸爬滚打是什么意思
3个回答2022-05-27 19:48
就是经历丰富,历尽艰辛。
摸爬打滚的意思
3个回答2022-09-28 11:40
多在事业上一路打拼,摸索不易 经历风风雨雨 磕磕盼盼。
摸爬滚打意思
3个回答2023-08-06 03:17
摸爬滚打的基本释义