这类需要滚动下翻的网页需要对打开网页步骤进行设置在进行数据提取:
打开采集规则编辑界面:点击打开网页或者点击元素步骤,
在右侧的高级选项中勾选页面加载完向下滚动,
根据页面设置向下滚动的次数,及每次滚动的间隔,
滚动方式选择“直接滚动到底部”,
设置完成后,就可以对数据进行提取。
注意:这里不需要像详情页提取一样将提取数据的步骤放到翻页循环中,打开网页或者点击元素的步骤需要放在提取数据步骤的前面,因为页面打开后需要执行滚动的步骤之后才开始采集,否则会导致只采集到加载后未下拉的数据,造成采集的数据缺失。