您尚未登录。

#1 2021-07-13 22:43:55

markbates
会员
注册时间: 2015-11-26
帖子: 13

问一个wget下载网页的问题

我想下载这个网页.

https://data.eastmoney.com/rzrq/detail/all.html 

具体的讲, 是需要最下面<证券交易明细>表格里那45页的数据.

我尝试用wget,

wget   https://data.eastmoney.com/rzrq/detail/all.html

下载之后, all.html里是没有表格部分的. 貌似js部分没有下载到

之后, 查了一下, 尝试用

wget -l 1 -p -np -k https://data.eastmoney.com/rzrq/detail/all.html

wget -c -r -nd -np -k -L -p   https://data.eastmoney.com/rzrq/detail/all.html

虽然这次显示的内容多了一些, 但所需的表格内的数据仍旧没有成功的下载到.


我尝试直接在chromium里保存完整网页, 但保存下载的文件里, 也仅仅有第一页的数据, 后面44页的都不存在


以前没遇到过这种情况. 现在我应该如何处理呢?


谢谢

离线

#2 2021-07-13 23:13:39

依云
会员
所在地: a.k.a. 百合仙子
注册时间: 2011-08-21
帖子: 8,919
个人网站

Re: 问一个wget下载网页的问题

AJax 和 devtools(F12)了解一下。

离线

#3 2021-07-17 15:28:34

snowdrone
会员
注册时间: 2021-07-17
帖子: 1

Re: 问一个wget下载网页的问题

这些应该需要自己爬取。看了一下,下面的表格是通过

https://datacenter-web.eastmoney.com/ap … 6506670533

这个接口获取的,改变 p=1 参数可获取后面页码的内容

离线

页脚