1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > javascript – 【PHP】【.NET】【JS】【AJAX】关于抓取网页源代码的问题

javascript – 【PHP】【.NET】【JS】【AJAX】关于抓取网页源代码的问题

时间:2020-08-05 09:37:49

相关推荐

javascript – 【PHP】【.NET】【JS】【AJAX】关于抓取网页源代码的问题

后端开发|php教程

ajax,php,.net,javascript,webbrowser

后端开发-php教程

举例先:

用浏览器的查看源代码,只能看到网页第一次加载完成时候的源码。

然而现在很多网页都用到了AJAX技术,实际上会异步加载多次,最终呈现出来的效果和最初的源码有时候会差很多。

而我现在想要获取网页最终加载完成时候的源码。

或者说,我想获取网页每次AJAX获取值,然后通过JS修改源码之后的真实源码。

理论上说,是存在这样一份真实源码的,对吧。

用Chrome的审查元素也能获取的到的。

swift 游戏 源码下载,vscode左下角蓝色,ubuntu 双屏 同步,可以通过修改Tomcat,爬虫 python代码,php get乱码问题,宣城seo网络推广哪家强,源码平台交易网站源码,织梦下载的模板 替换lzw

但是,现在我想用PHP或者.NET或者JS……

不知道大家有木有什么好的方法……

PC,WEB上都可以……不造有没有类似的函数,框架,类库,方法……

各种思路都可以……

banner源码,ubuntu编译整个包,pycharm写个小爬虫,php fpm php7,郑州培训seolzw

js魔方特效源码,vscode繁体字,ubuntu用户记录,tomcat 安全监控,sqlite按照多列排序,十堰有没有爬虫店,cygwin php,惠州seo优化企业,网站怎么加砍价功能,网页滚动新闻,功能模块菜单 html模板lzw

回复内容:

举例先:

用浏览器的查看源代码,只能看到网页第一次加载完成时候的源码。

然而现在很多网页都用到了AJAX技术,实际上会异步加载多次,最终呈现出来的效果和最初的源码有时候会差很多。

而我现在想要获取网页最终加载完成时候的源码。

或者说,我想获取网页每次AJAX获取值,然后通过JS修改源码之后的真实源码。

理论上说,是存在这样一份真实源码的,对吧。

用Chrome的审查元素也能获取的到的。

但是,现在我想用PHP或者.NET或者JS……

不知道大家有木有什么好的方法……

PC,WEB上都可以……不造有没有类似的函数,框架,类库,方法……

各种思路都可以……

我之前的做法是:

1、用firebug抓包,看看ajax请求的api地址。

2、查看api请求的参数,如果没参数,直接第5步。

3、如果api的参数是在网页上面的。

4、到页面去找api的参数。(参数都是且必须是有规律的,没规律的话他就不可能把网页做成动态的了。)

5、然后带着api必须的参数再去采这个api的地址。(这时运气好的话采回来的直接是json数据,都不用处理html那么麻烦了)

PhantomJS, CasperJS

net的话WebBrowser

用浏览器的查看源代码,只能看到网页第一次加载完成时候的源码。

这是谁说的?

就是异步加载, 加载完成了你看到的也是完全加载的HTML代码。

抓取的多的很,Python有现成的

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。