phantomjs源码（phantomJS）
本文目录一览：
- 1、android怎么获取JS执行之后的网页源代码？
- 2、如何使用Selenium和PhantomJS解析带JS的网页
- 3、如何在Ubuntu和Debian上安装PhantomJS
- 4、java怎么调用phantomjs
- 5、nodejs调用phantomjs时，phantomjs.path为null，应该要怎么处理
android怎么获取JS执行之后的网页源代码？
可以试用phantomjs加载网页，执行js，然后获取执行后的网页代码。
官网：
如何使用Selenium和PhantomJS解析带JS的网页
一个全自动的渗透测试工具，无异于一个上好的爬虫＋一个上好的判断规则。但是很多时候，我们需要监听浏览器的Network请求，获取一个页面多所有子请求，然后分析每个url。这是一般的源码分析爬虫无法获取的，很多ajax请求并不能很好的通过正则来获取出来。这个时候就需要一个基于webkit的爬虫了，起码是带js引擎的。刚开始入眼的是基于QtWebkit的Ghost.py，无奈这个环境配置的蛋疼不说，到最后总是在读取复杂页面时候报错。后来找到了selenium，自动测试利器啊，首先自然是selenium+chrome，但是每打
如何在Ubuntu和Debian上安装PhantomJS
Ubuntu 14.04为了保证跨服务体验的一致性，在它的仓库中默认包含了一个版本为0.10.25的Node.JS，这个可能不是最新版本，但是却一定是标准发行版本。
要想获取这个版本的Node.JS，我们只要通过apt包管理工具来安装就可以。在安装之前，最好先更新一下apt包管理工具的本地索引，然后再从Ubuntu仓库中安装Node.JS。
sudo apt-get update
sudo apt-get install nodejs
如果Ubuntu仓库中的包正好是你所需要的，那么上述步骤就是在Ubuntu10.04下安装Node.JS的全部操作过程。大多数情况下，我们还希望也安装一份Node.JS的包管理工具：npm，您可以通过以下命令安装：
sudo apt-get install npm
NPM将让使得安装Node.JS的模块或者源码包变得非常简单。
在您运行Node.JS的时候请一定要注意，因为与别的工具包相冲突的原因，Ubuntu仓库中可执行的名字是nodejs而不是node。
java怎么调用phantomjs
日前有采集需求，当我把所有的对应页面的链接都拿到手，准备开始根据链接去采集（写爬虫爬取）对应的终端页的时候，发觉用程序获取到的数据根本没有对应的内容，可是我的浏览器看到的内容明明是有的，于是浏览器查看源代码也发觉没有，此时想起该网页应该是ajax加载的。不知道ajax的小朋友可以去学下web开发啦。
采集ajax生成的内容手段不外乎两种。一种是通过http观察加载页面时候的请求，然后我们模仿该请求去得到对应的内容，第二种则是模仿浏览器行为去渲染这个页面得到内容。我在这里决定采用第二种方式，之前一直玩webkit，不过一直要加载页面太浪费资源了，此时了解到有一个好玩的玩意phantomjs，这是个可以用命令行来操作webkit的玩意，然后也可以直接在里面用js的api去操作页面（当然，我这边比较简单就懒得用了）。
//codes.js
system = require('system')
address = system.args[1];//获得命令行第二个参数 接下来会用到
//console.log('Loading a web page');
var page = require('webpage').create();
var url = address;
//console.log(url);
page.open(url, function (status) {
//Page is loaded!
if (status !== 'success') {
console.log('Unable to post!');
} else {
//console.log(page.content);
//var title = page.evaluate(function() {
// return document.title;//示范下如何使用页面的jsapi去操作页面的
// });
//console.log(title);
console.log(page.content);
}
phantom.exit();
});
接下来贴java代码！
[java] view plain copy
import org.apache.commons.io.IOUtils;
import java.io.*;
public class HttpUtils {
public static String getAjaxCotnent(String url) throws IOException {
Runtime rt = Runtime.getRuntime();
Process p = rt.exec("phantomjs.exe c:/phantomjs/codes.js "+url);//这里我的codes.js是保存在c盘下面的phantomjs目录
InputStream is = p.getInputStream();
BufferedReader br = new BufferedReader(new InputStreamReader(is));
StringBuffer sbf = new StringBuffer();
String tmp = "";
while((tmp = br.readLine())!=null){
sbf.append(tmp);
}
//System.out.println(sbf.toString());
return sbf.toString();
}
public static void main(String[] args) throws IOException {
getAjaxCotnent("");
}
}
nodejs调用phantomjs时，phantomjs.path为null，应该要怎么处理
官方案例 ：
Running via node
The package exports a path string that contains the path to the
phantomjs binary/executable.
Below is an example of using this package via node.
var path = require('path')
var childProcess = require('child_process')
var phantomjs = require('phantomjs-prebuilt')
var binPath = phantomjs.path
var childArgs = [
path.join(__dirname, 'phantomjs-script.js'),
'some other argument (passed to phantomjs script)'
]
childProcess.execFile(binPath, childArgs, function(err, stdout, stderr) {
// handle results
})
或者。。。
to see :
去看源码18行 =
/**
* Where the phantom binary can be found.
* @type {string}
*/
try {
var location = require('./location')
exports.path = path.resolve(__dirname, location.location)
exports.platform = location.platform
exports.arch = location.arch
} catch(e) {
// Must be running inside install script.
exports.path = null
}
你可以把 catch 的 e 打出来看看是什么错误
