准备

  • 安装node.js开发环境(略过,不知道的请google);
  • 了解cheerio库,英文好的点这,英文没那么好的点这
  • 熟悉async(非必须),只是我比较喜欢用这个,之前写过一篇博客,大家可以看下
  • 了解node.js HTTP模块

查看页面结构

明确数据抓取页

这一步是为了分析你要抓数据的可行性,说白了就是看查看页面源代码分析其dom节点。在这里我们以58同城的租房栏最为目标数据抓取页。

分析dom节点

大家可以看源代码,我们要抓取的数据都是包含在一个一个table标签里面,table下面的每一个tr都是一条目标数据。

编码

这里先把代码放上–gist,以便大家可以对照看下面的讲解。
ok,下面进入最重要的一步,编码
我们使用的是node.js http get请求;

获取你要抓取的总页数

(你总不能抓一页就完事吧,要抓完)

1
function getPageNum(callback){
var options = {
host: host,
port: 80,
path: path,
headers: {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36'
}
};
var html = ""
http.get(options,function (res) {
res.on('data', function (data) {
html += data;
});
res.on('end', function () {
var $ = cheerio.load(html);
var pagenum=$('.pager').find('a').length;
var pager=$('.pager').find('a').eq(pagenum-2).text();
callback(undefined,pager);
});
}).on('error', function (e) {
callback(e);
})
}

上面我们定义了一个方法,发送http请求获取总的页数,
大部分都是http get请求的代码。核心代码:

1
var $ = cheerio.load(html);
var pagenum=$('.pager').find('a').length;
var pager=$('.pager').find('a').eq(pagenum-2).text();

在这一行里,大家可以查看页面源代码,发现其在 class:pager
的标签里包含着页数,而其中包含着好多a标签。而总页码数位于倒数第二个a标签中所以在上面我们可以获取总页数。

抓取数据

先上代码

1
function gettitle(path2,callback){
     var options = {
        host: host,
        port: 80,
        path: path+path2,
        headers: {
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36'
        }
    };
    var html = ""
    http.get(options,function (res) {
        res.on('data', function (data) {
            html += data;
        });
        res.on('end', function () {
            var $ = cheerio.load(html);
             $('.main').find('table').find('tr').each(function(i,ele){
             	title.push($(this).find('h1').find('a').text().trim());
             });
             callback()
 
        });
    }).on('error', function (e) {
    	callback(e);
        })
}

从网页的源代码可以看出我们房屋信息的列表去全都包在一个个table的tr中,
所以我们首先找到其中的table,再选出其中的tr标签,然后对每个tr进行操作,摘出
其中的房屋题目。

PS:

由于这篇文章断断续续写的,所以到后期写的细节方面多有不足,
对应着我写的博客,和代码相对容易明白一点,但是首要因素是
明白async 和 http get请求。