用Nodejs抓虫遇到一个循环请求问题

Question

用Nodejs抓虫遇到一个循环请求问题，目前只获取到第一个分页，这个问题怎么获取分页总数，然后获取每一页的页面数据？

var express = require('express');

var fs = require('fs');

var request = require('request');

var cheerio = require('cheerio');

var app = express();

app.get('/',function (req,res) {

    var id = 1;

    url = 'http://www.zcool.com.cn/zteam/ZNDg2MzI=.html?sort=0&p='+ id +'#titleMaoDian';

    console.log(id);

    request(url,function(err,res,html){

        if(!err){

            var $ = cheerio.load(html);

            var endId = $('.bigPage').find('a.pageNext').prev().text();

            for(id=1;id<=endId;id++){

                var title;

                $('.camLiTitleC').filter(function(){

                    var data = $(this);

                    title = data.text();

                    console.log('作品标题：' + title);

                })

            }

        }

    })

});

app.listen('8080'); //使用8080端口

exports = module.exports = app;

Answer 1

先将url后缀空出数字部分，然后可以定义一个函数，再递归调用自身，每次加一具体操作可以看下我的文章（羞涩..）Node.js实现简易爬虫