node.js reqest.js/cheerio.js 返回空 json

Question

我正在开发一个应用程序，该应用程序可以抓取网站并将数据作为休息 API 公开。我正在使用 Node、Express、request、cheerio。我似乎在数组中获得了正确的值..但在返回之前..数组仍然是空的(在请求函数范围之外)

我无法解决我所缺少的内容..您可以看一下我的代码并让我知道吗？

在app.js中我指定了路线，

    app.use('/timetable', timetable.timetable(url));

在 timetable.js 中

var classes = require('../lib/classes');
var schedule = require('../lib/schedule');
exports.timetable = function(timeTableURL) {

return function(req, res) {

    request( timeTableURL, function srapeWebsite(error, response, html ) {
        var webHtml = '';
        var moreInfo = []; 
        if( !error && response.statusCode === 200 ) {
            webHtml = cheerio.load(html);
        }
        // schedule.getInfo returns an array of json objects where
        // json = {
        //    day,
        //    number,
        //    url
        // }
        var info = schedule.getInfo(webHtml);

        for (var index = 0; index < info.length; index++) {     
            var json = info[index];
            classes.getMoreInfo(json, function (moreInfoJson) {
                //console.log shows correct information here
                moreInfo.push(moreInfoJson);
            };
        }
        // however moreInfo is empty here..hence not getting anything
        res.json(moreInfo);
    } );
  };
};

思路是，对于数组中的每个json对象，从指定的url中获取更多信息。

所以最终结果是，

    finalJson = {
       day : ''
       json : []
    }

在classes.js中

exports.getMoreInfo =  function (info, callback) {

var infoDay = info.day;
var infoNumber = parseInt(info.number);
var moreInfoURL = info.moreInfoUrl;
var stuff = [];

var moreInfo = {};
moreInfo.day = infoDay;
moreInfo.json = [];

if (infoNumber > 0 ) {
    request(moreInfoURL, function(error, response,html) {
        var moreInfoHtml = '';
        if( !error && response.statusCode === 200 ) {
            moreInfoHtml = cheerio.load(html) ;

        }
        var $ = moreInfoHtml;

        $('table tbody tr').each ( function getWhatisNeeded () {
            var json = getJson ( $(this) );
            stuff.push(json);

        });

        moreInfo.json = stuff;
        return callback(moreInfo);
    });
  }
}

Answer 1

您对classes.getMoreInfo 的调用是异步的。

发生的情况是，您没有等待调用返回，而是使用空数组调用 res.json。

编辑: 如何解决这个问题？一种方法是使用 promise (例如，参见 https://github.com/malko/D.js )。

getMoreInfo 应该返回一个延迟对象:

exports.getMoreInfo =  function (info) {
    var deferred = D();
    ...
    request(..., function(){
        deferred.resolve(moreInfo);
    });
    ...
    return deferred.promise;
}

和 timetable.js 应该看起来或多或少像这样:

var promises = [];
for (var index = 0; index < info.length; index++) {     
    var json = info[index];
    promises.push(classes.getMoreInfo(json));
}
D.all(promises).this(function(array_of_results){
    res.json(array_of_results);
}

我没有测试代码，所以这里可能有错误，但这是关于如何解决 Node.js 和一般情况下的异步问题的一个很好的指南。 让自己熟悉 Promise，解决这样的问题会容易得多。