node.js - 使用node.io抓取时如何添加像Tor这样的代理？

Question

我正在使用 node.io 构建一个网络抓取工具，但在寻找实现方法的过程中，我提出了很多要求，但该网站阻止了我。我不知道如何添加代理，例如使用 Tor 向该网站发出请求。

Answer 1

关注这篇文章http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/

我安装了tor和polipo。 Polipo 连接到 Tor 和 Node.IO 将使用 polipo 提供的 http 代理。 看起来比我想象的简单。 并为scraper设置代理

    var scrap = new Scraper({
    start: 0,
    limit: 5,
    count: null,
    max: config.max || 0,
    debug: true,
    wait: 3,
    proxy: 'http://127.0.0.1:8123'
});

效果很好。