我正在开发一个项目,该项目将使用来自 Twitter Stream API 的数据并计算某些主题标签。但是我很难理解我需要什么样的架构。我应该使用 Tornado 还是有更合适的框架?
最佳答案
这实际上取决于您想对推文执行的操作。简单地阅读推文流并不是我见过的问题。事实上,这可以在 AWS 微型实例上完成。我什至在实时提要上运行更高级的回归算法。如果您尝试处理一组历史推文,则会出现可伸缩性问题。由于推文的生成速度如此之快,因此处理历史推文可能会非常慢。那是您应该尝试并行化的时候。
关于python - 使用 Python 进行实时数据处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17173464/