python - 使用 Python 进行实时数据处理

标签 python real-time tornado

我正在开发一个项目,该项目将使用来自 Twitter Stream API 的数据并计算某些主题标签。但是我很难理解我需要什么样的架构。我应该使用 Tornado 还是有更合适的框架?

最佳答案

这实际上取决于您想对推文执行的操作。简单地阅读推文流并不是我见过的问题。事实上,这可以在 AWS 微型实例上完成。我什至在实时提要上运行更高级的回归算法。如果您尝试处理一组历史推文,则会出现可伸缩性问题。由于推文的生成速度如此之快,因此处理历史推文可能会非常慢。那是您应该尝试并行化的时候。

关于python - 使用 Python 进行实时数据处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17173464/

相关文章:

python - Selenium 无法通过 Xpath 查找元素?

algorithm - 如何检测时间序列数据的显着变化/趋势?

Python websocket 客户端 - 将消息从 python 代码发送到 WebSocketServer

python - 是否可以在 Tornado 中基于模板变量运行 javascript 代码?

Python Tornado - 禁用日志记录到 stderr

python - 将字符串解压为一个/两个变量

python - 使用 python 读取选定 Outlook 电子邮件的内容

Python - 如何保存/加载特定的cookie?

c# - 具有设置间隔的 Ajax 或 SignalR

c# - 更新其中一个相同型号网络适配器的驱动程序