据我所知,Dask DataFrame 是处理表格数据的正确方法。
我在 PostgreSQL 中有一个表,我知道将它加载到 pandas.Dataframe
中的方法。
我知道,odo
可用于将 pandas.DataFrame
转换为 dask.dataframe。
但
这不是惰性操作:这种转换强制将整个 PostgeSQL 表加载到内存中,这是不好的。我更喜欢一个接一个或大块地阅读项目。如何做到这一点?
- Cassandra 的类似问题。但 Cassandra 就像分布式存储,它可以针对分布式访问进行优化。但是如何使用 Dask 做到这一点呢?
最佳答案
至于 MongoDB,我创建了以下解决方案: https://gist.github.com/Sklavit/747e292fc17f6c9b400470006ff1c567
主要思想是创建一个目标名称包,然后将这些参数传递给加载器。
关于python - 懒惰地从 PostgreSQL/Cassandra 创建 Dask DataFrame,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39907188/