我尝试使用 Arrow.jl 压缩数据.但是，使用以下代码的测试运行没有显示任何大小减少(或压缩)。我可以就我的实现寻求建议吗，比如我做错了什么？
代码:
using CSV, DataFrames, Arrow
df = CSV.read("input_data.csv", DataFrame)
function compress_data(data::DataFrame)
io = Arrow.tobuffer(data)
d = Arrow.Table(io; convert=false)
Arrow.write("output_data.lz4", d; compress=:lz4)
end
compress_data(df)
最佳答案
代码看起来不错，并使用全零值的输入 CSV 对其进行测试，压缩率很高。
我怀疑这里的情况是使用浮点数，这里有两个潜在的棘手问题需要记住
0. < x < 1. ，我们可能会期待压缩的潜力，但我们可能会感到失望，因为浮点数的字节模式不适用于常见的压缩技术。 Float64 的文本表示可能会截断小数并且每个值存储的字节数远少于 8 个字节，因此在保存二进制表示时实际上可以增加保存。 然而，浮点数的压缩技术确实存在，例如Blosc ，但结果可能会令人失望，除非您的数据很幸运。有损压缩技术可以实现高压缩率，例如zfp .您可以在 SO 上找到有关该主题的更多信息:
Compressing floating point data
关于julia - 在 Julia 中使用 Arrow.jl 进行数据压缩，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68578990/