我正在使用 HBase 来存储大量传感器数据。
我曾尝试使用一个 txt 文件来存储我的传感器数据，对于一个 20MB 的文件，如果我压缩它，它将在磁盘上减少到 1MB。
我的问题是:HBase本身在存储数据到磁盘时会自动压缩吗？
谢谢
最佳答案
您可以使用 lzo、gzip 或 snappy 进行 hbase 压缩。如果您希望将它们用于 hbase 压缩(包括 gzip)，则需要自己设置 lzo/snappy。
通常 - lzo 比 gzip 压缩更快，尽管 gzip 压缩比通常更好。 Snappy 在压缩方面很稳健，但压缩率通常更差。
创建表时 - 您可以指定压缩/压缩库 - 如果使用压缩，则 hfiles 在写入磁盘时会被压缩(读取时需要解压缩)。
希望对你有帮助
关于hadoop - HBase 中的压缩，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12064709/