如何从HDFS删除文件的特定块？
我在hdfs中加载了1TB文件，发现使用fsck命令损坏了1个块。我正在使用它进行测试，所以没有在hdfs中创建文件的副本。现在，一个简单的解决方案可以删除整个文件并再次重新加载整个文件。但是，由于128MB损坏的记录，加载整个文件(〜1TB数据)似乎效率低下。
因此，对于我的用例来说，丢失一些记录是可以的(这只是poc)。有什么方法可以删除损坏的块并使用其余数据？
任何建议将不胜感激。
最佳答案
您可以使用命令-hdfs fsck / -delete列出丢失的块的损坏并按照this artical进行修复。
关于hadoop - 如何从HDFS删除特定的 block ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48538474/