hadoop - Hadoop 3.2.1 ErasureCoding ISA-L问题?

标签 hadoop

我正在测试hadoop 3.0 Erasure编码。
为了进行测试,我在hadoop 3.2.1中上传了100GB,结果显示如下。 (5个数据节点)
3 COPY:150分钟
E C:250分钟(RS-3-2-1024k)
为了通过应用ISA-L来提高EC的速度,我对其进行了设置并测试了操作,但是速度却是相同的。
zlib:true /lib64/libz.so.1
zstd:假
活泼的:错误的
lz4:真实修订:10301
bzip2:错误
openssl:错误的构建不支持openssl。
ISA-L:true /lib64/libisal.so.2
(1)它是旧设备,所以我想知道CPU是否不支持它。
在哪里可以查看支持ISA-L的CPU的列表?

CPU : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz



(2)请告知是否有应用ISA-L的方法。

最佳答案

关于你的问题

(1) Tt is an old device, so I wonder if the CPU does not support it. Where can I check the list of CPUs that support ISA-L?


我正在经历
  • Code Sample: Intel® ISA-L Erasure Code and Recovery
  • Intel(R) Intelligent Storage Acceleration Library

  • 尚未找到有关特定CPU的提示。
  • Optimizing Storage Solutions Using the Intel® Intelligent Storage Acceleration Library

  • 只提

    Depending on the platform capability, Intel ISA-L can run on various Intel® processor families. Improvements are obtained by speeding up the computations through the use of the following instruction sets:

    • Intel® AES-NI – Intel® Advanced Encryption Standard - New Instruction
    • Intel® SSE – Intel® Streaming SIMD Extensions
    • Intel® AVX – Intel® Advanced Vector Extensions
    • Intel® AVX2 - Intel® Advanced Vector Extensions 2

    Intel® ISA-L also includes unit tests, performance tests and samples written in C which can be used as usage examples.*

    关于hadoop - Hadoop 3.2.1 ErasureCoding ISA-L问题?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63770323/

    相关文章:

    scala - 与 sbt 汇编的不及物依赖

    hadoop - Java 类文件的 Hadoop Streaming -file 选项存在问题

    hadoop - hdfs 数据节点与名称节点断开连接

    hadoop - 创建了多少映射器类实例?

    hadoop - 配置单元 collect_set 崩溃查询

    java - 无法从Hive更改表格位置

    sql - 高基数字段的 Hive 查询性能

    hadoop - Confluent HDFS 连接器正在丢失消息

    hadoop - 错误 terasort.TeraSort : Input path does not exist: maprfs:/user/user01/–DXmx1024m

    java - 将我的输出重定向到文本区域