c++ - C/C++位数组解析变换算法

Question

有人知道上/下转换位数组的算法吗？

即:当分辨率为1/16时:

每 1 位 = 16 位。 (低分辨率到高分辨率)

1010 -> 1111111111111111000000000000000011111111111111110000000000000000

反之，16位=1位(高分辨率到低分辨率)

1111111111111111000000000000000011111111111111110000000000000000 -> 1010

现在我正在一点一点地循环，效率不高。使用整个 64 位字会更好，但是当字不能被分辨率整除时会遇到问题(一些位可能会溢出到下一个字)。

C++:

std::vector<uint64_t> bitset; 

C:

uint64_t *bitset = calloc(total_bits >> 6, sizeof(uint64_t)); // free() when done

使用以下方式访问:

const uint64_t idx = bit >> 6;
const uint64_t pos = bit % 64;

const bool value = (bitset[idx] >> pos) & 1U;

并设置/清除:

bitset[idx] |= (1UL << pos);
bitset[idx] &= ~(1UL << pos);

并且使用完整的 64 位字完成相同分辨率的两个位集的 OR(或 AND/XOR/AND/NOT):

bitset[idx] |= source.bitset[idx];

我正在处理足够大的位集(2+ 十亿位)，我正在寻找循环中的任何效率。我发现优化循环的一种方法是使用 __builtin_popcountll 检查每个单词，然后在循环中向前跳过:

for (uint64_t bit = 0; bit < total_bits; bit++)
{ 
   const uint64_t idx = bit >> 6;
   const uint64_t pos = bit % 64;

   const uint64_t bits = __builtin_popcountll(bitset[idx]);

   if (!bits)
   {
      i += 63;
      continue;
   }
   // process
}

我寻找的算法/技术多于代码示例。但如果你有代码要分享，我不会拒绝。任何学术研究论文也将不胜感激。

提前致谢!

Answer 1

分辨率总是在 1/2 和 1/64 之间吗？甚至是 1/32？因为如果您需要很长的序列，您可能需要更多的循环嵌套，这可能会导致速度变慢。

您的序列是否总是很长(数百万位)，或者这是最大值但通常您的序列较短？当从高分辨率到低分辨率时，你能假设数据有效吗？

这里有一些技巧:

uint64_t one = 1;
uint64_t n_one_bits = (one << n) - 1u; // valid for 0 to 63; not sure for 64

如果您的序列太长，您可能需要检查 n 是否是 2 的某个幂，并为这些情况编写更优化的代码。

您可能会在这里找到一些其他有用的技巧:

https://graphics.stanford.edu/~seander/bithacks.html

所以如果你的分辨率是 1/16，你不需要循环单个 16 位，但你可以一次检查所有 16 位。然后你可以一次又一次地重复下一组。

如果数字不是 64 的除数，您可以在每次跨越 64 位边界时适本地移动位。假设你的分辨率是 1/5，那么你可以处理 60 位，然后将剩余的 4 位移动并与后面的 60 位组合。

如果您可以假设数据是有效的，那么您甚至不需要移动原始数字，因为您每次都可以选择适当位的值。