我的数据文件中有大约 1.5 Gb 的 float 存储为用空格分隔的 ASCII 文本,例如 1.2334 2.3456 3.4567
等等。
在处理这些数字之前,我首先将原始文件翻译成二进制格式。这很有用,因为我可以选择是使用 float
还是 double
,减小文件大小(double
大约 800 MB,double 大约 400 MB code>float
),并在我处理数据后读入适当大小的 block 。
我编写了以下函数来进行 ASCII 到二进制的转换:
template<typename RealType=float>
void ascii_to_binary(const std::string& fsrc, const std::string& fdst){
RealType value;
std::fstream src(fsrc.c_str(), std::fstream::in | std::fstream::binary);
std::fstream dst(fdst.c_str(), std::fstream::out | std::fstream::binary);
while(src >> value){
dst.write((char*)&value, sizeof(RealType));
}
// RAII closes both files
}
我想加快 acii_to_binary
的速度,但我似乎无法想出任何办法。我尝试以 8192 字节的 block 读取文件,然后尝试在另一个子例程中处理缓冲区。这看起来非常复杂,因为缓冲区中的最后几个字符可能是空格(在这种情况下一切都很好)或截断的数字(这非常糟糕)——处理可能截断的逻辑似乎不值得。
你会怎么做来加速这个功能?我宁愿依赖标准的 C++(C++11 也行),没有额外的依赖,比如 boost。
谢谢。
编辑:
@大卫施瓦茨:
我尝试按如下方式实现您的建议:
template<typename RealType=float>
void ascii_to_binary(const std::string& fsrc, const std::string& fdst{
std::vector<RealType> buffer;
typedef typename std::vector<RealType>::iterator VectorIterator;
buffer.reserve(65536);
std::fstream src(fsrc, std::fstream::in | std::fstream::binary);
std::fstream dst(fdst, std::fstream::out | std::fstream::binary);
while(true){
size_t k = 0;
while(k<65536 && src >> buffer[k]) k++;
dst.write((char*)&buffer[0], buffer.size());
if(k<65536){
break;
}
}
}
但是好像没有写数据!我正在努力......
最佳答案
我完全做了同样的事情,只是我的字段由制表符'\t'
分隔,而且我还必须处理末尾的非数字注释每行和标题行都穿插着数据。
Here是我的实用程序的文档。
我也遇到了速度问题。以下是我为将性能提高 20 倍左右所做的事情:
- 用内存映射文件替换显式文件读取。一次映射两个 block 。当您在处理一行后位于第二个 block 时,重新映射第二个和第三个 block 。这样,跨越 block 边界的线在内存中仍然是连续的。 (假设没有一行大于一个 block ,您可以增加 block 大小来保证这一点。)
- 使用 SIMD 指令(例如
_mm_cmpeq_epi8
)搜索行尾或其他分隔符。在我的例子中,任何包含'='
字符的行都是需要不同处理的元数据行。 - 使用准系统的数字解析函数(我使用自定义函数来解析 HH:MM:SS 格式的时间,
strtod
和strtol
非常适合抓取普通数字) .这些比istream
格式的提取函数快得多。 - 使用操作系统文件写入 API 而不是标准的 C++ API。
如果您梦想吞吐量达到每秒 300,000 行,那么您应该考虑类似的方法。
当您不使用 C++ 标准流时,您的可执行文件也会缩小。我有 205KB,包括一个图形界面,并且只依赖于 Windows 附带的 DLL(不需要 MSVCRTxx.dll)。再看一遍,我仍在使用 C++ 流进行状态报告。
关于c++ - 读取大量ASCII码并以二进制形式写入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14760637/