我正在开发一个小程序,将一个非常大的 XML 文件(超过 2Gb)分成小块。
在研究了许多库之后,我选择了 VTD-XML(对大文件使用 VTDGenHuge)并开始开发一些代码测试。但是当我读取文件的段字节时遇到问题。
我得到偏移量和长度:
long [] l = vn.getElementFragment();
然后我得到结果的信息:
int offset = (int) (l[0] >> 64);
int len = new Integer("" + l[1]);
最后我尝试提取字节段并将其写入另一个文件:
b = new byte[len];
fis.read(b, offset, len); **//<===== this is the exception problem**
但我得到 java.lang.IndexOutOfBoundsException
此外,当我为字节数组分配一个固定数字时(例如 new byte[400]],程序正常结束,但输出文件已损坏。
我的代码:
File fo = new File("\\path\\post_people.xml");
FileOutputStream fos = new FileOutputStream(fo);
int count = 0;
File f = new File("\\path\\people.xml");
FileInputStream fis = new FileInputStream(f);
byte[] b;
VTDGenHuge vg = new VTDGenHuge();
if (vg.parseFile("\\path\\people.xml", false, VTDGenHuge.MEM_MAPPED)){
VTDNavHuge vn = vg.getNav();
AutoPilotHuge ap = new AutoPilotHuge();
ap.bind(vn);
ap.selectXPath("/people/person"); //here it could be posible add another condition
while (ap.evalXPath() != -1) {
long [] l = vn.getElementFragment();
int offset = (int) (l[0] >> 64);
int len = new Integer("" + l[1]);
b = new byte[len];
fis.read(b, offset, len); //<===== this is the line problem
fos.write(b); // writing the fragment out into other file
count++;
if (count == 3) { //this is just a test
break;
}
}
}
XML 文件示例:
<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<people>
<person>
<name>Nombre 0</name>
<lastName>ApPaterno 1</lastName>
<birthdate>2017-11-10T10:20:44.926-05:00</birthdate>
<age>0</age>
<address>
<streetType>Tipo Calle 0</streetType>
<streetName>Nombre de Calle 0</streetName>
<number>0</number>
</address>
</person>
<person>
<name>Nombre 1</name>
<lastName>ApPaterno 1</lastName>
<birthdate>2017-11-10T10:20:44.926-05:00</birthdate>
<age>1</age>
<address>
<streetType>Tipo Calle 1</streetType>
<streetName>Nombre de Calle 1</streetName>
<number>1</number>
</address>
</person>
</people>
伙计们,你们能帮帮我吗?
更新和解决方案:
最后,我应该修改的片段代码如下:
long [] l = vn.getElementFragment();
int offset = (int) (l[0] >> 64);
int len = new Integer("" + l[1]);
b = new byte[len];
fis.getChannel().position(0); //must return to position 0
fis.skip(offset); //must move to offset position
fis.read(b, 0, len);
最佳答案
正如您所指出的,代码中的主要问题在于输入流的读取范围内:
int offset = (int) (l[0] >> 64);
int len = new Integer("" + l[1]);
b = new byte[len];
fis.read(b, offset, len);
根据 InputStream.read()的 JavaDoc:
The first byte read is stored into element b[off], the next one into b[off+1], and so on.
这意味着您的实际缓冲区必须是长度为 offset + len,这会将字节 0 保留为 0,或者您跳过输入流的第一个 offset 字节并通过填充将 len 字节读入缓冲区从位置 0 开始缓冲。
如果将上面的代码替换为
int offset = (int) (l[0] >> 64);
int len = new Integer("" + l[1]);
b = new byte[len];
fis.skip(offset);
fis.read(b, 0, len);
缓冲区应该用实际字符串表示的字节填充
<person>
<name>Nombre 0</name>
<lastName>ApPaterno 1</lastName>
<birthdate>2017-11-10T10:20:44.926-05:00</birthdate>
<age>0</age>
<address>
<streetType>Tipo Calle 0</streetType>
<streetName>Nombre de Calle 0</streetName>
<number>0</number>
</address>
</person>
关于java - 使用 VTD-XML 将大 XML 文件分成小块时出现异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47269559/