我需要通过 XML 发送大量数据,而我的 Docker 容器在执行任务时内存不足。有没有一种方法可以使用 Go 以增量方式编码大型 XML 文档并将其增量写入文件以最大限度地减少内存使用量?
最佳答案
使用 xml.Encoder
将 XML 输出流式传输到 io.Writer
可能是网络连接 ( net.Conn
) 或文件 ( os.File
)。完整的结果不会保存在内存中。
您可以使用 Encoder.Encode()
将 Go 值编码为 XML。通常,您可以将要传递给 xml.Marshal()
的任何 Go 值传递给.
Encoder.Encode()
仅当您要编码的数据已在内存中准备好时才有帮助,这对您来说可能可行也可能不可行。例如。如果你想编码一个不能(或不应该)读入内存的大列表,这对你来说不是救赎。
如果输入数据也无法保存在内存中,那么您可以通过标记和元素构造 XML 输出。您可以使用 Encoder.EncodeToken()
为此,您可以编写结果 XML 文档的“部分”。
例如,如果你想输出一个大列表,你可以写一个开始元素标签(例如 <list>
),然后一个一个地写列表的元素(每个元素从数据库或从文件,或由算法即时构建),一旦列表被编码,您可以关闭列表元素标签(</list>
)。
这是一个简单的例子,你可以如何做到这一点:
type Student struct {
ID int
Name string
}
func main() {
he := func(err error) {
if err != nil {
panic(err) // In your app, handle error properly
}
}
// For demo purposes we use an in-memory buffer,
// but this may be an os.File too.
buf := &bytes.Buffer{}
enc := xml.NewEncoder(buf)
enc.Indent("", " ")
he(enc.EncodeToken(xml.StartElement{Name: xml.Name{Local: "list"}}))
for i := 0; i < 3; i++ {
// Here you can fetch / construct the records
he(enc.Encode(Student{ID: i, Name: string(i + 'A')}))
}
he(enc.EncodeToken(xml.EndElement{Name: xml.Name{Local: "list"}}))
he(enc.Flush())
fmt.Println(buf.String())
}
上面的输出是(在 Go Playground 上尝试):
<list>
<Student>
<ID>0</ID>
<Name>A</Name>
</Student>
<Student>
<ID>1</ID>
<Name>B</Name>
</Student>
<Student>
<ID>2</ID>
<Name>C</Name>
</Student>
</list>
关于xml - 如何将大量数据编码为 XML,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55573927/