architecture - 批处理/脱机处理设计书/文档

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。

想改善这个问题吗？更新问题，以使为on-topic。

2年前关闭。

Improve this question

是否有书籍或任何文档描述了设计批处理（脱机）过程以在双方之间共享数据的最佳实践？

我在春季批处理站点上找到了一些有用的信息，但是它的级别很低：
batch processing strategies和batch principles guidelines。

批处理有很多注意事项，例如：

数据传输方式（例如文件）
双方之间的控制协议
错误处理
文件命名约定（如果使用文件进行传输）
双方之间的截止时间同步
等等

如果有一些权威的文档或清单，以确保设计遵循该领域的最佳实践，那将是很好的。

更新：

遇到这些问题时，我将在这些部分中添加答案。

常规批处理/脱机处理信息

本部分摘自@ user1813068的答案。

您可以在此link以及此link处找到一些体系结构设计模式，这些模式描述了合作伙伴到合作伙伴集成以及数据同步的方法。

此Wikipedia页面还提供了体系结构模式的高级概述，并包括用于数据集成的模式：architectural patterns。

Data Integration Blueprint and Modeling这本书也很好。

资料档案

本节中的大多数内容都来自这里：source

在平面文件交换中使用页眉和页脚被认为是最佳实践。可以不使用页眉和页脚来交换平面文件，并且文件的命名可以概述一些与页眉相同的信息。使用定界文件时，始终需要字段列表标题。

标头

在系统之间交换数据时，对于接收方而言，准确知道要发送的数据类型非常重要。确保这一点的一种方法是提供一个标头行，其中包含有关数据内容及其应如何处理的相关信息。

使用平面文件时，文件名本身也可以用于通知接收方文件的内容。但是，标题行为所有可用选项提供了更好的支持。

使用API时，可以采用类似的方式提供这些标头字段。实施将由API服务的开发人员确定。

如果包含标头，则标头由一组数据组成，并且必须始终是文件中的第一个数据。

页脚

当使用基于文件的格式表示没有更多数据可处理时，可以提供页脚。

处理时，应忽略在页脚行之后找到的数据。另外，在创建数据时，请注意，页脚行之后的任何数据都将被忽略。

资料格式

分隔文件

实际上的行业标准是定界文件。

逗号分隔（CSV或逗号分隔的值）文件通常需要数据封装，通常使用双引号（“）；然后必须使用反斜杠（）或双双引号（”“）来转义双引号。对于CSV实施中的不一致之处，建议使用制表符作为分隔符，而不进行封装。在这种情况下，必须从数据中删除制表符。通常，分隔文件可以更快地处理XML文件。

XML文件

行业中有些人更喜欢XML文件。 XML支持信息嵌套，因此可以使信息更清晰地表示。许多公司对此格式的支持有限或不支持，因此不建议使用。

编码方式

UTF-8编码

所有数据均应采用UTF-8编码，以确保所有系统之间的最大兼容性。

日期和时间

建议对所有日期和时间字段使用UTC时间，以免造成混淆。

其他一些最佳做法：EDI Scheduling and File Transfer

最佳答案

您可以在此link以及此link处找到一些体系结构设计模式，这些模式描述了合作伙伴到合作伙伴集成以及数据同步的方法。

此Wikipedia页面还提供了体系结构模式的高级概述，并包括用于数据集成的模式：architectural patterns。

Data Integration Blueprint and Modeling这本书也很好。

关于architecture - 批处理/脱机处理设计书/文档，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13291239/

上一篇：eclipse - 在 Eclipse 首选项中看不到 PHP 内容类型？

下一篇：CMake 检查主项目是否被调用

android - 在 Android 中创建大型内容网格

linux - 使用 GNU/Linux 的图像格式计算器和转换器

python 3.5 : Moving files to folder based on filenames

java - 在 shell 脚本中解析 wmic 的输出

c# - 实体架构

Java 后端/服务器设计设置

mysql - 如何在我的 kubernetes 集群之外访问 mysql？

java - Spring Batch - 异常不可跳过

windows - 如何在需要用户名和密码的批处理文件中打开 URL？