arrays - 您可以将 Matlab 数组和结构的复合数据存储和查询到数据库中吗？

Question

如何将位于“struct within struct within struct”中的 Matlab 数组存储到数据库中，以便我随后可以检索字段和数组？

下面详细说明了我为什么需要这个:

我有大量数据保存为 .mat 文件....麻烦的是我需要加载一个完整的 .mat 文件才能开始在那里处理和绘制数据。如果该文件很大，将它加载到内存中就成了一项相当大的任务。

这些 .mat 文件是分析晶体管原始电气测量数据的结果。所有 .mat 文件都具有相同的结构，但每个文件对应一个不同且唯一的晶体管。

现在假设我想比较 A 和 B 中共有的所有晶体管中的某个参数，我必须手动搜索并加载我需要的所有 .mat 文件，然后尝试进行比较。没有简单的方法可以将所有这些 .mat 文件合并到一个 .mat 文件中(因为它们都具有相同的变量名称但具有不同的数据)。即使这是可能的，我也不知道如何从 .mat 文件中查询特定条目。

如果没有可以从中查询特定条目的结构化数据库，我看不出有什么方法可以轻松地做到这一点。然后我可以使用任何编程语言(继续使用 Matlab 或切换到 python)来方便地进行比较和绘图等。没有分散的 .mat 文件的麻烦。

问题在于 .mat 文件中的数据以结构和大型数组的形式构建。据我所知，将其存储在一个简单的 SQL 数据库中并不是一项简单的任务。我使用 HDF5 进行了查找，但来自 examples我看到，我必须执行很多低级命令才能将这些结构存储在 HDF 文件中，我不确定我是否可以将 HDF 文件的一部分加载到 Matlab/python 中，或者我是否还必须加载整个文件首先在内存中。

这里的目标是将所有现有的(和将要创建的).mat 文件(及其结构和数组的复合数据结构)合并到一个数据库文件中，我可以从中查询特定条目。是否有数据库解决方案可以保留我的复杂数据的结构？ HDF 是正确的选择吗？还是我缺少一个简单的解决方案？

编辑:

我需要保存和检索的数据示例:

All(16).rf.SS(3,2).data

其中 All 是一个包含 7 个字段的结构数组。 rf 字段中的每个结构都是一个包含数组、整数、字符串和结构的结构。其中一个结构名为 SS，它又是一个结构数组，每个结构包含一个名为 data 的 2x2 数组。

Answer 1

将 .mat 文件合并为一个数据结构

一般来说，没有简单的方法可以将....mat 文件合并到单个 .mat 文件中(因为它们都具有相同的变量名称但具有不同的数据)，这是不正确的。

假设您有两个文件，data1.mat 和 data2.mat，每个文件包含两个变量，a 和 b。你可以这样做:

>> s = load('data1')
s = 
  struct with fields:

    a: 'foo'
    b: 3

>> s(2) = load('data2')
s = 
  1×2 struct array with fields:
    a
    b

现在你有一个 struct array (见下面的注释)。您可以像这样访问其中的数据:

>> s(1).a
ans =
    'foo'

>> s(2).a
ans =
    'bar'

但您也可以一次获取每个字段的所有值，如 comma-separated list ，您可以将其分配给元胞数组或矩阵:

>> s.a
ans =
    'foo'
ans =
    'bar'

>> allAs = {s.a}
allAs =
  1×2 cell array
    {'foo'}    {'bar'}

>> allBs = [s.b]
allBs =
     3     4

注意: 烦人的是，您似乎必须先创建具有正确字段的结构，然后才能使用索引对其进行分配。也就是说

s = struct;
s(1) = load('data1')

不会工作，但是

s = struct('a', [], 'b', [])
s(1) = load('data1')

没问题。

为 .mat 文件建立索引

如果您不需要能够搜索每个 .mat 文件中的所有数据，只需搜索某些字段，您可以在 MATLAB 中构建一个索引，其中仅包含每个 .mat 文件中的相关元数据以及一个引用 (例如文件名)到文件本身。作为长期解决方案，这不太可靠，因为您必须确保索引与文件保持同步，但设置工作量应该较少。

将数据结构扁平化为与数据库兼容的表

如果您真的想将所有内容都保存在数据库中，那么您可以将您的数据结构转换为表格形式，其中任何多维元素(例如结构或数组)都被“展平”到一个表行中，每个标量值(适当命名的)表变量。

例如，如果您有一个结构 s，其中包含字段 s.a 和 s.b，并且 s.b 是一个 2 x 2 矩阵，您可以调用变量 s_a、s_b_1_1、s_b_1_2、s_b_2_1 和 s_b_2_2 - 可能不是理想的数据库设计，但你明白了。

您应该能够修改 this answer 中的代码和/或 MATLAB 文件交换提交 flattenstruct2cell和 flatten-nested-cell-arrays以满足您的需求。