csv - 构建大型线性程序

Question

我想构建一个 LP，其参数由 5 到 10 个、25,000,000 到 50,000,000 行 .csv 文件(每个文件大约 500mb 到 1Gb)给出。

我的模型当前使用 AMPL 进行编码，并直接从 .csv 文件读取参数值。我使用的具有 1 Gb RAM 的 Windows XP 在尝试仅基于一个 500mb .csv 的数据构建模型时内存不足

我的问题: 有没有办法管理我的数据，以便我可以使用更少的内存构建 LP？

我感谢任何具有构建大型 LP 经验的人提供的所有反馈。

Answer 1

如果您的计算机上只有 1 GB RAM，那么您很难加载并解决如此大的问题，其中 .csv 文件本身就有 500 MB 或更多.

如果无法添加更多 RAM 内存，则需要分析 LP 问题，看看是否可以将其分成更小的独立部分。例如，如果您遇到一个包含 10,000 个变量和 10,000,000 行的问题，也许可以将主要问题分解为 100 个独立的子问题，每个子问题包含 100 个变量和 100,000 行？

Here是一个虽然过时的书籍章节的链接，该章节讨论将大型 LP 问题分离为可管理的子问题。