linux - neo4j webser 无法将事务标记为仅回滚

Question

我最近下载了 neo4j 2.1.5。我正在使用 webadmin(即浏览器界面)。现在我必须将一个相当大的数据集下载到其中，大约有 2000 万条记录。我能够毫无问题地喂养 500 万只。

但是，对于更大的(2000 万)数据集，我无法做到这一点。我使用加载 csv 命令，每次提交 1000 个(但我尝试了 5、10、100、10000、100000)。我尝试了许多不同的设置(cache_type = none，weak；使用操作系统缓冲区或使用 neo4j 自己的缓冲区)，但我只能得到“Java 堆空间”或“无法将事务标记为仅回滚”错误。我也尝试了不同的初始设置和要使用的 ram 的最大值。我试图将文件分成 500 万个部分，但是当我尝试提供文件时，我遇到了同样的错误(Java 堆空间)。

但是，我注意到的一件事是，当我运行“free -h”时，缓存部分开始快速增长，在达到 2.5 Gb 后它会抛出错误。即使我告诉 neo4j 不要使用操作系统缓冲区和缓存，我也在机器上使用 linux ubuntu，64 位的 jdk 1.8，8Gb ram。

我能够将 2000 万条记录输入我的另一台机器(OS X Mavericks，64 位 jdk 1.8，机器上的 4b Ram)。所以我想知道 Ubuntu 出了什么问题？有人遇到过这个问题吗？我似乎没有在互联网上找到任何类似的案例。如果您能指出可能的解决方案或提供有用的链接，我将不胜感激。

Answer 1

差点忘了!我能够解决问题。
事实证明，问题出在格式错误的输入文件中，该文件在随机位置包含双引号 (")。一个示例是这样的记录:name、surname、O"something、date。 Neo4j 假定 2 个双引号之间的所有内容都是一个实体，甚至是换行符。因此，neo4j 在遇到第二个 "符号之前会消耗数百万行。因此，在创建节点时，它会尝试将数百万行放入节点的单个字段中。如果它没有足够的堆空间来容纳所有引号之间的行，它将抛出错误:“Java 堆空间”、“无法将事务标记为仅回滚”等。如果它有足够的堆空间，它将为节点创建一个巨大的字段。
< br/> 如果您在 csv 文件的每一列周围加上双引号:“name”、“surname”、“O”something、“date”，您仍然会遇到内存问题。正如您在前面的示例中看到的那样，逗号和新行将不生效，因为它们被引号括起来。
我已经通过文件并使用 sed 命令将所有双引号替换为单引号。