我知道如何将 CSV 文件导入到 neo4j 图形数据库中,但我发现它们都是固定数量的列,如下所示:
id1,id2,id3,id4,id5
id2,id2,id3,id4,id5
id3,id2,id3,id4,id5
但是我有一个可变列的 CSV 文件,描述了人与人之间的关系。它看起来像这样:
id1,id2,id3,id4,id5
id2,id2,id3,id4,id5, id6, id7
id3,id2,id3
这意味着 id1 人跟随 id2、id3、id4、id5,id2 人跟随 id2、id3、id4、id5、id6、id7。
而且这个文件很大(大约6Gb),我应该如何将它导入neo4j?
最佳答案
这里有一些关于如何使用 Cypher LOAD CSV
子句导入的提示。要处理真正的大数据导入任务,您可能需要查看 neo4j-import而是工具。
处理不同数量的列不是问题,因为您可以将每个 CSV 文件行视为项目的集合。
您应该通过 CSV 文件分两次导入数据。在第一遍中,创建所有 Person
节点。在第二遍中,匹配适当的节点,然后在它们之间创建关系。为了大大加快第二遍,您应该首先创建一个 index或 uniqueness constraint (这将为您创建一个索引)用于通过 ID 匹配 Person
节点。
我假设:
- 在您的 CSV 文件中,每个
Person
都有一行,每行的第一列都有该人的唯一 ID。 - 如果
Person
不关注任何人,则该行将只有一列。 您的 neo4j 模型看起来像这样:
(p1:Person {id: 123})-[:FOLLOWS]->(p2:Person {id: 234})
首先,创建唯一性约束:
CREATE CONSTRAINT ON (p:Person) ASSERT p.id IS UNIQUE;
然后,使用 CSV 文件第一列中的 ID 创建 Person
节点。我们使用 MERGE
来确保 LOAD
在第 1 列中碰巧有任何重复 ID 时不会中止(由于唯一性约束)。如果您确定有没有重复的 ID,您可以改用 CREATE
,这应该会更快。为避免内存不足,我们一次处理并提交 10000 行:
USING PERIODIC COMMIT 10000
LOAD CSV FROM "file:///varying.csv" AS row
MERGE (:Person {id: row[0]});
最后,创建适当的 Person
节点之间的关系。此查询使用 USING INDEX
提示来鼓励 Cypher 利用索引(由唯一性约束自动创建)快速找到合适的 Person
节点。同样,为了避免内存不足,我们一次处理 10000 行:
USING PERIODIC COMMIT 10000
LOAD CSV FROM "file:///varying.csv" AS row
WITH row[0] AS pid1, row[1..] AS followed
UNWIND followed AS pid2
MATCH (p1:Person {id: pid1}), (p2:Person {id: pid2})
USING INDEX p1:Person(id)
USING INDEX p2:Person(id)
MERGE (p1)-[:FOLLOWS]->(p2);
关于database - 如何将社交网络关系 csv(列表字典)文件导入 neo4j 图形数据库?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39841928/