我希望将内存中的普通旧 C# 类转换为 neo4j 数据库。 (类类型是节点类型并派生自,节点有一个“linkedTo”列表)
与其编写一长串密码查询来创建节点和属性,然后将它们与关系链接起来,我想知道是否有更聪明的方法可以做。
例如,我可以将它们序列化为 json,然后将其直接导入到 neo4j 中吗? 我知道 C# neo4j 驱动程序中的 .unwind 函数可能会有所帮助,但没有看到其使用的良好示例,因此需要单独匹配和创建关系
有没有最佳方法可以做到这一点?我预计有大约 50k 个节点
最佳答案
好的,首先,我使用 Neo4jClient 来实现此目的,并使用以下方法向数据库添加了 INDEX
:
CREATE INDEX ON :MyClass(Id)
这对于其工作方式很重要,因为它可以更快地插入数据。
我有一个类:
public class MyClass
{
public int Id {get;set;}
public string AValue {get;set;}
public ICollection<int> LinkToIds {get;set;} = new List<int>();
}
它有一个我将关闭的Id
和一个string
属性 - 只是因为。 LinkToIds
属性是此实例链接到的 Id 集合。
为了生成我的 MyClass
实例,我使用此方法随机生成它们:
private static ICollection<MyClass> GenerateMyClass(int number = 50000){
var output = new List<MyClass>();
Random r = new Random((int) DateTime.Now.Ticks);
for (int i = 0; i < number; i++)
{
var mc = new MyClass { Id = i, AValue = $"Value_{i}" };
var numberOfLinks = r.Next(1, 10);
for(int j = 0; j < numberOfLinks; j++){
var link = r.Next(0, number-1);
if(!mc.LinkToIds.Contains(link) && link != mc.Id)
mc.LinkToIds.Add(link);
}
output.Add(mc);
}
return output;
}
然后我使用另一种方法将其分成更小的“批处理”:
private static ICollection<ICollection<MyClass>> GetBatches(ICollection<MyClass> toBatch, int sizeOfBatch)
{
var output = new List<ICollection<MyClass>>();
if(sizeOfBatch > toBatch.Count) sizeOfBatch = toBatch.Count;
var numBatches = toBatch.Count / sizeOfBatch;
for(int i = 0; i < numBatches; i++){
output.Add(toBatch.Skip(i * sizeOfBatch).Take(sizeOfBatch).ToList());
}
return output;
}
然后实际添加到数据库中:
void Main()
{
var gc = new GraphClient(new Uri("http://localhost:7474/db/data"), "neo4j", "neo");
gc.Connect();
var batches = GetBatches(GenerateMyClass(), 5000);
var now = DateTime.Now;
foreach (var batch in batches)
{
DateTime bstart = DateTime.Now;
var query = gc.Cypher
.Unwind(batch, "node")
.Merge($"(n:{nameof(MyClass)} {{Id: node.Id}})")
.Set("n = node")
.With("n, node")
.Unwind("node.LinkToIds", "linkTo")
.Merge($"(n1:{nameof(MyClass)} {{Id: linkTo}})")
.With("n, n1")
.Merge("(n)-[:LINKED_TO]->(n1)");
query.ExecuteWithoutResults();
Console.WriteLine($"Batch took: {(DateTime.Now - bstart).TotalMilliseconds} ms");
}
Console.WriteLine($"Total took: {(DateTime.Now - now).TotalMilliseconds} ms");
}
在我的老机器(现在已经有 5-6 年)上,大约需要 20 秒才能将 50,000 个节点放入大约 500,000 个关系中。
让我们深入探讨上面对 Neo4j 的重要调用。关键在于您正确地建议了 UNWIND
- 这里我 UNWIND
一批,并为该集合中的每个“行”赋予了 node
标识符。然后,我可以访问属性 (node.Id
) 并使用它来MERGE
节点。在第一次展开中 - 我总是 SET
新创建的节点 (n
) 为 node
所以所有属性(在本例中只是 AValue
)已设置。
因此,直到第一个 With
为止,我们已经使用 MyClass
标签创建了一个新节点,并设置了它的所有属性。现在。这确实包括拥有一个 LinkToIds
数组,如果您是一个爱整洁的人,您可能需要将其删除。我会把这个留给你自己。
在第二个 UNWIND
中,我们利用 LinkToIds
属性是一个数组这一事实,并使用它来创建一个稍后将填充的“占位符”节点,然后我们在 n
和 n1
占位符之间创建关系。注意 - 如果我们已经创建了一个与 n1
具有相同 id 的节点,我们将使用该节点,并且当我们在第一个 UNWIND
期间获得相同的 Id 时,我们将使用该节点。 '将设置占位符的所有属性。
这不是最容易解释的,但最好看的是 Neo4j 文档中的 MERGE
和 UNWIND
。
关于时间:2019-03-17 标签:c#classgraphtoNeo4j,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51823470/