java - 图形数据从边输入格式转换为顶点输入格式

标签 java hadoop graph giraph bigdata

我正在尝试Giraph。要在Giraph中运行算法,我需要图形数据采用“顶点输入格式”。在线上几乎所有可用的大数据都是边缘列表格式。我用Java写了一个代码,将这种Edge List格式转换为VertexInputFormat。这适用于具有近800k边的较小图形。但是对于我需要的图形,每次运行程序时,它给我的堆空间超过了错误。我尝试将堆大小增加到最大。错误仍然存​​在。

我正在运行的文件大小约为15GB。

我对Giraph中的算法(PageRank,SingleSourceShortestPath等)的编写方式不甚了解,但我确实知道它们都采用VertexInputFormat中的图形作为输入。

我正在寻找的帮助是:

  • 用于将EdgeInputFormat转换为VertexInputFormat(或)
  • 的优化代码
  • 可以帮助进行此转换(或)
  • 的任何在线工具
    采用EdgeInputFormat作为输入的
  • PageRank算法。
  • 最佳答案

    抱歉,我不明白为什么只想使用Vertex InputFormat,Igraph还提供Edge InputFormat API,为什么不能使用它呢?

    关于java - 图形数据从边输入格式转换为顶点输入格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41429229/

    相关文章:

    scala - 在 Spark 中保存文件

    hadoop - Hadoop中的分布式文件处理?

    java - 具有数百万个节点的有向图,大多数只有几条边,但少数有数十万个

    java - Java中的邻接矩阵

    perl - 使用 GD::Graph 绘制条形图

    java - 如何确定对象的类别?

    java - FilteredItemsSelectionDialog - 刷新内容提供程序

    java - 完成时执行目标

    java - 另一个 RMI 问题

    hadoop - Hive - 删除尾随零