java - 在 Java 中处理大型字符串列表

Question

我有一项任务，我必须遍历数十亿行字符串并检查每行是否都是唯一的。 PC 的 RAM 内存中无法容纳所有行本身。此外，行数可能大于 Integer.MAX_VALUE。

我假设处理这种数据量的最佳方法是将每个字符串的哈希码放入某种哈希表中。

所以，这是我的问题:

1. 我应该用什么代替 String.hashCode()？ (返回值为 int，但我可能需要 long)
2. 处理这种规模的列表的最快方法/框架是什么？我最需要的是能够快速检查列表是否包含元素

Answer 1

你想多了，这一切都可以用一个 MySQL 表非常简单地完成，该表将数据保存到磁盘而不是将所有内容都保存在内存中。独立应用程序从来没有打算有效处理那么多数据。

CREATE TABLE TONS_OF_STRINGS
(
  unique_string varchar(255) NOT NULL,
  UNIQUE (unique_string)
)

只需循环遍历值(假设此处为逗号分隔列表)并尝试插入每个标记。每个失败的 token 都是重复的。

public static void main(args) {
  Connection con = DriverManager.getConnection("jdbc:mysql://localhost/database","username","password");
  FileReader file = new FileReader("SomeGiantFile.csv");
  Scanner scan = new Scanner(file);
  scan.useDelimiter(",");
  String token;
  while ( scan.hasNext() ) {
    token = scan.next();
    try {
      PreparedStatement ps = con.prepareStatement("Insert into TONS_OF_STRING (UNIQUE_STRING) values (?)");
      ps.setString(1, token);
      ps.executeUpdate();
    } catch (SQLException e) {
      System.out.println("Found duplicate: " + token );
    }
  }
  con.close();
  System.out.println("Well that was easy, I'm all done!");
  return 0;
}

完成后不要忘记清除表格，那是很多数据。