sql-生成64位的随机整数

Question

我需要使用 Spark SQL 生成 64 位随机整数，以作为现有表的代理键插入

我尝试了FLOOR(RAND()*( POW(2,64) -1)我得到的数字看起来像 1.2345 或 9.678E 如何正确生成数字？

Answer 1

floor 返回 double 而不是 bigint/long。您应该转换为 long/LongType 来获取整数。例如，如果您只想要正值，那么类似这样的事情应该可以解决问题:

import org.apache.spark.sql.functions.rand

val df = sc.parallelize(Seq(
  (1L, "foo"), (2L, "bar"), (3L, "baz"))).toDF("x", "y")

df.select(((rand * Long.MaxValue)).cast("long").alias("rnd")).show

// +-------------------+
// |                rnd|
// +-------------------+
// |2231557941154186240|
// | 494304530857112576|
// |7931286845854403584|
// +-------------------+

如果您只想生成代理键，最好使用monotonicallyIncreasingId

import org.apache.spark.sql.functions.monotonicallyIncreasingId

df.select(monotonicallyIncreasingId)