我有一个如下所示的数据集:
epoch_seconds
eq_time
1636663343887
2021-11-12 02:12:23
现在,我正在尝试转换 eq_time
至 epoch
秒应该与第一列的值匹配,但我无法这样做。下面是我的代码:
df = spark.sql("select '1636663343887' as epoch_seconds")
df1 = df.withColumn("eq_time", from_unixtime(col("epoch_seconds") / 1000))
df2 = df1.withColumn("epoch_sec", unix_timestamp(df1.eq_time))
df2.show(truncate=False)
我得到如下输出:epoch_seconds
eq_time
epoch_sec
1636663343887
2021-11-12 02:12:23
1636663343
我试过 this link as well但没有帮助。我的
expected
输出是第一列和第三列应该相互匹配。附注 : 我正在使用
Spark 3.1.1
本地版本,而它是 Spark 2.4.3
在生产中,我的最终目标是在生产中运行它。
最佳答案
使用 to_timestamp
而不是 from_unixtime
在将纪元转换为 Spark 时间戳类型时保留毫秒部分。
然后,要以毫秒为单位返回时间戳,您可以使用 unix_timestamp
函数或通过强制转换为 long 类型,并将结果与您使用 date_format
using pattern S
获得的时间戳的秒数部分连接起来。 :
import pyspark.sql.functions as F
df = spark.sql("select '1636663343887' as epoch_ms")
df2 = df.withColumn(
"eq_time",
F.to_timestamp(F.col("epoch_ms") / 1000)
).withColumn(
"epoch_milli",
F.concat(F.unix_timestamp("eq_time"), F.date_format("eq_time", "S"))
)
df2.show(truncate=False)
#+-------------+-----------------------+-------------+
#|epoch_ms |eq_time |epoch_milli |
#+-------------+-----------------------+-------------+
#|1636663343887|2021-11-11 21:42:23.887|1636663343887|
#+-------------+-----------------------+-------------+
关于python - 在pyspark中将时间戳转换为纪元毫秒,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69957212/