python - Pyspark 创建时间戳列

标签 python datetime pyspark

我正在使用 spark 2.1.0。我无法在我使用以下代码片段的 pyspark 中创建时间戳列。请帮忙

df=df.withColumn('Age',lit(datetime.now()))

我得到了

assertion error:col should be Column

请帮忙

最佳答案

我不确定 2.1.0,至少在 2.2.1 上你可以:

from pyspark.sql import functions as F
df.withColumn('Age', F.current_timestamp())

希望对您有所帮助!

关于python - Pyspark 创建时间戳列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45469438/

相关文章:

python pandas 选择所有 NaN 行并填充上一行

python - 在pyspark中进行分组时,对另一列上满足额外条件的元素进行计数

apache-spark - pyspark - 从 Hive 分区列逻辑获取最新分区

python - Pandas groupby 和 qcut

python - 你是否很难用 Python 保持 80 列?

python - 在 IPython 中,将 `id` 应用于方法总是不同的。有人可以解释这种奇怪的行为吗?

java - 在 Joda-Time DateTime 中添加一天

python - 按日和月(忽略年份)python pandas 对数据进行排序

java - 获取/选择底部 N 个元素会弄乱结果集中时间戳的值(我认为是因为时区)

apache-spark - 在 Spark 中读取 CSV 文件时如何忽略双引号?