python - 如何检查pyspark数据框中的字符串列是否全部为数字

Question

我有一个 PySpark Dataframe，其中包含一列 strings。如何检查其中的哪些行是数字。我在 PySpark 的 official documentation 中找不到任何函数.

values = [('25q36',),('75647',),('13864',),('8758K',),('07645',)]
df = sqlContext.createDataFrame(values,['ID',])
df.show()
+-----+
|   ID|
+-----+
|25q36|
|75647|
|13864|
|8758K|
|07645|
+-----+

在 Python 中，有一个函数 .isDigit() 如果 string 返回 True 或 False是否只包含数字。

预期的数据帧:

+-----+-------+
|   ID| Value |
+-----+-------+
|25q36| False |
|75647| True  |
|13864| True  |
|8758K| False |
|07645| True  |
+-----+-------+

我想避免创建 UDF。

Answer 1

一个简单的转换就可以完成这项工作:

from pyspark.sql import functions as F

my_df.select(
  "ID",
  F.col("ID").cast("int").isNotNull().alias("Value ")
).show()

+-----+------+
|   ID|Value |
+-----+------+
|25q36| false|
|75647|  true|
|13864|  true|
|8758K| false|
|07645|  true|
+-----+------+