我有一个数据框,其中包含欧洲格式的数字,我将其作为字符串导入。逗号作为十进制,反之亦然 -
from pyspark.sql.functions import regexp_replace,col
from pyspark.sql.types import FloatType
df = spark.createDataFrame([('-1.269,75',)], ['revenue'])
df.show()
+---------+
| revenue|
+---------+
|-1.269,75|
+---------+
df.printSchema()
root
|-- revenue: string (nullable = true)
期望的输出: df.show()
+---------+
| revenue|
+---------+
|-1269.75|
+---------+
df.printSchema()
root
|-- revenue: float (nullable = true)
我正在使用函数 regexp_replace
首先用空格替换点 - 然后用空点替换逗号,最后转换为 floatType。
df = df.withColumn('revenue', regexp_replace(col('revenue'), ".", ""))
df = df.withColumn('revenue', regexp_replace(col('revenue'), ",", "."))
df = df.withColumn('revenue', df['revenue'].cast("float"))
但是,当我尝试在下面进行替换时,我得到的是空字符串。为什么??我期待 -1269,75
。
df = df.withColumn('revenue', regexp_replace(col('revenue'), ".", ""))
+-------+
|revenue|
+-------+
| |
+-------+
最佳答案
您需要转义 .
以按字面匹配它,因为 .
是 matches almost any character 的特殊字符在正则表达式中:
df = df.withColumn('revenue', regexp_replace(col('revenue'), "\\.", ""))
关于python - 替换 PySpark 中的字符串,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53088064/