apache-spark - PySpark 特征选择和可解释性

Question

PySpark 有没有办法执行特征选择，但保留或获得映射回原始特征索引/描述？

例如:

我有一个原始特征字符串的 StringArray 列(col =
“原始特征”)。

我已经使用它们将它们转换为数字计数CountVectorizer (col =“功能”)。

然后我运行了 ChiSqSelector选择前 1000 个特征 (col = "selectedFeatures)。

如何获得与前 1000 个特征相对应的原始特征字符串(甚至只是步骤 2 中原始“特征”列中这些选定特征的相应索引)？

Answer 1

可以使用 fitted 追溯此信息。 Transformers .与 Pipeline像这个:

from pyspark.ml.feature import *
from pyspark.ml import Pipeline
import numpy as np

data = spark.createDataFrame(
    [(1, ["spark", "foo", "bar"]), (0, ["kafka", "bar", "foo"])],
    ("label", "rawFeatures"))

model = Pipeline(stages = [
    CountVectorizer(inputCol="rawFeatures", outputCol="features"),
    ChiSqSelector(outputCol="selectedFeatures", numTopFeatures=2)
]).fit(data)

您可以提取Transformers :

vectorizer, chisq = model.stages

并比较 selectedFeatures与 vocabulary :

np.array(vectorizer.vocabulary)[chisq.selectedFeatures]

array(['spark', 'kafka'], dtype='<U5')

不幸的是这个组合Transformers不保留标签元数据:

features_meta, selected_features_meta = (f.metadata for f in model
    .transform(data).select("features", "selectedFeatures")
    .schema
    .fields)

features_meta

{}

selected_features_meta

{'ml_attr': {'attrs': {'nominal': [{'idx': 0}, {'idx': 1}]}, 'num_attrs': 2}}