我在我的 Mac OS Sierra 上运行 Spark 2.1.1(这应该有帮助)。我尝试在网上找到的测试数据集上拟合多项式逻辑回归,我在此处报告前几行(我不知道如何在此处附加文件):
1,0,24
1,0,26
1,0,26
1,1,27
1,1,27
3,1,27
第一列是标签(“品牌”,值:1、2、3),第二列和第三列是特征(“性别”和“年龄”)。
由于标签有 3 个类别,因此多项逻辑回归应执行 3 个二项式模型,然后从最大化属于该类别的概率的模型中选择预测。因此,我希望模型返回 3x2 系数矩阵:3,因为类别为 3,返回 2,因为特征为 2。This文档似乎与这个观点是一致的。
但是,意外惊喜......
>>> logit_model.coefficientMatrix
DenseMatrix(4, 2, [-1.2781, -2.8523, 0.0961, 0.5994, 0.6199, 0.9676, 0.5621, 1.2853], 1)
>>> logit_model.interceptVector
DenseVector([-4.5912, 13.0291, 1.2544, -9.6923])
系数矩阵是 4x2,我有 4 个截距,而不是 3 个。更奇怪的是:
>>> logit_model.numClasses
4
出于某种奇怪的原因,模型“感觉”有 4 个类,即使我只有 3 个类(请参阅下面的代码来检查这一点)。
有什么建议吗? 非常感谢。
<小时/>完整代码如下:
from pyspark.sql import functions as f
from pyspark.sql import types as t
from pyspark.ml import classification as cl
from pyspark.ml import feature as feat
customSchema = t.StructType(
[t.StructField('brand', t.IntegerType(), True),
t.StructField('sex', t.IntegerType(), True),
t.StructField('age', t.IntegerType(), True)]
)
test_df01 = (
spark
.read
.format('csv')
.options(delimiter=',', header=False)
.load('/Users/vanni/Downloads/mlogit_test.csv', schema=customSchema)
)
va = (
feat.VectorAssembler()
.setInputCols(['sex', 'age'])
.setOutputCol('features')
)
test_df03 = (
va
.transform(test_df01)
.drop('sex')
.drop('age')
.withColumnRenamed('brand', 'label')
)
logit_abst = (
cl.LogisticRegression()
.setFamily('multinomial')
.setStandardization(False)
.setThresholds([.5, .5, .5]) # to be adjusted after I know the actual values
.setThreshold(None)
.setMaxIter(100) # default
.setRegParam(0.0) # default
.setElasticNetParam(0.0) # default
.setTol(1e-6) # default
)
logit_model = logit_abst.fit(test_df03)
这里检查类是否只有 3:
>>> test_df03.select('label').distinct().orderBy('label').show()
+-----+
|label|
+-----+
| 1|
| 2|
| 3|
+-----+
最佳答案
这里没有什么奇怪的事情发生。 Spark 假定标签是连续的整数值,表示为 DoubleType
,并从 0 开始。
由于您获得的最大标签是 3,Spark 假定标签实际上是 0、1、2、3 - 即使数据集中从未出现过 0。
如果不希望出现此行为,您应该将标签重新编码为从零开始,或在原始标签上应用 StringIndexer
。
关于apache-spark - Spark 多项式 Logistic 回归的意外系数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44914182/