python - 分类拟合得到ValueError : setting an array element with a sequence

Question

我想预测用户是否点击链接。我使用逻辑回归。我有很多数据可以开始。但在 23 个例子中我没有得到这个异常。如果我尝试 3mio 数据，我会收到此异常

以下是我的代码，改编自 scikit-learn 网站上的示例:

data = [line.strip() for line in open('dataforSVM.txt')]
pod=[];
listData=[];
y=[];
for i in range(0,len(data)):
    splitData=data[i].split(',' );
    tempPod=[];
    for j in range(0,len(splitData)-1):
        if isFloat(splitData[j]):
            tempPod.append(float(splitData[j]));
    y.append(float(splitData[j]));
    pod.append(tempPod)

X=pod;
Y=y;
h = .02  # step size in the mesh

logreg = linear_model.LogisticRegression(C=1.0, class_weight='auto', dual=False, fit_intercept=True,
          intercept_scaling=1, penalty='l2', random_state=None, tol=0.0001)

Z=logreg.predict(X)
print Z

acc = accuracy_score(Y, Z)
print acc

我收到错误:

Traceback (most recent call last):
  File "D:/Users/jures/Desktop/logisticRegression.py", line 45, in <module>
    logreg.fit(X, Y)
  File "C:\Python27\lib\site-packages\sklearn\svm\base.py", line 668, in fit
    X = atleast2d_or_csr(X, dtype=np.float64, order="C")
  File "C:\Python27\lib\site-packages\sklearn\utils\validation.py", line 134, in atleast2d_or_csr
    "tocsr", force_all_finite)
  File "C:\Python27\lib\site-packages\sklearn\utils\validation.py", line 111, in _atleast2d_or_sparse
    force_all_finite=force_all_finite)
  File "C:\Python27\lib\site-packages\sklearn\utils\validation.py", line 91, in array2d
    X_2d = np.asarray(np.atleast_2d(X), dtype=dtype, order=order)
  File "C:\Python27\lib\site-packages\numpy\core\numeric.py", line 320, in asarray
    return array(a, dtype, copy=False, order=order)
ValueError: setting an array element with a sequence.

Answer 1

可以通过在数据文件中使用以下内容来重现您的问题:

1,1,0
A,3,1
5,5,0

由于 if isFloat(splitData[j])，您忽略了 X 数据的某些值。因此，您最终会得到一个 2D 数组 pod，其中一些行的条目少于其他行，从而导致错误。您应该清理数据，然后删除 if。

此外，你的y对我来说似乎是错误的。通过使用y.append(float(splitData[j]));，您将使用for循环的最后一个值作为j。但是，您不会在该行的最后一个元素处停止该 for 循环，而是在倒数第二个元素处停止该 for 循环。因此，每个数据行中的最后一个元素(通常是标签)将被丢弃。您可能需要 j+1 。