python-3.x - ML 模型无法正确预测

Question

我正在尝试使用 SMR、Logistic 回归等各种技术创建 ML 模型(回归)。使用所有技术，我无法获得超过 35% 的效率。这就是我正在做的事情:

X_data = [X_data_distance]
X_data = np.vstack(X_data).astype(np.float64)
X_data = X_data.T
y_data = X_data_orders
#print(X_data.shape)
#print(y_data.shape)
#(10000, 1)
#(10000,)
X_train, X_test, y_train, y_test = train_test_split(X_data, y_data, test_size=0.33, random_state=42)
svr_rbf = SVC(kernel= 'rbf', C= 1.0)
svr_rbf.fit(X_train, y_train)
plt.plot(X_data_distance, svr_rbf.predict(X_data), color= 'red', label= 'RBF model')

对于情节，我得到以下信息:

我尝试了各种参数调整，改变参数C，gamma甚至尝试了不同的内核，但没有改变精度。甚至尝试了SVR、逻辑回归而不是SVC，但没有任何帮助。我尝试了不同的缩放来训练输入数据，例如 StandardScalar() 和 scale()。

我用了this作为引用

我应该做什么？

Answer 1

根据经验，我们通常遵循以下约定:

1. 对于少量特征，请使用逻辑回归。
2. 如果需要大量功能但数据不多，请使用 SVM。
3. 要获得大量功能和大量数据，请使用神经网络。

因为您的数据集有 10K 个案例，所以最好使用 Logistic 回归，因为 SVM 将永远无法完成!

<小时/>

尽管如此，由于您的数据集包含大量类，因此您的实现中可能会出现类不平衡的情况。因此我尝试通过使用 StratifiedKFold 来解决这个问题而不是 train_test_split ，它不能保证拆分中的平衡类。

而且，我用了GridSearchCV与 StratifiedKFold执行交叉验证以调整参数并尝试所有不同的优化器!

所以完整的实现如下:

import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV, StratifiedKFold, StratifiedShuffleSplit
import numpy as np


def getDataset(path, x_attr, y_attr):
    """
    Extract dataset from CSV file
    :param path: location of csv file
    :param x_attr: list of Features Names
    :param y_attr: Y header name in CSV file
    :return: tuple, (X, Y)
    """
    df = pd.read_csv(path)
    X = X = np.array(df[x_attr]).reshape(len(df), len(x_attr))
    Y = np.array(df[y_attr])
    return X, Y

def stratifiedSplit(X, Y):
    sss = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=0)
    train_index, test_index = next(sss.split(X, Y))
    X_train, X_test = X[train_index], X[test_index]
    Y_train, Y_test = Y[train_index], Y[test_index]
    return X_train, X_test, Y_train, Y_test


def run(X_data, Y_data):
    X_train, X_test, Y_train, Y_test = stratifiedSplit(X_data, Y_data)
    param_grid = {'C': [0.01, 0.1, 1, 10, 100, 1000], 'penalty': ['l1', 'l2'],
                  'solver':['newton-cg', 'lbfgs', 'liblinear', 'sag', 'saga']}
    model = LogisticRegression(random_state=0)
    clf = GridSearchCV(model, param_grid, cv=StratifiedKFold(n_splits=10))
    clf.fit(X_train, Y_train)
    print(accuracy_score(Y_train, clf.best_estimator_.predict(X_train)))
    print(accuracy_score(Y_test, clf.best_estimator_.predict(X_test)))


X_data, Y_data = getDataset("data - Sheet1.csv", ['distance'], 'orders')

run(X_data, Y_data)

<小时/>

尽管尝试了各种不同的算法，准确度没有超过36%!!。

<小时/>

这是为什么？

如果你想让一个人通过 T 恤颜色来识别/分类另一个人，你不能说:嘿，如果是红色，则表示他是约翰，如果是红色，则表示他是彼得，但如果是红色，则表示艾斯林!他会说“真的，这有什么区别”？!!。

这正是您的数据集中的内容!

简单地，运行 print(len(np.unique(X_data))) 和 print(len(np.unique(Y_data))) 你会发现这些数字是如此奇怪，简而言之，你有:

Number of Cases: 10000 !!
Number of Classes: 118 !!
Number of Unique Inputs (i.e. Features): 66 !!

所有类(class)都共享大量信息，准确率高达 36%，令人印象深刻!

换句话说，你没有信息丰富的特征，这导致每个类模型缺乏独特性!

<小时/>

该怎么办？ 我相信您不允许删除某些类，因此您仅有的两个解决方案是:

1. 要么接受这个非常有效的结果。

2. 或添加更多信息功能。

<小时/>

更新

如果您提供了相同的数据集，但具有更多的特征(即完整的特征集)，那么现在的情况就不同了。

我建议您执行以下操作:

1. 预处理数据集(即通过输入缺失值或删除包含缺失值的行以及将日期转换为某些唯一值 ( example ) ...等来准备数据集) .

2. 检查哪些功能对Orders类最重要，您可以通过使用Forests of Trees来评估功能的重要性来实现这一点。 Here是一个完整而简单的示例，说明了如何在 Scikit-Learn 中执行此操作。

3. 创建数据集的新版本，但这次将 Orders 作为 Y 响应，并将上面找到的特征作为 X 变量。

4. 遵循我在上面的实现中向您展示的相同的 GrdiSearchCV 和 StratifiedKFold 过程。

<小时/>

提示

正如 Vivek Kumar 在下面的评论中提到的，stratify 参数已在 train_test_split 的 Scikit-learn 更新中添加。功能。

它的工作原理是传递类似数组的基本事实，因此您不需要在上面的函数 stratifiedSplit(X, Y) 中使用我的解决方法。