python - 将 SciPy 优化应用于拟合的 sci-kit 模型

Question

最近我遇到了一个问题，我认为 SciPy 可能是一个很好的解决方案。但是，我一直无法正确应用它。不确定我是否遗漏了某些东西，或者我正在寻找的东西实际上根本不可能。

这是一个虚构的例子，我为了让事情更清晰、更容易可视化而制作。我的情况要复杂得多。

from sklearn.model_selection import train_test_split 
from sklearn.svm import SVR
from scipy.optimize import minimize
import numpy as np
import pandas as pd

time_studied = [12, 10, 4, 7, 6, 11, 6]
hours_slept = [8, 7, 1, 3, 8, 6, 5]
grade = [10, 9, 2, 5, 7, 8, 8.5, 6]

X = np.array([time_studied, hours_slept]).T
y = np.array([grade]).T 
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)    
model = SVR(kernel='poly', C=100, gamma='auto', degree=3, epsilon=.1, coef0=1)
model.fit(X,y)

然后，我尝试对该函数应用优化器，以找到 sleep 和学习之间的最佳平衡。由于测试的回归方法返回一个函数，因此我猜测可以应用 SciPy 最小化。但是，当我尝试应用它时，使用类似的东西

bnds = [(0,12), (0,8)]
x0 = [0,0]
residual_plant = minimize(model, x0, method='SLSQP',bounds=bnds,options = {'eps': np.radians(5.0)})

我收到以下错误

TypeError: 'SVR' object is not callable

因此，显然可以直接从我的模型中调用优化器。因此，我的问题来了，如何访问适合我的数据的函数，并能够找到最佳的 sleep 时间+学习时间x年级(在这种情况下，很明显是预期的结果)

我错过了什么吗？有可能实现我的目标吗？

Answer 1

试试这个:

residual_plant = minimize(lambda x: model.predict(np.array([x])), x0, method='SLSQP',bounds=bnds,options = {'eps': np.radians(5.0)})

SciPy 的 minimize 的第一个参数不只是 model.predict 因为 SciPy 尝试将一维数组传递给其目标函数，但是model.predict 需要一个二维数组。

(顺便说一下，在虚拟模型的训练设置中，y 是 X 的第二列，列表 grades 是从未使用过。我怀疑 y 应该是 np.array([grades]).T。由于这不是您的真实模型，因此这可能并不重要。 )

预测方法的引用文档:https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html?highlight=svr#sklearn.svm.SVR.predict

可以在此处找到 predict 方法的示例用法:https://scikit-learn.org/stable/auto_examples/svm/plot_svm_regression.html#sphx-glr-auto-examples-svm-plot-svm-regression-py