python - 使用 GPy Multiple-output coregionalized 预测

Question

我最近一直面临一个问题，我认为多输出 GP 可能是一个不错的候选者。我目前正在对我的数据应用单输出 GP，随着维度的增加，我的结果越来越差。我已经尝试过使用 SKlearn 进行多输出，并且能够在更高维度上获得更好的结果，但是我相信 GPy 对于此类任务更完整，我会对模型有更多控制。对于单输出 GP，我将内核设置如下:

kernel = GPy.kern.RBF(input_dim=4, variance=1.0, lengthscale=1.0, ARD = True)
m = GPy.models.GPRegression(X, Y_single_output, kernel = kernel, normalizer = True) 
m.optimize_restarts(num_restarts=10)  

在上面的示例中，X 的大小为 (20,4) 和 Y(20,1)。

我从 Introduction to Multiple Output Gaussian Processes 获得的用于多输出的实现
我根据示例准备数据，将 X_mult_output 设置为大小 (80,2) - 第二列是输入索引 - 并将 Y 重新排列为 (80,1)。

kernel = GPy.kern.RBF(1,lengthscale=1, ARD = True)**GPy.kern.Coregionalize(input_dim=1,output_dim=4, rank=1)
m = GPy.models.GPRegression(X_mult_output,Y_mult_output, kernel = kernel, normalizer = True)

好的，到目前为止一切似乎都有效，现在我想预测这些值。问题是，我似乎无法预测这些值。据我所知，您可以通过在 Y_metadata 参数上指定输入索引来预测单个输出。
由于我有 4 个输入，因此我设置了一个要预测的数组，如下所示:

x_pred = np.array([3,2,2,4])

然后，我想我必须分别对 x_pred 数组中的每个值进行预测，如 Coregionalized Regression Model (vector-valued regression) 所示:

Y_metadata1 = {'output_index': np.array([[0]])}

y1_pred = m.predict(np.array(x[0]).reshape(1,-1),Y_metadata=Y_metadata1)

问题是我不断收到以下错误:

IndexError: index 1 is out of bounds for axis 1 with size 1

关于如何克服该问题的任何建议，或者我的实现是否有任何错误？

追溯:

Traceback (most recent call last):

  File "<ipython-input-9-edb25bc29817>", line 36, in <module>
    y1_pred = m.predict(np.array(x[0]).reshape(1,-1),Y_metadata=Y_metadata1)

  File "c:\users\johndoe\desktop\modules\sheffieldml-gpy-v1.9.9-0-g92f2e87\sheffieldml-gpy-92f2e87\GPy\core\gp.py", line 335, in predict
    mean, var = self._raw_predict(Xnew, full_cov=full_cov, kern=kern)

  File "c:\users\johndoe\desktop\modules\sheffieldml-gpy-v1.9.9-0-g92f2e87\sheffieldml-gpy-92f2e87\GPy\core\gp.py", line 292, in _raw_predict
    mu, var = self.posterior._raw_predict(kern=self.kern if kern is None else kern, Xnew=Xnew, pred_var=self._predictive_variable, full_cov=full_cov)

  File "c:\users\johndoe\desktop\modules\sheffieldml-gpy-v1.9.9-0-g92f2e87\sheffieldml-gpy-92f2e87\GPy\inference\latent_function_inference\posterior.py", line 276, in _raw_predict
    Kx = kern.K(pred_var, Xnew)

  File "c:\users\johndoe\desktop\modules\sheffieldml-gpy-v1.9.9-0-g92f2e87\sheffieldml-gpy-92f2e87\GPy\kern\src\kernel_slice_operations.py", line 109, in wrap
    with _Slice_wrap(self, X, X2) as s:

  File "c:\users\johndoe\desktop\modules\sheffieldml-gpy-v1.9.9-0-g92f2e87\sheffieldml-gpy-92f2e87\GPy\kern\src\kernel_slice_operations.py", line 65, in __init__
    self.X2 = self.k._slice_X(X2) if X2 is not None else X2

  File "<decorator-gen-140>", line 2, in _slice_X

  File "C:\Users\johndoe\AppData\Roaming\Python\Python37\site-packages\paramz\caching.py", line 283, in g
    return cacher(*args, **kw)

  File "C:\Users\johndoe\AppData\Roaming\Python\Python37\site-packages\paramz\caching.py", line 172, in __call__
    return self.operation(*args, **kw)

  File "c:\users\johndoe\desktop\modules\sheffieldml-gpy-v1.9.9-0-g92f2e87\sheffieldml-gpy-92f2e87\GPy\kern\src\kern.py", line 117, in _slice_X
    return X[:, self._all_dims_active]

IndexError: index 1 is out of bounds for axis 1 with size 1

Answer 1

问题

您已经用维度 (-1, 4) 的 X 和维度 (-1, 1) 的 Y 定义了内核，但是您给它的是维度 (1, 1) 的 X_pred(x_pred 的第一个元素重新整形为 (1, 1) ))

解决方案

将 x_pred 提供给模型进行预测(维度为 (-1, 4) 的输入)

Y_metadata1 = {'output_index': np.array([[0]])}
y1_pred = m.predict(np.array(x_pred).reshape(1,-1), Y_metadata=Y_metadata1)

DIY

在一起执行代码之前，尝试单独运行它们并轻松调试它们，然后您可以使代码小而干净。
下面的例子是你的问题的调试代码

Y_metadata1 = {'output_index': np.array([[0]])}
a = np.array(x_pred[0]).reshape(1,-1)
print(a.shape)
y1_pred = m.predict(a,Y_metadata=Y_metadata1)

输出是 (1,1) 和错误，这使得很明显错误来自输入维度。

阅读错误也有帮助，你的错误说，在 kern.K(pred_var, Xnew) 中存在问题，所以错误可能来自内核，
然后它说它来自 X[:, self._all_dims_active] 所以错误可能来自 X 维度。然后通过对 x 维度的一些实验，你就会明白这个想法。

希望7天后这会有所帮助!