我正在尝试使用 TensorFlow 的 DNNClassifier 来解决我的 4 个不同类的多类(softmax)分类问题。我有一个具有以下分布的不平衡数据集:
如何为 DNNClassifier 的
weight_column
分配权重每个类(class)?我知道如何对此进行编码,但我想知道我应该为每个类提供什么值。
最佳答案
有多种选项可以为不平衡分类问题构建权重。最常见的一种方法是直接使用训练中的类计数来估计样本权重。这个选项很容易通过 sklearn 计算出来. “平衡”模式使用 y 的值自动调整与类频率成反比的权重。
我们在下面的示例中尝试做的是“合并”compute_sample_weight
拟合我们的 DNNClassifier 的方法。作为标签分布,我使用了问题中表达的相同
import numpy as np
import pandas as pd
import tensorflow as tf
from sklearn.utils.class_weight import compute_sample_weight
train_size = 1000
test_size = 200
columns = 30
## create train data
y_train = np.random.choice([0,1,2,3], train_size, p=[0.15, 0.35, 0.28, 0.22])
x_train = pd.DataFrame(np.random.uniform(0,1, (train_size,columns)).astype('float32'))
x_train.columns = [str(i) for i in range(columns)]
## create train weights
weight = compute_sample_weight(class_weight='balanced', y=y_train)
x_train['weight'] = weight.astype('float32')
## create test data
y_test = np.random.choice([0,1,2,3], test_size, p=[0.15, 0.35, 0.28, 0.22])
x_test = pd.DataFrame(np.random.uniform(0,1, (test_size,columns)).astype('float32'))
x_test.columns = [str(i) for i in range(columns)]
## create test weights
x_test['weight'] = np.ones(len(y_test)).astype('float32') ## set them all to 1
## utility functions to pass data to DNNClassifier
def train_input_fn():
dataset = tf.data.Dataset.from_tensor_slices((dict(x_train), y_train))
dataset = dataset.shuffle(1000).repeat().batch(10)
return dataset
def eval_input_fn():
dataset = tf.data.Dataset.from_tensor_slices((dict(x_test), y_test))
return dataset.shuffle(1000).repeat().batch(10)
## define DNNClassifier
classifier = tf.estimator.DNNClassifier(
feature_columns=[tf.feature_column.numeric_column(str(i), shape=[1]) for i in range(columns)],
weight_column = tf.feature_column.numeric_column('weight'),
hidden_units=[10],
n_classes=4,
)
## train DNNClassifier
classifier.train(input_fn=lambda: train_input_fn(), steps=100)
## make evaluation
eval_results = classifier.evaluate(input_fn=eval_input_fn, steps=1)
考虑到我们的权重是作为目标的函数构建的,我们必须在我们的测试数据中将它们设置为 1,因为标签是未知的。
关于tensorflow - 多类分类问题中的不平衡类,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52383967/