python - 如何为机器学习方法编码我的数据？

Question

我想为机器学习方法编码我输入的字符串字母。让我们假设我的火车数据是这样的:

  score     text
    1   show photos
    1   show my photos
    2   who are you?

目前我在做这样的事情:

for index, row in train_set.iterrows():

    list2 = []

    list2 = list(row.text.lower())

    for n, key in enumerate(list2):

        if key in dictionary:

            list2[n] = dictionary[key]

        else:

            dictionary[key] = i
            list2[n] = i
            i += 1

    train_set.set_value(index,'text', list2)

作为这个示例数据的结果，我得到:

  score                 text
    1    [0, 1, 2, 3, 4, 5, 1, 2, 6, 2, 0]
    1    [0, 1, 2, 3, 4, 7, 8, 4, 5, 1, 2, 6, 2, 0]
    2    [3, 1, 2, 4, 10, 13, 9, 4, 8, 2, 19, 21]

如您所知，例如对于神经网络，使用这些值并不是一种正确的方法，因此在我看来，在这种情况下，单一热编码将是最佳解决方案。我想知道在 test_set 数据框的 text 列以及 train_set< 中的 text 列中转换这些值的最有效方法是什么 数据框，它看起来像 test_set 但显然第一列没有预期值。我认为在这两种情况下，在使用一种热编码后我应该具有相同大小的列，并且相同的索引和行应该对应于 test_set 和 train_set 中的相同字符数据框。我希望你明白我的意思。如果没有，请告诉我。我将尝试以更清楚的方式解释它。我该怎么做？有什么想法吗？

Answer 1

一种解决方案是使用自定义 Prepper 类来编码您的训练集。当训练集被编码时，Prepper 类对象记录(单词，单热索引)对应关系。

然后您将使用相同的 Prepper 对象来编码您的测试集。

Prepper 类的粗略骨架是:

from collections import defaultdict

class Prepper(object):

   def __init__(self):
      self.vocab = defaultdict(lambda : len(self.vocab))

   def encode_train_word(self, train_word):
      return self.vocab[train_word]

   def encode_test_word(self, test_word):
      if test_word in self.vocab:
         return self.vocab[test_words]
      else:
         return -1 # index for unknown token

如果我不得不重新获取您的代码片段，它看起来像:

prepper = Prepper()

for index, row in train_set.iterrows():
   list2 = list(row.text.lower())
   encoded_list_2 = [prepper.encode_train_word(word) for word in list2]

   train_set.set_value(index, 'text', encoded_list_2)

## and for the test set

for index, row in test_set.iterrows():
   list2 = list(row.text.lower())
   encoded_list_2 = [prepper.encode_test_word(word) for word in list2]

   test_set.set_value(index, 'text', encoded_list_2)