keras - 如何使用 GPT 3 进行文本分类？

Question

我想知道我是否可以使用 OpenAI GPT-3 在文本分类问题中进行迁移学习？ 如果是这样，我如何开始使用 Tensorflow、Keras。

Answer 1

(我在以下示例中用 ******** 替换了仇恨语言)

给定的样本如下:

("You look like ****** *** to me *******", true)
("**** you *********", true)
("**** my ****", true)
("hey my name is John can you help me?", false)
("hey my name is John, i think you ****** ***!", true)
("i have a problem with my network driver hpz-3332d", false)

GPT-3 确实可以决定给定的输入是否可恶。 GPT-3 实际上正在实现过滤器，可以非常有效地判断任意评论是否充满仇恨。您只需输入消息并让 GPT3 自动完成最后的 , true|false) 部分，将 token 设置为大约 ~6 并将温度设置为 90%。

bool 型分类也依赖于更复杂的上下文(你可以侮辱某人而不使用粗话)id 可以用 GPT3 完成，也可以用 GPT2 完成。