machine-learning - 您使用 GPT-3 从多篇文章中提取摘要段落的方法是什么？

Question

在以下场景中，使用 GPT-3 API 的最佳方法是什么？

1. 您需要写一段关于特定主题
的简短段落
2. 您的段落必须基于一组文章，3-6 篇文章，以未知结构编写

以下是我发现效果很好的方法:

1. 主要约束是提示中的开放ai代币限制
2. 由于限制，我会要求 OPT-3 使用提示请求中的特定主题来解析非结构化数据。
3. 然后我将迭代每篇文章并将其全部保存到 1 个字符串变量中
4. 然后，最后一次重复它，但使用新的字符串变量
5. 如果文章太长，我会把它分成小块
6. curse fine-tune，之前带有特定主题的模型会产生更好的结果
7. temperature 应设置为 0，以确保 GPT-3 仅使用来自数据源的事实。

例子: 假设我想写一段关于主题 A、主题 B 和主题 C 的文章。我有 5 篇文章作为引用。 开放的 ai playground 看起来像这样:

Example Article 1
----
Subject A: example A for OPT-3
Subject B: n/a
Subject c: n/a
=========
Example Article 2
----
Subject A: n/a
Subject B: example B for GPT-3
Subject C: n/a
=========
Example Article 3
----
Subject A: n/a
Subject B: n/a
Subject c: example for GPT-3
=========
Article 1
-----
Subject A:
Subject B:
Subject C:
=========
... repeating with all articles, save to str
=========
str
-----
Subject A:
Subject B:
Subject C:

Answer 1

可以使用 Python 库 GPT Index (麻省理工学院许可)总结文档集合。来自documentation :

index = GPTTreeIndex(documents)
response = index.query("<summarization_query>", mode="summarize")

The “default” mode for a tree-based query is traversing from the top of the graph down to leaf nodes. For summarization purposes we will want to use mode="summarize".

 A summarization query could look like one of the following:

• “What is a summary of this collection of text?”
• “Give me a summary of person X’s experience with the company.”