通过智能提示降低 OpenAI GPT-3 成本的 3 个技巧
减少 GPT-3 提示代币并节省资金
GPT-3 最高和最准确的模型达芬奇每 1000 个代币花费 6 美分。因此，在生产应用程序中大规模运行并不便宜。
所以除了设计提示之外，甚至还需要掌握智能提示的技巧，那就是减少输入提示中的token数量。
在本教程中，我们将根据我构建 supermeme.ai 的经验来了解一些减少给定提示中令牌数量的技术，supermeme.ai 是一个基于 GPT-3 的应用程序，目前正在生产中。请记住，每减少 1000 个代币可以节省 6 美分（0.06 美元），因此在规模上这是巨大的。[0]
1. 提示释义
因此，让我们从 OpenAI 游乐场本身提供的一个示例开始，称为“产品描述中的广告”。[0]
在下图中，输入是黑色文本，输出是由 GPT-3 生成的以绿色突出显示的文本。
为了在生产应用程序中运行它，第一行“为以下产品编写创意广告以在 Facebook 上针对父母：”，始终保持不变，只有产品描述是从用户输入中动态获取的。
在下图中，您可以看到第一行输入来自 GPT-3 令牌估计器的 16 个令牌。[0]
但是我们可以使用像 Quillbot 这样的释义器来缩短提示，然后在 GPT-3 令牌估计器中测试修改后的提示的令牌总数。请注意，仅仅减少字数并不一定意味着减少标记，因为 GPT-3 标记器是根据自己的数据进行训练的，并且与单词没有直接关联。[0]
新的释义提示“为以下针对父母的产品创建一个聪明的 Facebook 广告”，仅需要 13 个令牌，而不是原始提示中的 16 个令牌。那是减少3个令牌！
您可以看到，通过再次在操场上进行测试，释义提示在为 Facebook 生成良好的广告文案方面也很有效。
如果您对从释义提示生成的文本感到满意，您可以继续使用令牌计数更短且在生产中也更便宜的释义提示。
2.NER替换提示
让我们考虑另一个示例，您尝试对给定句子进行情感分析。在下图中，您可以看到输入句子是“Ramsri 喜欢在 Supermeme 的办公室工作”。这里 Ramsri 是一个名字，而 Supermeme 是一家公司。
如果您查看提示所消耗的代币数量，您可以看到“拉姆斯里喜欢在 Supermeme 的办公室工作”总共有 11 个代币。这是因为 Ramsri 不是 GPT-3 标记器的已知单词，因此它将 Ramsri 拆分为“R”+“ams”+“ri”（3 个标记），如下图的颜色编码文本所示。
但有趣的部分来了！你能用一个像“John”这样的记号词代替 Ramsri（3 个记号词）并保存两个记号吗？答案是肯定的！
因此，您可以将“Ramsri”替换为“John”，同样将“Supermeme”替换为“Google”，并将句子的标记标记从 11 减少到 7！
所以本质上你可以做 NER（命名实体识别）来识别命名实体，如名称、组织、地点等，并用相应的一个令牌替代它们。
就句子的情感而言，“约翰很高兴”或“拉姆斯里很高兴”并不重要！对于这种情况，它总是会产生积极的情绪作为正确的情绪。
3.多任务提示
您可以在单个提示中组合多个任务，而不是多次调用 GPT-3 引擎并为每个单独的任务使用令牌。
在这里你可以看到，在一个提示中，我们可以将句子“Elon Musk 再次证明他可以通过他的推文影响数字货币市场”修改为 1. 更短的版本 2. 更长的版本和 3. 正式的版本。
如果单独完成，您将需要对 GPT-3 API 进行 3 次调用，并且您将获得 3 次代币数量的费用，“Elon Musk 再次证明他可以通过他的推文影响数字货币市场”
但是通过一些仔细的提示，我们能够将多个任务批处理到一个提示中！
愉快的 GPT-3 探索，如果您喜欢其中的内容，请随时在 Twitter 上找到我。[0]
如果您想使用转换器学习现代 NLP，请查看我的课程 Question generation using NLP[0]
文章出处登录后可见！
