GPT-3.5 Turbo 现在可支持微调以提高质量和性能

OpenAI 已向开发者提供了 GPT-3.5 Turbo（https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates），GPT-3.5 Turbo 优点是允许开发者自定义模型以提高特定用例的性能。

据 OpenAI 称，在某些任务上，微调 GPT-3.5 Turbo 甚至可以超越基础 GPT-4。

OpenAI 目前提供 GPT 定制，以提高许多用例的模型性能，包括使模型以与开发人员目标更加一致的方式遵循指令，例如始终使用与提示语所用的语言相同；在代码完成或编写 API 调用等情况下提供更一致的响应；并细化模型输出微调，例如使其更适合所需的品牌声音。

微调 GPT-3.5 Turbo 的另一个优点是减少提示语（prompt）大小，同时不影响性能：早期测试人员通过对模型本身的指令进行微调，将提示语大小减少了高达 90%，从而加快了每个 API 调用的速度并有效降低了成本。

微调是一种通用技术，除了带来更好的结果和节省令牌（或称代币，Token）之外，还允许训练更多可以适应提示，并减少请求延迟的示例。例如，如果要微调模型，则无需在提示中提供尽可能多的示例即可获得相同水平的性能。

微调模型包含着一些步骤，包括准备数据集来训练模型、创建微调模型以及使用它进行推理。准备数据集是该过程的关键步骤，其中包括一些子步骤，例如制作提示语、提供足够数量的精心制作的演示以检查模型是否显示出改进的迹象、基于新的演示，最后进行测试。

OpenAI 解释说，微调不应该是尝试提高模型性能的第一步，因为它需要仔细投入时间和精力。而提示语工程、提示语链接和函数调用是首先要探索的技术，甚至在考虑微调模型以及其他技术最佳实践之前。

OpenAI 还宣布将在今年晚些时候支持 GPT-4 的微调。