OpenAI 出了个新功能自拍偷拍 探花，径直让 ChatGPT 输出的速率原地升空！
这个功能叫作念"量度输出"（Predicted Outputs），在它的加抓之下，GPT-4o 不错比原先快至多 5 倍。
以编程为例，来感受一下这个 feel：
为啥会这样快？用一句话来转头等于：
跳过已知实质，无须重新运行从腾达成。
因此，"量度输出"就十分合适底下这些任务：
在文档中更新博客著述
迭代先前的反应
重写现存文献中的代码
而且与 OpenAI 联接竖立这个功能的 FactoryAI，也亮出了他们在编程任务上的数据：
从试验遵守来看，"量度输出"加抓下的 GPT-4o 反适时辰比之前快了 2-4 倍，同期保抓高精度。
何况官方还示意：
原先需要 70 秒完成的编程任务，刻下只需要 20 秒。
值得谨慎的是，刻下"量度输出"功能仅复古 GPT-4o 和 GPT-4o mini 两个模子，且所以 API 的体式。
关于竖立者而言，这不错说是个利好音讯了。
网友们在线实测
音讯一出，繁密网友亦然坐不住了，反手等于实测一波。
举例Firecrawl 创举东谈主Eric Ciarla 就用"量度输出"体验了一把将博客著述转为 SEO（搜索引擎优化）的实质，然后他示意：
速率确切超等快。
它就像在 API 调用中添加一个量度参数同样浅陋。
另一位网友则是在已有的代码之上，"喂"了一句 Prompt：
change the details to be random pieces of text.
将精细信息鼎新为立地文本片断。
来感受一下这个速率：
自拍偷拍 探花
也有网友晒出了我方实测的数据：
一言以蔽之，快，是确切快。
怎么作念到的？
关于"量度输出"的时间细节，OpenAI 在官方文档中也有所先容。
OpenAI 以为，在某些情况下，LLM 的大部分输出皆是提前知谈的。
若是你条目模子仅对某些文本或代码进行渺小修改，就不错通过"量度输出"，将现存实质行为量度输入，让延长彰着缩小。
举例，假定你思重构一段 C# 代码，将 Username 属性鼎新为 Email ：
/// /// Represents a user with a first name， last name， and username./// public class User{ /// /// Gets or sets the user's first name. /// public string FirstName { get; set; }
/// /// Gets or sets the user's last name. /// public string LastName { get; set; }
/// /// Gets or sets the user's username. /// public string Username { get; set; }}
你不错合理地假定文献的大部天职容将不会被修改（举例类的文档字符串、一些现存的属性等）。
通过将现存的类文献行为量度文本传入，你不错更快地从腾达成整个文献。
import OpenAI from "openai";
const code = `/// /// Represents a user with a first name， last name， and username./// public class User{ /// /// Gets or sets the user's first name. /// public string FirstName { get; set; }
/// /// Gets or sets the user's last name. /// public string LastName { get; set; }
/// /// Gets or sets the user's username. /// public string Username { get; set; }}`;
const openai = new OpenAI ( ) ;
const completion = await openai.chat.completions.create ( { model: "gpt-4o"， messages: [ { role: "user"， content: "Replace the Username property with an Email property. Respond only with code， and with no markdown formatting." }， { role: "user"， content: code } ] ， prediction: { type: "content"， content: code }} ) ;
// Inspect returned dataconsole.log ( completion ) ;
使用"量度输出"生成 tokens 会大大缩小这些类型申请的延长。
不外关于"量度输出"的使用，OpenAI 官方也给出了几点谨慎事项。
最初等于咱们刚才提到的仅复古 GPT-4o 和 GPT-4o-mini 系列模子。
其次，以下 API 参数在使用量度输出时是不受复古的：
n values greater than 1
logprobs
presence_penalty greater than 0
frequency_penalty greater than 0
audio options
modalities other than text
max_completion_tokens
tools - function calling is not supported
除此以外，在这份文档中，OpenAI 还转头了除"量度输出"以外的几个延长优化的要道。
包括"加快科罚 token "、"生成更少的 token "、"使用更少的输入 token "、"减少申请"、"并行化"等等。
文档聚合放在文末了，感敬爱的小伙伴不错查阅哦 ~
One More Thing
天然输出的速率变快了，但 OpenAI 还有一个谨慎事项激励了网友们的有计划：
When providing a prediction， any tokens provided that are not part of the final completion are charged at completion token rates.
av天堂快播在提供量度时，所提供的任何非最终完成部分的 tokens 皆按完成 tokens 费率收费。
有网友也晒出了他的测试遵守：
未罗致"量度输出"：5.2 秒，0.1555 好意思分
罗致了"量度输出"：3.3 秒，0.2675 好意思分
嗯，快了，也贵了。
OpenAI 官方文档：
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
参考聚合：
[ 1 ] https://x.com/OpenAIDevs/status/1853564730872607229
[ 2 ] https://x.com/romainhuet/status/1853586848641433834
[ 3 ] https://x.com/GregKamradt/status/1853620167655481411自拍偷拍 探花
