rohanpaul_ai· @rohanpaul_ai · X·· 3 小时前AI 评分
ScaleDown 发布 3 个小模型：分类、抽取、摘要比前沿 LLM API 便宜 467 倍
ScaleDown 发布 3 个小模型（Classify、Extract、Summarize），用于处理 Agent 通常交给昂贵 LLM 的简单重复任务，宣称比前沿 LLM API 快 200 倍、便宜 467 倍，输入价格为 $0.05 per million input tokens，输出免费。
从一份300页的PDF里提取截止日期，本不该需要一个会写作的模型。
决策模型现在拥有100万token的上下文窗口，并且支持图像输入。
ScaleDown发布了3个小模型（Classify、Extract、Summarize），用于处理智能体通常会交给昂贵大模型的简单重复性任务。
比前沿大模型API快200倍、便宜467倍。每百万输入token仅需0.05美元，输出免费。
更大的变化在于，同一套设计现在同时覆盖分类、抽取和摘要。
与普通大模型的区别在于，这些模型不会逐token生成答案。它们一次性读取最多100万token的文本和图像，直接从输入中选出答案，因此输出免费，结果始终限定在你的标签或源文本范围内。
ScaleDown的受限解码模型对你的输入只进行一次预填充（prefill）处理，并从中选出答案：一个标签、一个带源偏移量的文本片段，或属于摘要的段落。
来源：rohanpaul_ai · x.com