ArtificialAnlys· @ArtificialAnlys · X·· 6 小时前AI 评分
Artificial Analysis 测试更多权重格式与运行时
我们也在测试更多权重格式和运行时，包括 IQ4_XS 和 Inco AI 的 Splash 等更小的 4-bit 格式，后者是面向 Apple Silicon 的 Metal 引擎，使用 DFlash 投机解码。一旦通过我们的准确率检查，我们就会加入它们的结果，检查结果很快就会发布。早期测试显示部分系统上的完成时间更快。
We are also testing more weight formats and runtimes, including smaller 4-bit formats such as IQ4_XS and Inco AI's Splash, a Metal engine for Apple Silicon that uses DFlash speculative decoding. We will add their results once they pass our accuracy checks, which we will publish soon. Early tests show faster completion times on some systems
来源：ArtificialAnlys · x.com