跳到正文
原文
testingcatalog· @testingcatalog · X·· 2 小时前AI 评分38

EdgeRock-4B 跑分

AI 导读

EdgeRock-4B 也能在笔记本电脑上本地运行。在一台 MacBook Pro(M5 Pro,28GB RAM)上,使用 Rock Matrix 的 PyTorch runtime 并通过 Mac 的 GPU 运行,它逐步解出了 17 × 23,4.6 秒后开始回答,生成速度约为每秒 9 个 token。

正文 · AI 翻译

EdgeRock-4B 也能在笔记本电脑上本地运行。在一台 MacBook Pro(M5 Pro,28GB 内存)上,使用 Rock Matrix 的 PyTorch 运行时并调用 Mac 的 GPU,它逐步解出了 17 × 23,4.6 秒后开始作答,生成速度约为每秒 9 个 token。

来源:testingcatalog · x.com