OpenBMB· @OpenBMB · X·· 4 小时前AI 评分
MiniCPM-V 4.7 达370 tokens/sec
MiniCPM-V 4.7 达到 370 tokens/sec？！🔥 很欣喜看到社区用投机解码突破可能的极限。 特别感谢 @Tech2Wild 搭建了这个！🚀
MiniCPM-V 4.7 每秒 370 tokens？！🔥
看到社区不断突破推测解码（speculative decoding）的可能性极限，真是令人振奋。
特别感谢 @Tech2Wild 把这一切实现出来！🚀
来源：OpenBMB · x.com