DeepSeek是一款基于AI技术的智能搜索引擎,结合深度学习与自然语言处理,提供精准、高效的搜索体验。探索DeepSeek,感受未来智能搜索的无限可能!
号称地表最强的M3 Ultra,本地跑满血版DeepSeek R1,效果到底如何?
他提前拿到了两台搭载M3 Ultra的Mac Studio,配置是这样的:
M3 Ultra(32 核中央处理器、80 核图形处理器和 32 核神经网络引擎)
至于价格嘛,一台上述配置的Mac Studio是74249元,两台就是小15万元。
但在M3 Ultra之前啊,如果你想在本地使用显卡来推理V3或R1,那么就得起码需要6、7张A100……大约小100万元。
也正因如此,也有不少网友认为搭载M3 Ultra的Mac Studio,堪称是“性价比最高的大模型一体机”。
值得注意的是,苹果这次似乎是主动给DeepSeek玩家们提前发货,有种让他们赶紧测一测的意味。
毕竟在发布之际,苹果就强调了可以在M3 Ultra版Mac Studio中跑超过6000亿参数的大模型。
其实在M3 Ultra版Mac Studio发布前后,已经有不少人做过类似的评测。
对此,博主认为在本地完整运行671B的DeepSeek是有点困难的,因为已经有人宣告失败。
他举例另一位评测人员的结果,显示是运行8bit量化版本的DeepSeek R1,得到了9-21 tokens/秒的速度。
至于为什么体量更大的671B的DeepSeek,会比70B运行速度更快,是因为DeepSeek将671B模型分片为 “专家混合体”,实际运行时根据问题切换,类似运行30B的模型。
最后,博主也提醒想要在本地运行大模型的友友们,网传苹果将在今年WWDC上发布M4 Ultra,所以可以再观望一下。
原标题:《DeepSeek玩家能提前拿苹果新品!只要15万元,在家跑满血版R1》
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
