Mistral AI最新磁力链放出!8x22B MoE模型,281GB解禁

科技动态 2024-04-10 13:50 阅读:

刚刚,Mistral AI又来闷声不响搞事情了!一条磁力链放出,竟然解禁了281.24GB文件中的全新8x22B MoE模型!这个新模型共有56层,48个注意力头,8名专家和2名活跃专家,上下文长度还达到了65k。网友们纷纷表示,Mistral AI靠一条磁力链就能掀起AI社区热潮,简直是神秘又强大。

去年12月,Mistral AI发布了首个磁力链,公开的8x7B MoE模型表现出色,性能超越了多达700亿参数的Llama 2。而今年2月,最新旗舰版模型Mistral Large更是直接对标了GPT-4,展现出卓越的逻辑推理能力。虽然这个版本的模型没有开源,但在一个黑客松活动上,Mistral AI开源了Mistral 7B v0.2基础模型,支持32k上下文,没有滑动窗口,Rope Theta = 1e6。

现在,最新的8x22B MoE模型也在抱抱脸平台上线,社区成员可以基于此构建自己的应用。贾扬清表示,已经迫不及待想看到这个新模型和其他SOTA模型的详细对比了。Mistral AI靠磁力链火遍整个AI社区,让人对未来的AI发展充满期待。