Llama 3的到来让整个开源社区再次沸腾起来。Meta官方发布了Llama 3的38B和70B参数版本，超越了一众竞争对手，成为新一代SOTA模型。Huggingface链接一经发布，立即引起了广泛关注。
据悉，Llama 3在架构上选择了经典的仅解码式Transformer架构，采用了包含128K token词汇表的分词器。训练数据规模达到了15T tokens，其中包含了30多种语言的数据，其中5%为非英文数据。此外，为了提高模型的推理效率，Meta AI还采用了分组查询注意力机制。
Llama 3在各项基准测试中表现出色，几乎全面领先于同等规模的其他模型。不仅在常规数据集上取得了重大突破，还在更高阶、更困难的数据集上表现出色。开发团队还研发了一套高质量的测试数据集，评估了Llama 3在现实场景中的性能。
虽然Llama 3的上下文窗口只有8k，与现在的大模型相比稍显不足，但业内人士对此持乐观态度，认为在开源社区的努力下，窗口长度很快就会扩展上去。Llama 3已经上线Hugging Face可供下载，同时将陆续在各大云服务平台上线。
此次发布的Llama 3还包括基于官方Web版本的Meta AI平台，提供对话和绘画功能。虽然目前还不支持中文，但未来的更新仍值得期待。
总的来看，Llama 3的到来标志着GPT-4级别模型可以自由访问的时代正式到来，开源社区将迎来更多的创新和发展机遇。Meta的努力和突破为整个行业带来了新的希望和可能性。
