谷歌最新推出的Scenic模型是一个专注于计算机视觉领域的代码库，主要用于研究基于注意力的模型。这个库提供了一系列共享的轻量级库，解决训练大规模视觉模型时常见的任务，并包含了几个使用这些库的问题特定训练和评估循环的项目。
Scenic采用JAX和Flax进行开发，支持开发人员在图像、视频、音频和多模态组合方面开发分类、分割和检测模型。最令人兴奋的是，Scenic能够识别任意长度的视频内容，并生成详细描述。对于长视频，甚至可以在处理完整个视频前，流式预测视频内容。
除了视频内容识别和描述生成，Scenic还提供了一些其他功能，包括用于启动实验、摘要编写、日志记录、性能分析等的样板代码。此外，Scenic还包括优化的训练和评估循环、损失函数、度量、双部分匹配器等，以及用于流行视觉数据集的输入管道和强大的非注意力基线模型。
在Scenic中，还包含一些SOTA（State-of-the-Art）模型和基线模型，这些模型可能是使用Scenic开发的，也可能是在Scenic中重新实现的。一些项目包括ViViT、OmniNet、Attention Bottlenecks for Multimodal Fusion等。此外，Scenic还提供了一些重现的基线模型，如ViT（An Image is Worth 16x16 Words）、DETR（End-to-End Object Detection with Transformers）等。
Scenic的目标是促进大规模视觉模型的快速原型设计。为了保持代码简单易懂且易于扩展，Scenic更倾向于通过复制粘贴而非增加复杂性或增加抽象来解决问题。只有当功能被证明在许多模型和任务中广泛有用时，才可能将其上游到Scenic的共享库中。
谷歌推出的Scenic模型为计算机视觉领域带来了新的可能性，能够帮助开发人员更快速地设计和实现视觉模型。通过识别视频内容并生成详细描述，Scenic为视觉领域的研究和应用提供了更多可能性和便利性。如果你对这一领域感兴趣，不妨前往Scenic的产品入口https://github.com/google-research/scenic，了解更多关于这一模型的信息。
