该模型于 2022-04-14 在 HF papers 上发布，并于 2022-09-22 贡献至 Hugging Face Transformers。

ViTMSN

概述

ViTMSN 模型由 Mahmoud Assran、Mathilde Caron、Ishan Misra、Piotr Bojanowski、Florian Bordes、Pascal Vincent、Armand Joulin、Michael Rabbat 和 Nicolas Ballas 在 Masked Siamese Networks for Label-Efficient Learning 中提出。该论文提出了一种联合嵌入架构，用于将掩码补丁的原型与未掩码补丁的原型进行匹配。在此设置下，该方法在少样本和极端少样本场景中均展现出优异的性能。

该论文的摘要如下：

我们提出了掩码孪生网络（Masked Siamese Networks，MSN），这是一种用于学习图像表示的自监督学习框架。我们的方法将包含随机掩码补丁的图像视图的表示与原始未掩码图像的表示进行匹配。当应用于 Vision Transformer 时，这种自监督预训练策略具有极高的可扩展性，因为网络仅处理未掩码的补丁。因此，MSN 提升了联合嵌入架构的可扩展性，同时生成了具有高度语义层次的表示，在少样本图像分类任务中表现出具有竞争力的性能。例如，在 ImageNet-1K 上，仅使用 5,000 张标注图像，我们的基础 MSN 模型即可达到 72.4% 的 top-1 准确率；而使用 ImageNet-1K 1% 的标签时，我们达到了 75.7% 的 top-1 准确率，在该基准上刷新了自监督学习的最新水平。

该模型由 sayakpaul 贡献。原始代码可在此处找到。

使用技巧

• MSN（masked siamese networks，掩码孪生网络）是一种用于视觉 Transformer（ViT）自监督预训练的方法。预训练的目标是将分配给图像未掩码视图的原型与同一图像掩码视图的原型进行匹配。
• 作者仅发布了骨干网络的预训练权重（ImageNet-1k 预训练）。因此，要在自己的图像分类数据集上使用它，请使用从 ViTMSNModel 初始化的 ViTMSNForImageClassification 类。有关微调的详细教程，请参见此笔记本。
• MSN 在少样本和极低样本场景下尤为实用。值得注意的是，在微调时，仅使用 ImageNet-1K 1% 的标签，它就能达到 75.7% 的 top-1 准确率。

使用缩放点积注意力（SDPA）

PyTorch 在 torch.nn.functional 中包含了原生的缩放点积注意力（SDPA）算子。该函数涵盖了多种实现方式，可根据输入和所用硬件进行应用。有关更多信息，请参阅官方文档或GPU 推理页面。

当存在可用实现时，torch>=2.1.1 默认使用 SDPA，但您也可以在 from_pretrained() 中设置 attn_implementation="sdpa" 以显式请求使用 SDPA。

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

为了获得最佳加速效果，我们建议以半精度（例如 torch.float16 或 torch.bfloat16）加载模型。

在本地基准测试（A100-40GB、PyTorch 2.3.0、操作系统 Ubuntu 22.04）中，使用 float32 和 facebook/vit-msn-base 模型，我们在推理过程中观察到以下加速效果。

资源

一份来自 Hugging Face 官方和社区（以 🌎 标识）的资源列表，帮助你快速上手 ViT MSN。

• ViTMSNForImageClassification 受此 notebook 支持。
• 另请参阅：图像分类任务指南

如果您有兴趣提交资源以收录在此处，请随时发起 Pull Request，我们将对其进行审核！理想情况下，该资源应展示一些新内容，而不是重复现有资源。

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker