Bu model 2022-04-14 tarihinde HF papers'ta yayımlandı ve 2022-09-22 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

ViTMSN

Genel Bakış

ViTMSN modeli, Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat ve Nicolas Ballas tarafından Masked Siamese Networks for Label-Efficient Learning makalesinde önerilmiştir. Makale, maskeli yamaların prototiplerini maskesiz yamaların prototipleriyle eşleştirmek için bir ortak gömme mimarisi sunmaktadır. Bu yapılandırma ile yöntemleri, düşük örnekli (low-shot) ve aşırı düşük örnekli (extreme low-shot) senaryolarda mükemmel performans elde etmektedir.

Makalenin özeti aşağıdaki gibidir:

Masked Siamese Networks (MSN), görüntü temsilleri öğrenmek için bir kendiliğinden denetimli öğrenme çerçevesi öneriyoruz. Yaklaşımımız, rastgele maskelenmiş yamalar içeren bir görüntü görünümünün temsili ile orijinal maskesiz görüntünün temsili arasında eşleşme sağlar. Bu kendiliğinden denetimli ön eğitim stratejisi, yalnızca maskelenmemiş yamaların ağ tarafından işlenmesi nedeniyle Vision Transformers'a uygulandığında özellikle ölçeklenebilir. Sonuç olarak MSN'ler, ortak gömme mimarilerinin ölçeklenebilirliğini artırırken, düşük örnekli görüntü sınıflandırmada rekabetçi performans gösteren yüksek semantik düzeyde temsiller üretir. Örneğin, ImageNet-1K üzerinde yalnızca 5.000 etiketli görüntüyle temel MSN modelimiz %72,4 top-1 doğruluğa ulaşırken, ImageNet-1K etiketlerinin %1'i ile %75,7 top-1 doğruluğa ulaşarak bu benchmark için kendiliğinden denetimli öğrenmede yeni bir state-of-the-art (en iyi mevcut) sonuç elde ediyoruz.

Bu model sayakpaul tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

• MSN (masked siamese networks), Vision Transformer (ViT) modellerinin kendiliğinden denetimli ön eğitimi için bir yöntemdir. Ön eğitim hedefi, görüntülerin maskelenmemiş görünümlerine atanan prototipleri, aynı görüntülerin maskelenmiş görünümlerine atanan prototiplerle eşleştirmektir.
• Yazarlar, omurganın (backbone) yalnızca önceden eğitilmiş ağırlıklarını yayımlamıştır (ImageNet-1k ön eğitimi). Bu nedenle, bu modeli kendi görüntü sınıflandırma veri setinizde kullanmak için ViTMSNModel sınıfından başlatılan ViTMSNForImageClassification sınıfını kullanın. İnce ayarlama (fine-tuning) hakkında ayrıntılı bir öğretici için bu defterin (notebook) adımlarını izleyin.
• MSN özellikle düşük örnek ve aşırı düşük örnek rejimlerinde son derece faydalıdır. Öne çıkan bir nokta olarak, ince ayar yapıldığında ImageNet-1K etiketlerinin yalnızca %1'iyle %75,7'lik top-1 doğruluğa ulaşır.

Ölçekli Nokta Çarpımı Dikkat (SDPA) Kullanımı

PyTorch, torch.nn.functional parçası olarak yerel ölçekli nokta çarpımı dikkati (SDPA) operatörünü içerir. Bu fonksiyon, girdilere ve kullanılan donanıma bağlı olarak uygulanabilecek çeşitli uygulamaları kapsar. Daha fazla bilgi için resmi dokümantasyonu veya GPU Inference sayfasına bakın.

torch>=2.1.1 için bir uygulama mevcut olduğunda varsayılan olarak SDPA kullanılır, ancak SDPA'nın kullanılmasını açıkça istemek için from_pretrained() içinde attn_implementation="sdpa" ayarlayabilirsiniz.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

En iyi hızlanmalar için, modelin yarım hassasiyette (ör. torch.float16 veya torch.bfloat16) yüklenmesini öneririz.

Yerel bir benchmark'ta (A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04) float32 ve facebook/vit-msn-base modeli kullanılarak çıkarım sırasında aşağıdaki hızlanmalar gözlemlendi.

Kaynaklar

ViT MSN ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi.

• Bu defter ViTMSNForImageClassification sınıfını destekler.
• Bkz: Görsel sınıflandırma görevi kılavuzu

Buraya bir kaynak eklemek isterseniz, bir Pull Request açmaktan çekinmeyin; inceleyeceğiz! Kaynağın, mevcut bir kaynağı tekrarlamak yerine ideal olarak yeni bir şeyi göstermesi beklenir.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker