Transformers documentation

Janus

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Este modelo foi publicado em papers do HF em 2024-10-17 e contribuído para o Hugging Face Transformers em 2025-04-17.

Janus

Visão geral

O modelo Janus foi originalmente proposto em Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation pela equipe da DeepSeek AI e posteriormente refinado em Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling. O Janus é um modelo de visão-linguagem que pode gerar saída tanto em imagem quanto em texto, e também pode receber imagens e texto como entrada.

O modelo não gera imagens e texto em um formato intercalado. O usuário precisa passar um parâmetro indicando se deve gerar texto ou imagem.

O resumo do artigo original é o seguinte:

Neste artigo, apresentamos o Janus, um framework autoregressivo que unifica a compreensão e a geração multimodais. Pesquisas anteriores frequentemente dependem de um único codificador visual para ambas as tarefas, como o Chameleon. No entanto, devido aos diferentes níveis de granularidade de informação exigidos pela compreensão e pela geração multimodais, essa abordagem pode levar a um desempenho subótimo, particularmente na compreensão multimodal. Para resolver esse problema, separamos a codificação visual em caminhos distintos, mantendo o uso de uma única arquitetura de transformer unificada para o processamento. Essa separação não apenas alivia o conflito entre os papéis do codificador visual na compreensão e na geração, mas também aumenta a flexibilidade do framework. Por exemplo, tanto os componentes de compreensão multimodal quanto os de geração podem selecionar independentemente seus métodos de codificação mais adequados. Os experimentos mostram que o Janus supera modelos unificados anteriores e iguala ou supera o desempenho de modelos específicos para cada tarefa. A simplicidade, a alta flexibilidade e a eficácia do Janus o tornam um forte candidato para modelos multimodais unificados de próxima geração.

O resumo do artigo Janus-Pro mencionado anteriormente, publicado posteriormente, é o seguinte:

Neste trabalho, apresentamos o Janus-Pro, uma versão avançada do trabalho anterior Janus. Especificamente, o Janus-Pro incorpora (1) uma estratégia de treinamento otimizada, (2) dados de treinamento expandidos e (3) escala para tamanhos de modelo maiores. Com essas melhorias, o Janus-Pro alcança avanços significativos tanto na compreensão multimodal quanto nas capacidades de seguir instruções para geração de imagem a partir de texto, além de aprimorar a estabilidade da geração de imagem a partir de texto. Esperamos que este trabalho inspire novas explorações na área. O código e os modelos estão publicamente disponíveis.

Este modelo foi contribuído por Yaswanth Gali e Hugo Silva. O código original pode ser encontrado aqui.

Exemplo de uso

Inferência de uma única imagem

Aqui está um exemplo de compreensão visual com uma única imagem.

Observe que o modelo foi treinado com um formato de prompt específico para conversas. Use processor.apply_chat_template(my_conversation_dict) para formatar corretamente seus prompts.


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"
# Prepare Input for generation.
messages = [
    {
        "role": "user",
        "content": [
            {'type':'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
            {'type':"text", "text":"What do you see in this image?."}
        ]
    },
]

# Set generation mode to `text` to perform text generation.
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=40,generation_mode='text',do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)

Inferência com múltiplas imagens

O Janus pode realizar inferência com múltiplas imagens como entrada, em que as imagens podem pertencer ao mesmo prompt ou a prompts diferentes em inferência em lote, onde o modelo processa muitas conversas em paralelo. Veja como fazer isso:


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"

image_urls = [
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    "https://www.ilankelman.org/stopsigns/australia.jpg",
    "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
]

messages = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s the difference between"},
                {"type": "image", "url": image_urls[0]},
                {"type": "text", "text": " and "},
                {"type": "image", "url": image_urls[1]}
            ]
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": image_urls[2]},
                {"type": "text", "text": "What do you see in this image?"}
            ]
        }
    ]
]

# Load model and processor
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    padding=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Generate response
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=False)
text = processor.batch_decode(output, skip_special_tokens=True)
print(text)

Geração de texto para imagem

Janus também pode gerar imagens a partir de um prompt.

from transformers import JanusForConditionalGeneration, JanusProcessor


# Set generation mode to `image` to prepare inputs for image generation..

model_id = "deepseek-community/Janus-Pro-1B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "A dog running under the rain."},
        ],
     }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt,generation_mode="image",return_tensors="pt").to(model.device)

# Set num_return_sequence parameter to generate multiple images per prompt.
model.generation_config.num_return_sequences = 2
outputs = model.generate(**inputs,
                         generation_mode="image",
                         do_sample=True,
                         use_cache=True,
                         )
# Perform post-processing on the generated token ids.
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()),return_tensors="PIL.Image.Image").to(model.device)
# Save the image
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Janus

Visão geral

Exemplo de uso

Inferência de uma única imagem

Inferência com múltiplas imagens

Geração de texto para imagem

JanusConfig

classe transformers.JanusConfig

JanusVisionConfig

classe transformers.JanusVisionConfig

JanusVQVAEConfig

classe transformers.JanusVQVAEConfig

JanusProcessor

classe transformers.JanusProcessor

__call__

JanusImageProcessor

classe transformers.JanusImageProcessor

pré-processamento

JanusImageProcessorPil

classe transformers.JanusImageProcessorPil

pré-processamento

JanusVisionModel

classe transformers.JanusVisionModel

forward

JanusVQVAE

classe transformers.JanusVQVAE

forward

JanusModel

classe transformers.JanusModel

forward

get_image_features

JanusForConditionalGeneration

classe transformers.JanusForConditionalGeneration

forward

call