Transformers documentation

Qwen2.5-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2025-02-19에 HF papers에 게시되었으며, 2025-01-23에 Hugging Face Transformers에 기여되었습니다.

Qwen2.5-VL

Qwen2.5-VL는 3B, 7B, 72B 파라미터 규모로 제공되는 멀티모달 비전-언어 모델로, 4.1T 토큰으로 사전 학습되었습니다. 이 모델은 ViT 인코더에 윈도우 어텐션을 도입하여 학습과 추론 속도를 높이고, 다양한 샘플링 레이트에서 더 나은 영상 이해를 위해 공간 및 시간 차원에서 동적 FPS 샘플링을 적용하며, 시간적 동역학을 더 잘 포착하고 학습하도록 업그레이드된 MRoPE(멀티레졸루션 로테리 위치 인코딩) 메커니즘을 제공합니다.

모든 Qwen2.5-VL 원본 체크포인트는 Qwen2.5-VL 컬렉션에서 찾을 수 있습니다.

오른쪽 사이드바의 Qwen2.5-VL 모델에 클릭하여 Qwen2.5-VL을 다양한 비전 및 언어 작업에 적용하는 방법에 대한 추가 예제를 확인하세요.

use_kernels=True를 from_pretrained()에 설정하여 Hub의 최적화 커널로 지원되는 레이어를 대체합니다. 자세한 내용은 커널 로딩을 참고하세요.

아래 예제는 Pipeline 또는 AutoModel 클래스를 사용하여 이미지 기반으로 텍스트를 생성하는 방법을 보여줍니다.

Pipeline

AutoModel

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 Quantization 개요를 참조하세요.

아래 예제는 torchao를 사용하여 가중치만 int4로 양자화합니다.

from transformers import Qwen2_5_VLForConditionalGeneration, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    quantization_config=quantization_config
)

The input is a single word "Notes". 참고

"type": "video"를 설정하여 Qwen2.5-VL을 비디오 입력에 사용하세요. 아래에 표시된 바와 같이 설정합니다.

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Qwen2.5-VL을 사용하여 이미지, 비디오, 텍스트가 혼합된 입력 배치에 적용합니다. 여러 이미지나 비디오를 처리할 때 아래에 표시된 것처럼 레이블을 추가하여 참조를 명확히 합니다.

import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"}, 
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"}, 
            {"type": "image"}, 
            {"type": "image"}, 
            {"type": "video"}, 
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

AutoProcessor에서 min_pixels와 max_pixels 매개변수를 사용하여 해상도를 설정합니다.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

해상도를 높이면 더 많은 컴퓨트 자원이 필요할 수 있으며, 해상도를 낮추면 다음과 같이 메모리를 절약할 수 있습니다:

min_pixels = 256*28*28
max_pixels = 1024*28*28 
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Transformers

Qwen2.5-VL

The input is a single word "Notes". 참고

Qwen2_5_VLConfig

class transformers.Qwen2_5_VLConfig

Qwen2_5_VLVisionConfig

class transformers.Qwen2_5_VLVisionConfig

Qwen2_5_VLTextConfig

클래스 transformers.Qwen2_5_VLTextConfig

Qwen2_5_VLProcessor

클래스 transformers.Qwen2_5_VLProcessor

__call__

Qwen2_5_VLTextModel

class transformers.Qwen2_5_VLTextModel

forward

Qwen2_5_VisionTransformerPretrainedModel

클래스 transformers.Qwen2_5_VisionTransformerPretrainedModel

forward

Qwen2_5_VLModel

class transformers.Qwen2_5_VLModel

forward

get_video_features

get_image_features

Qwen2_5_VLForConditionalGeneration

클래스 transformers.Qwen2_5_VLForConditionalGeneration

forward

get_video_features

get_image_features

call