SigLIP2によるゼロショット画像分類

REM Python をシステム領域にインストール
winget install --scope machine --id Python.Python.3.12 -e --silent
REM Python のパス設定
set "PYTHON_PATH=C:\Program Files\Python312"
set "PYTHON_SCRIPTS_PATH=C:\Program Files\Python312\Scripts"
echo "%PATH%" | find /i "%PYTHON_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%PYTHON_PATH%" /M >nul
echo "%PATH%" | find /i "%PYTHON_SCRIPTS_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%PYTHON_SCRIPTS_PATH%" /M >nul

winget install --scope machine Codeium.Windsurf -e --silent

# プログラム名: SigLIP2による画像分類システム
# 特徴技術名: SigLIP2 (Sigmoid Loss for Language-Image Pre-training 2)
# 出典: X. Zhai et al., "SigLIP 2: Scaling Vision-Language Models with Sigmoid Loss," arXiv preprint arXiv:2501.09893, 2025.
# 特徴機能: 画像とテキストの埋め込みベクトルを正規化後、内積によるコサイン類似度を計算し、温度パラメータでスケーリング後Sigmoid関数を適用することで0-1の確率的スコアを生成。これにより安定した学習とマッチングを実現
# 学習済みモデル:
#   - google/siglip2-base-patch16-224 (Base, 86M params, 224x224): https://huggingface.co/google/siglip2-base-patch16-224
#   - google/siglip2-large-patch16-256 (Large, 303M params, 256x256): https://huggingface.co/google/siglip2-large-patch16-256
#   - google/siglip2-large-patch16-384 (Large, 384M params, 384x384): https://huggingface.co/google/siglip2-large-patch16-384
#   - google/siglip2-so400m-patch14-384 (SO400M, 400M params, 384x384): https://huggingface.co/google/siglip2-so400m-patch14-384
# 方式設計:
#   - 関連利用技術: PyTorch (ディープラーニングフレームワーク), Transformers (モデルロード・推論), PIL/Pillow (画像形式変換), OpenCV (画像入出力・表示), tkinter (ファイル選択ダイアログ)
#   - 入力と出力:
#     入力: 静止画像（ユーザは「0:画像ファイル，1:カメラ，2:サンプル画像」のメニューで選択．0:画像ファイルの場合はtkinterで複数ファイル選択可能．1の場合はOpenCVでカメラが開き，スペースキーで撮影（複数回可能）．2の場合はhttps://raw.githubusercontent.com/opencv/opencv/master/samples/data/fruits.jpg とhttps://raw.githubusercontent.com/opencv/opencv/master/samples/data/messi5.jpgとhttps://raw.githubusercontent.com/opencv/opencv/master/samples/data/aero3.jpgを使用）
#     出力: OpenCV画面でリアルタイムに処理結果表示，OpenCV画面内に最高スコアラベルとスコア値をテキスト表示，プログラム終了時に処理結果をresult.txtファイルに保存し「result.txtに保存」したことをprint()で表示
#   - 処理手順: 1.モデル選択とロード 2.画像入力取得 3.ラベル文字列入力 4.画像をRGB変換 5.テキストと画像を埋め込みベクトルに変換 6.ベクトル正規化 7.コサイン類似度計算 8.温度パラメータでスケーリング 9.Sigmoid関数適用 10.スコア表示と保存
#   - 前処理、後処理:
#     前処理: 画像のRGB変換（グレースケール・RGBA対応）、テキストの小文字化と「This is a photo of」テンプレート適用（英語ラベルのみ）、max_length=64でのパディング
#     後処理: スコアの降順ソート、最高スコアラベルの特定、画像へのオーバーレイ描画（スコアとラベル表示）
#   - 追加処理: 日本語ラベル対応（英語以外のラベルはテンプレートなしで直接使用）、複数モデル選択機能（4種類のSigLIP2モデルから選択可能）、GPU/CPU自動判定とdtype整合性確保（GPU時はfloat16、CPU時はfloat32）
#   - 調整を必要とする設定値: SCALE（温度パラメータ、デフォルト10.0）- スコアの分散を制御し、類似度の差を強調。値が大きいほどスコアの差が明確になる
# 将来方策: SCALE値の自動調整機能 - 複数画像のスコア分布を統計的に分析し、分散が0.1-0.3の範囲になるようSCALE値を動的に調整することで、各データセットに最適な識別性能を実現
# その他の重要事項: SigLIP2は2025年1月発表の最新モデルで、従来のCLIPと比較してマルチリンガル対応と計算効率が向上
# 前準備:
#   - pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
#   - pip install transformers pillow accelerate opencv-python

import cv2
import tkinter as tk
from tkinter import filedialog
import urllib.request
import os
import time
from datetime import datetime

import numpy as np
import torch
from transformers import AutoModel, AutoProcessor
from PIL import Image, ImageDraw, ImageFont

# 設定定数
MODELS = {
    'google/siglip2-base-patch16-224': 'Base（86M，224x224）',
    'google/siglip2-large-patch16-256': 'Large（303M，256x256）',
    'google/siglip2-large-patch16-384': 'Large-384（303M，384x384）',
    'google/siglip2-so400m-patch14-384': 'SO400M（400M，384x384）'
}
MODEL_COUNT = 4  # 選択可能なモデル数
SCALE = 10.0  # 温度パラメータ（スコアの分散を制御）
FONT_PATH = 'C:/Windows/Fonts/meiryo.ttc'  # 日本語フォントパス
FONT_SIZE = 20  # フォントサイズ

# GPU/CPU自動選択
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f'デバイス: {str(device)}')

# フォント存在確認
HAS_JAPANESE_FONT = os.path.exists(FONT_PATH)

# 処理結果を保存するリスト
results_log = []

# グローバル変数
model = None
processor = None
labels = []
formatted_labels = []
model_name = ''


def is_english_word(text):
    """文字列が英単語（英数字とスペースのみ）かどうかを判定"""
    for char in text.strip():
        if not (char.isalnum() or char.isspace()):
            return False
    has_alpha = any(c.isalpha() for c in text.strip())
    return has_alpha


def image_processing(img):
    """画像を処理してスコアを計算し，オーバーレイを付与したBGR画像を返す"""
    global model, processor, device, labels, formatted_labels, model_name

    current_time = time.time()

    # OpenCV画像→PIL
    if isinstance(img, np.ndarray):
        img_pil = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
    else:
        img_pil = img

    # RGB変換
    if img_pil.mode != 'RGB':
        img_pil = img_pil.convert('RGB')

    # プロセッサでテンソル化
    inputs = processor(
        text=formatted_labels,
        images=img_pil,
        return_tensors='pt',
        padding='max_length',
        max_length=64
    )

    # device/dtype整合
    inputs = {k: (v.to(device) if isinstance(v, torch.Tensor) else v) for k, v in inputs.items()}
    target_dtype = next(model.parameters()).dtype
    if 'pixel_values' in inputs and isinstance(inputs['pixel_values'], torch.Tensor):
        inputs['pixel_values'] = inputs['pixel_values'].to(dtype=target_dtype)

    # 推論
    with torch.no_grad():
        outputs = model(**inputs)
        image_embeds = outputs.image_embeds
        text_embeds = outputs.text_embeds

        # 正規化
        image_embeds = image_embeds / image_embeds.norm(dim=-1, keepdim=True)
        text_embeds = text_embeds / text_embeds.norm(dim=-1, keepdim=True)

        # 類似度計算
        similarity = (image_embeds @ text_embeds.T).squeeze(0)
        similarity = similarity * SCALE
        scores = torch.sigmoid(similarity)

    # 表示用画像
    result_img_bgr = cv2.cvtColor(np.array(img_pil), cv2.COLOR_RGB2BGR)

    # スコア出力
    sorted_indices = torch.argsort(scores, descending=True).detach().cpu().tolist()

    result_text = f'使用モデル: {model_name}, '
    for idx in sorted_indices[:3]:  # 上位3つのみ表示
        result_text += f'{labels[idx]}: {scores[idx].item():.4f}, '

    top_label = labels[sorted_indices[0]]
    top_score = scores[sorted_indices[0]].item()
    result_text += f'最高: {top_label}'

    # オーバーレイ描画
    cv2.putText(result_img_bgr, f'Score: {top_score:.4f}', (10, 30),
                cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)

    # 日本語ラベル表示
    if HAS_JAPANESE_FONT:
        font = ImageFont.truetype(FONT_PATH, FONT_SIZE)
        tmp = Image.fromarray(cv2.cvtColor(result_img_bgr, cv2.COLOR_BGR2RGB))
        ImageDraw.Draw(tmp).text((10, 70), f'Label: {top_label}', font=font, fill=(255, 255, 255))
        result_img_bgr = cv2.cvtColor(np.array(tmp), cv2.COLOR_RGB2BGR)
    else:
        cv2.putText(result_img_bgr, f'Label: {top_label}', (10, 70),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 255, 255), 2)

    return result_img_bgr, result_text, current_time


def process_and_display_images(image_sources, source_type):
    display_index = 1
    for source in image_sources:
        img = cv2.imread(source) if source_type == 'file' else source
        if img is None:
            continue
        cv2.imshow(f'Image_{display_index}', img)
        processed_img, result, current_time = image_processing(img)
        cv2.imshow(f'SigLIP2分類結果_{display_index}', processed_img)
        print(datetime.fromtimestamp(current_time).strftime("%Y-%m-%d %H:%M:%S.%f")[:-3], result)
        results_log.append(result)
        display_index += 1


# プログラム開始
print('=== SigLIP2による画像分類システム ===')
print('概要: 画像を入力し，指定ラベルとの類似度を計算して表示・保存する')
print('操作方法: カメラモードではスペースキーで撮影，qキーで終了\n')

# モデル選択
print('利用可能なモデル:')
model_list = list(MODELS.keys())
for i, (mn, desc) in enumerate(MODELS.items()):
    print(f'{i+1}. {mn}')
    print(f'   {desc}')

choice = input('\nモデル番号を選択 (1-4): ')
if not choice.isdigit() or not (1 <= int(choice) <= MODEL_COUNT):
    print('無効な選択')
    exit()
model_name = model_list[int(choice) - 1]

# モデル初期化
print(f'選択されたモデル: {model_name}')
print('モデル読み込み中...')
if device.type == 'cuda':
    model = AutoModel.from_pretrained(model_name, torch_dtype=torch.float16).to(device)
else:
    model = AutoModel.from_pretrained(model_name, torch_dtype=torch.float32).to(device)
processor = AutoProcessor.from_pretrained(model_name)
model.eval()

# ラベル入力
print('\n=== ラベル設定 ===')
print('画像を分類するラベルを入力してください（例: dog, cat, car, 犬, 猫, 車）')
labels_input = input('ラベル（カンマ区切り）: ')
if not labels_input.strip():
    print('ラベルが入力されていない')
    exit()

labels = [label.strip() for label in labels_input.split(',')]
formatted_labels = []
for lbl in labels:
    if is_english_word(lbl):
        formatted_labels.append(f'This is a photo of {lbl.lower()}.')
    else:
        formatted_labels.append(lbl)

print(f'使用するラベル: {formatted_labels}')

# 画像入力選択
print('\n0: 画像ファイル')
print('1: カメラ')
print('2: サンプル画像')

choice = input('選択: ')

try:
    if choice == '0':
        root = tk.Tk()
        root.withdraw()
        if not (paths := filedialog.askopenfilenames()):
            exit()
        process_and_display_images(paths, 'file')
        cv2.waitKey(0)

    elif choice == '1':
        cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)
        if not cap.isOpened():
            cap = cv2.VideoCapture(0)
        cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)
        try:
            print('カメラが起動しました。スペースキーで撮影，qキーで終了')
            while True:
                ret, frame = cap.read()
                if not ret:
                    break
                cv2.imshow('Camera', frame)
                key = cv2.waitKey(1) & 0xFF
                if key == ord(' '):
                    processed_img, result, current_time = image_processing(frame)
                    cv2.imshow('SigLIP2分類結果', processed_img)
                    print(datetime.fromtimestamp(current_time).strftime("%Y-%m-%d %H:%M:%S.%f")[:-3], result)
                    results_log.append(result)
                elif key == ord('q'):
                    break
        finally:
            cap.release()

    else:
        urls = [
            "https://raw.githubusercontent.com/opencv/opencv/master/samples/data/fruits.jpg",
            "https://raw.githubusercontent.com/opencv/opencv/master/samples/data/messi5.jpg",
            "https://raw.githubusercontent.com/opencv/opencv/master/samples/data/aero3.jpg",
            "https://upload.wikimedia.org/wikipedia/commons/3/3a/Cat03.jpg"
        ]
        downloaded_files = []
        for i, url in enumerate(urls):
            try:
                urllib.request.urlretrieve(url, f"sample_{i}.jpg")
                downloaded_files.append(f"sample_{i}.jpg")
            except:
                print(f"画像のダウンロードに失敗しました: {url}")
        process_and_display_images(downloaded_files, 'file')
        cv2.waitKey(0)

finally:
    print('\n=== プログラム終了 ===')
    cv2.destroyAllWindows()
    if results_log:
        with open('result.txt', 'w', encoding='utf-8') as f:
            f.write('=== 結果 ===\n')
            f.write(f'使用デバイス: {str(device).upper()}\n')
            if device.type == 'cuda':
                f.write(f'GPU: {torch.cuda.get_device_name(0)}\n')
            f.write('\n')
            f.write('\n'.join(results_log))
        print(f'\n処理結果をresult.txtに保存しました')