alt-text生成のためのローカルLLM比較

この記事は Dries Buytaert 氏の公式ブログ「dri.es」の翻訳記事です。Driesブログの記事一覧よりすべての翻訳記事をご覧いただけます。

12種類のLLM（ローカル動作10種・クラウドベース2種）をテストし、画像のalt-text生成精度を評価しました。

私のウェブサイトには1万枚の写真があります。そのうち約9,000枚にaltテキストがありません。それを誇りに思っているわけではなく、長い間ずっと気になっていました。

ブログを始めた約20年前、altテキストのことはあまり考えていませんでした。時間が経つにつれ、スクリーンリーダーに頼る視覚障害者にとっての重要性を認識するようになりました。

この5年以上、新しくアップロードするすべての画像にaltテキストを丁寧に追加してきました。しかしそれでカバーできるのは約1,000枚に過ぎず、古い写真のほとんどには説明文がないままです。

9,000件のaltテキストを手作業で書くのは気が遠くなる話です。もちろんAIなら格段に早くできますが、品質は十分でしょうか？

それを確かめるために、12種類の大規模言語モデル（LLM）をテストしました。ローカル動作10種とクラウドベース2種です。精度を検証し、正確なaltテキストを生成できるかどうかを評価することが目的でした。

要約すると、予想通りクラウドモデル（GPT-4o・Claude Sonnet 3.5）がAグレードのパフォーマンスでベンチマークを打ち立てました（とはいえ100%完璧ではありません）。私はプライバシー・コスト・オフライン利用の観点からローカルモデルを好みます。ローカルの選択肢の中では、LlamaシリーズとMiniCPM-Vが最も優れた結果を示しました。この2つはともにBグレードを獲得しており、安定して機能しますが重要な詳細を見落とすことがあります。

こうした悩みを抱えているのは私だけではないはずです。膨大な数のaltテキスト未設定画像を抱えている人や組織は多いでしょう。自分のブログの問題を解決しながら、学んだことをシェアしていきたいと思っています。このブログ記事はその第一歩です。今後の投稿はメールまたはRSSで購読できます。

評価したモデル

12種類のAIモデルでaltテキスト生成をテストしました。9種は32GBのRAMを搭載した自分のMacBook Proで、1種はより大容量のRAMを搭載した別のマシンで（友人でDrupalの長年のコントリビューターであるJeremy Andrews氏のご協力に感謝します）、残りの2種はクラウドベースのサービスです。

以下の表にテストしたモデルの一覧を示します。論文へのリンク・リリース日・パラメータ数（10億単位）・メモリ要件・アーキテクチャの詳細などを掲載しています：

画像→テキストモデルの仕組み（30秒でわかる）

LLMにはさまざまな形態がありますが、今回は画像→テキストモデルとマルチモーダルモデルに焦点を当てました。どちらのタイプも画像を分析してテキストを生成でき、画像の説明文の生成や、画像に関する質問への回答ができます。

画像→テキストモデルはビジョンエンコーディングと言語デコーディングの2ステップで処理します：

1. ビジョンエンコーディング：まず、モデルが画像をパッチ（「パズルのピース」のようなもの）に分割します。パッチは視覚的な特徴を要約した埋め込み（embeddings）と呼ばれる数値表現に変換されます。次に、アテンション機構が最も重要なパッチ（例：猫の輪郭や毛並みを捉えたピース）を抽出し、重要度の低い部分（例：青空だけのピース）を除外します。
2. 言語デコーディング：最も重要な視覚的特徴を要約したら、言語モデルを使ってそれらを言葉に変換します。このステップで実際のテキスト（画像キャプションやQ&Aの回答）が生成されます。

簡単に言うと、ビジョンエンコーダーが画像を「見て」、言語エンコーダーがそれを「説明する」というわけです。

上の表を見ると、各行でビジョンエンコーダー（例：ViT・CLIP・Swin）と言語エンコーダー（例：GPT-2・BERT・T5・Llama）がペアになっていることがわかります。

より詳しい解説については、Sebastian Raschka氏の記事Understanding Multi-modal LLMsをおすすめします。画像エンコーダーの仕組みも丁寧に説明されており、とても素晴らしい内容です！

AIモデルの比較

9種類の異なるローカルモデルを使って画像のaltテキストを生成するPythonスクリプトを書きました。GitHubリポジトリで公開しています。モデルのインストール・実行・altテキストの生成を自動で行います。Hugging FaceとOllamaの両方をサポートしており、新しいモデルが登場しても簡単に拡張できる設計になっています。

スクリプトは以下のように実行できます：

$ ./caption.py ./test-images/image-1.jpg

初回実行時にすべてのモデルがダウンロードされますが、かなりのディスク容量と通信量が必要です。モデルデータのダウンロードは50GB以上になる見込みです。

スクリプトはJSON形式で結果を出力するため、プログラムへの統合や分析が簡単です。出力例を示します：

  {
  "image": "test-images/image-1.jpg",
  "alt-texts": {
  "vit-gpt2": "A city at night with skyscrapers and a traffic light on the side of the street in front of a tall building.",
  "git": "A busy city street is lit up at night, with the word qroi on the right side of the sign.",
  "blip": "This is an aerial view of a busy city street at night with lots of people walking and cars on the side of the road.",
  "blip2-opt": "An aerial view of a busy city street at night.",
  "blip2-flan": "An aerial view of a busy street in tokyo, japanese city at night with large billboards.",
  "minicpm-v": "A bustling cityscape at night with illuminated billboards and advertisements, including one for Michael Kors.",
  "llava-13b": "A bustling nighttime scene from Tokyo's famous Shibuya Crossing, characterized by its bright lights and dense crowds of people moving through the intersection.",
  "llava-34b": "A bustling city street at night, filled with illuminated buildings and numerous pedestrians.",
  "llama32-vision-11b": "A bustling city street at night, with towering skyscrapers and neon lights illuminating the scene."
  }
  }

テスト画像

スクリプトが完成したので、1万枚の写真の中からいくつかを選んでテストしました。全部一度にではなく、モデルを惑わせたり挑戦させたりしそうな非標準的な写真を5枚選びました。単純なポートレートや風景写真ではなく、AIが苦手そうな要素を含む写真です。

1枚はボストンのイザベラ・スチュワート・ガードナー美術館で撮影した空の金縁フレームの写真です。そのフレームにはかつて、1990年に起きた美術史上最大級の盗難事件で奪われた傑作が飾られていました。空のフレームとして認識されるか、それとも絵が入っているフレームと勘違いされるかを確かめたかったのです。

別の1枚は昨夏バーモントで撮影したウェイクボーダーの写真です。彼は主役ですが、フレームの中では比較的小さく写っています。モデルが彼をメインの被写体として認識できるかどうかが気になりました。

また別の1枚は、暗くも居心地の良い雰囲気の中でバックギャモンゲームが設置されている写真です。部分的にしか見えないオブジェクトを認識し、シーンの雰囲気を伝えられるかを確かめたいと思いました。

公平なテストのため、すべての画像からEXIFメタデータを取り除きました。埋め込まれたキャプション・GPS座標・その他モデルの推測を助けかねない情報を排除するためです。

確かに、5枚というテストセットは小さいです。ただし、さらなる評価に向けて上位モデルを絞り込むには十分です。12種のモデルが各写真にaltテキストを生成するため、合計60件のaltテキストを手動で評価しなければならず、公平かつ正確に行うのはかなり骨の折れる作業でした。今のところこの5枚で、弱いモデルをふるい落として優れた2〜3つのLLMを特定するには十分です。

次に、5枚の写真それぞれの詳細な結果を紹介します。内容が多いので、まとめまで読み飛ばしていただいても構いません。

テスト画像1：渋谷スクランブル交差点（東京）

ベンチマークLLM：

ローカルLLM：

テスト画像2：イザベラ・スチュワート・ガードナー美術館（ボストン）

ベンチマークLLM：

ローカルLLM：

テスト画像3：ウェイクボーディング（バーモント州、米国）

ベンチマークLLM：

ローカルLLM：

テスト画像4：ドロミテ登山（イタリア）

ベンチマークLLM：

ローカルLLM：

テスト画像5：キャンドルの明かりでバックギャモン

ベンチマークLLM：

ローカルLLM：

モデルの精度

各説明文の評価には構造化された主観的なスコアリングシステムを用いました。各画像について、AIが認識して説明に含めるべき最も重要なオブジェクトを2〜3つ特定しました。また、視覚障害者にとって重要な写真の雰囲気を捉えられているかも評価しました。さらに、繰り返し・文法エラー・ハルシネーション（事実と異なる詳細の捏造）については減点しました。各altテキストは0〜5点で採点し、AからFのレター評価に換算しました。

クラウドベースモデルのGPT-4oとClaude 3.5 Sonnetは、5枚の小規模テストでほぼ完璧なパフォーマンスを発揮し、大きなエラー・ハルシネーション・繰り返しはなく、雰囲気の捉え方も優れていました。

ローカルモデルの中では、LlamaシリーズとMiniCPM-Vが最も優れた結果を示しました。

説明文の繰り返しはスクリーンリーダーのユーザーを苛立たせます。VIT-GPT2・GIT・BLIP・BLIP2などの初期モデルは頻繁に繰り返しが生じるため、実用には不適切です。

ハルシネーションは私が深刻な問題だと考えている点です。存在しないオブジェクトや行動を説明することは、視覚障害者のユーザーを誤解させ、信頼を損ないます。最も優れたローカルモデルの中では、MiniCPM-Vはハルシネーションを起こしませんでしたが、Llama 11BとLlama 90Bはそれぞれ1回ずつ誤りを犯しました。Llama 90Bは美術館のキャビネットをテーブルと誤認識し、Llama 11Bはウェイクボーダーが1人ではなく複数人いると説明しました。大きな誤りではありませんが、やはり残念です。

雰囲気を捉えることは、視覚障害者が画像をより豊かに理解するために欠かせません。初期モデルはこの点で苦労していましたが、最近のモデルはすべてよく対応できていました。LLaVAの両バリアントとMiniCPM-Vを含みます。

実用面から見ると、Llama 11BとMiniCPM-Vは32GB RAMのラップトップでスムーズに動作しましたが、Llama 90Bはより多くのメモリが必要でした。つまり、追加テストの最有力候補はLlama 11BとMiniCPM-Vということになります。

考えられる次のステップ

結果を踏まえると、難しい問いが浮かびます。「B」レベルのaltテキストは、何もないよりはましでしょうか？人間が書いたaltテキストも完璧ではないものが多いでしょう。ローカルモデルが「A」グレードになるまで待つべきか、それとも不完全な説明文でも何もないよりはましなのか？

考えられる次のステップが4つあります：

1. AIの出力を組み合わせる——同じ画像を複数のモデルで処理し、結果をマージしてより正確な説明文を作ろうとする方法。
2. 待ってアップグレードする——現時点では最善のローカルモデルを使い、AI生成のaltテキストをデータベースにタグ付けしておき、より優れたローカルモデルが登場する6〜12ヶ月後に再生成する方法。
3. クラウドベースにする——65GBの写真をアップロードすることになっても、クラウドモデルで最高品質を得る方法。理由はうまく説明できませんし、その感覚が正当かどうかもわかりませんが、なんとなく「負けた」気がします。
4. ハイブリッドアプローチ——AIでaltテキストを生成しつつ、手動でレビューする方法。9,000枚ではとても現実的ではありません。間違いが多そうなaltテキストにフラグを立てる方法が必要です。LLMは信頼性の高い確信スコアを出してくれるでしょうか？

どの選択肢にもトレードオフがあります。速いが不完全なものもあれば、手間はかかるが価値があるものも。クラウドベースが一番楽ですが「負けた」気がします。より良いモデルを待つのは楽ですが、進歩が遅れます。AIの出力のマージや確信スコアの付与は手間がかかりますが、スピードと精度のバランスが取れた最善策かもしれません。

これらを組み合わせた解決策があるかもしれません。今すぐクラウドベースにして、データベースにAI生成のaltテキストをタグ付けしておき、LLMがさらに進歩する6〜12ヶ月後に再生成する、という方法です。

最終的には実用主義と信念のバランスの問題でもあります。データプライバシーとオープンソースを信じてローカルモデルにこだわるべきか、それとも視覚障害者のために最良のaltテキストを提供することでアクセシビリティを優先すべきか。ローカルファーストのアプローチは自分の価値観に合っていますが、視覚障害者のユーザー体験がその分損なわれてしまうかもしれません。

この選択肢について、今後数週間かけて検討するつもりです。皆さんならどうしますか？ぜひ意見を聞かせてください！

更新：alt-textへのAI活用についての考えは、複数のブログ記事を通じて進化してきました。最初は結局クラウドベースのLLMを選びました。次に、1枚の画像の説明文を生成・更新する自動化システムを構築しました。そして最終的に9,000枚に拡大し、その過程でAIを信頼することを学びました。

By Dries Buytaert

この記事は「Comparing local large language models for alt-text generation」(投稿日：2025-02-03)の翻訳記事です。