小型ローカルビジョンモデルの意外な実力、数学問題で31Bを上回る4B

AI研究者による実験がビジョンモデルの常識を揺さぶっています。ローカル環境で稼働する複数のビジョンモデルに対し、90問の数学問題を画像として提示し、各問について3回の推論を実行。すべての試行で一貫した回答を返したモデルのみをスコアに含めるという厳密な検証方法が採られました。その結果、Gemma 4 31Bが89.6%（270問中242問正解）で最高の一貫性を記録する一方、Qwen 3.5 4Bが88.9%（270問中240問正解）で2位という意外な順位表が生成されました。わずか4億パラメータのモデルが、大規模な31Bモデルとほぼ同等の性能を発揮。この結果は、モデルサイズと性能が必ずしも比例しないことを示唆しています。ローカル環境での運用効率を求める実装者たちの視界に新たな可能性が映ったと言えるでしょう。

注目すべきは、この実験が露わにした『画像読み取り』と『問題解法』という2つの独立したスキルの存在です。ビジョンモデルが数学問題を解くというタスクは、単一の能力ではなく、まず画像から数式やグラフを正確に認識し、その後に数学的推論を行うという二段階プロセスだということです。Qwen 3.5 4Bが高い一貫性を維持できたのは、小さなパラメータ数に最適化された設計と高度な量子化技術の組み合わせによるものと見られます。テスト環境ではすべてのモデルがGGUF形式とmmprojファイルで統一され、Unslothの高度な量子化スキーム（Q6KXL）を採用。このような条件整備により、小型モデルの真の実力が引き出されたとも解釈できます。言い換えれば、最適な量子化と環境設定があれば、わずかなメモリフットプリントで実用的な性能を獲得できるということです。

ローカル環境で独自のAIワークフロー（いわゆるエージェンティック・ワークフロー）を構築するにあたり、重要な示唆が隠されています。従来の『より大きなモデルを選べば安心』という発想から『タスク固有の最適モデルを選択する』という思考への転換が促されるのです。Qwen 3.5 4Bは、大規模なVRAMを必要としないため、同じリソース内で複数のモデルを並走させたり、限定的なハードウェア環境（エッジデバイスなど）での運用も視野に入ります。実験結果の完全リストをみると、Gemma 4の各バージョン（31B、E4B、26B A4B、E2B）がランキング上位を占める一方で、Qwen系も2位と6位に食い込んでおり、異なるアーキテクチャでも高性能を両立させることが可能だと分かります。この柔軟性こそが、組織内のエンジニアリング体験を大きく向上させる要素となり得るでしょう。

ビジョンモデルの選定基準そのものが再定義される局面に立っていると言えます。これまで『推論速度は遅いが精度が高い大型モデル』『推論は速いが精度に不安がある小型モデル』という二項対立で捉えられてきました。しかし今回のテストでは、4Bモデルが高速かつ高精度を同時に実現。予算制約のあるプロジェクトやプライベートクラウド環境、あるいはオンデバイスAIの需要が高まる中で、この実験結果は規模の正義が必ずしも絶対ではないことを実証しました。パラメータ数が小さければVRAM消費も少なく、推論スループットも向上し、結果としてエンタープライズやスタートアップの運用効率が改善される可能性があります。ローカルLLM・ビジョンモデルの活用戦略を見直す契機として、この実験報告は多くの実装者にとって参考値となるはずです。