デコーダーのみ型Transformerを理解する：マスク付き自己注意機構の仕組み

デコーダーのみ型Transformerは、ChatGPTやClaudeなど現代の生成系AIの設計基盤です。エンコーダー・デコーダー型の従来型構造とは異なり、デコーダー層のみで系列処理を行う効率的なアーキテクチャとして知られています。このアプローチが普及した背景には、自己回帰的な言語生成タスクとの相性の良さがあります。テキスト生成時に「過去のトークンのみを参照して次のトークンを予測する」という要件が、デコーダーのシンプルな構造と完全に一致するためです。本シリーズでは、このアーキテクチャを支える中核メカニズムを段階的に掘り下げていきます。

マスク付き自己注意機構は、Transformerの心臓部ともいえる存在です。通常の自己注意（Self-Attention）では、入力系列のあらゆるトークンが他の全トークンとの関係性を計算します。しかしデコーダーのみ型では、生成時に「未来のトークン」がまだ存在しないため、過去のトークンのみを参照する必要があります。そこで登場するのが「マスク」です。注意スコア計算後、未来位置への接続を数学的に0に設定（マスキング）することで、因果性を保証します。これにより、推論時に各ステップで次トークンの確率分布を安全に計算できるようになるわけです。マスク機構は訓練時と推論時で同じルールが適用され、一貫性が保たれます。

マスク付き自己注意の具体的な計算フローは次の通りです。入力トークン列から、クエリ・キー・バリューの3つの行列が導出されます。次に、クエリとキーの内積を計算して注意スコアを算出。このスコアに対して、未来位置（現在位置より後ろ）への接続を-∞に置き換えるマスク操作を実施します。その後ソフトマックス関数を適用すると、マスク領域の確率は自動的に0になります。最後にバリュー行列との加重和を取ることで、各位置の出力が得られます。この一連のプロセスにより、因果性の制約下でも豊かな文脈表現が実現できるのです。実装上、マスク行列は三角行列として効率的に表現されることが一般的です。

デコーダーのみ型TransformerとマスクメカニズムーこうしたLLMの基礎を理解することは、モダンAIの内部動作を把握する第一歩になります。今後のシリーズでは、複数層のマスク付き自己注意をどう積層するか、前方フィードフォーワード層との組み合わせ、そして実装上の最適化テクニックまで掘り下げていく予定です。ポジショナルエンコーディングやキャッシュ機構など、実務的な詳細も含めて段階的に学べば、生成系LLMの「なぜ」が次々と解きほぐされていくでしょう。