ニューラルネットワーク、CNN、RNN、Transformer、活性化関数、最適化手法に関するG検定対策問題
あなたは多言語翻訳サービス会社で、新しい機械翻訳システムの開発責任者です。以下の要件を満たすモデル選択が必要です。
要件：
・日英翻訳で高品質な結果を実現したい
・長文（1000単語以上）の翻訳も高品質で処理したい
・系列方向の並列化により学習を効率化したい
・文脈を適切に捉えた自然な翻訳が必要
・従来のRNN/LSTM系モデルは長文で精度低下が課題
この状況で最も適切なアーキテクチャ選択を選びなさい。
正解
選択肢2「Transformer（Self-Attention）ベースのEncoder-Decoderモデルを採用する」が正解です。
正解になる理由
Transformerアーキテクチャは機械翻訳において革命的な改善をもたらしました。Self-Attention機構により長距離依存関係を効率的に捉え、RNNの順次処理制約を解消して、学習時は（教師強制により）全時刻を並列に計算できます。推論時もエンコーダは入力文全体を並列処理できますが、デコーダの自己回帰生成は1トークンずつ逐次に行う点に注意が必要です。長文でも文脈を適切に保持し、質の高い翻訳を実現できます。GPT、BERTなど現代の言語モデルの基盤技術です。
各誤答がなぜ誤りか