LLMは、大量の文章データと多数のパラメーターを使って学習し、文章の生成、要約、分類、質問応答などを行う言語モデルです。日本語では「大規模言語モデル」と呼ばれます。
LLMとは
LLMは「Large Language Model」の略です。言語モデルは、文章中の語や記号の並び方を確率的に学び、文脈に続く内容を予測します。「大規模」は、学習データ、計算量、モデルのパラメーター数などが大きいことを表しますが、厳密な境界はありません。
文章を生成する仕組み
LLMは文章をトークンという単位に分割します。トークンは単語と完全には一致せず、単語の一部、記号、空白などになる場合があります。
入力されたトークン列を基に、次のトークンの確率を計算し、一つを選びます。この処理を繰り返して回答を生成します。そのため、LLMはデータベースから正解文をそのまま検索しているとは限りません。
学習と利用
事前学習では、大量の文章から言語のパターンや知識の関係を学びます。その後、指示へ応答しやすくする追加学習や、人の評価を利用した調整、安全性を高める処理などが行われます。
利用者が質問を入力して回答を得る段階を推論と呼びます。利用時の指示文をプロンプト、モデルが一度に参照できる入力と出力の範囲をコンテキストウィンドウと呼びます。
得意なこと
- 文章の下書き、要約、翻訳、書き換え
- 文書から項目を抽出して整理する
- 複数案を作り比較観点を提示する
- プログラムコードやテストの補助
- 対話形式で情報探索を支援する
限界
LLMは、出力の真偽を自動的に保証しません。学習後に起きた出来事を知らない、計算を間違える、存在しない出典を作る、入力の微妙な違いで回答が変わることがあります。
また、モデルが大きいほどすべての業務で優れるとは限りません。速度、料金、利用可能な文脈量、データ保存条件、専門分野での精度を評価します。
RAGや追加学習との違い
RAGは、質問に関連する文書を外部から検索し、その内容をLLMへ渡して回答させる仕組みです。情報を更新しやすく、根拠を提示しやすい利点があります。
追加学習は、例示データを使ってモデルの出力傾向や形式を調整する方法です。最新の事実を覚えさせる目的では、RAGの方が更新しやすい場合があります。
業務利用の注意点
利用前に、正確性、機密性、著作権、偏り、可用性、費用を評価します。重要な判断は人が確認し、根拠資料へ戻れるようにします。モデルや設定は更新されるため、代表的な質問と期待結果をテストとして保存し、変更後に再評価します。
まとめ
LLMは、大量の文章から言語パターンを学び、次のトークンを予測して文章を生成するモデルです。幅広い作業を支援できますが、正解を保証するデータベースではありません。用途に合わせて評価と人の確認を組み込みましょう。