Red Hat SummitLLMOps とは
大規模言語モデル (LLM) は、人間の言語を理解し、生成できる機械学習 (ML) モデルです。GPT-3、LLaMA、Falcon などの LLM は、データから学習して単語や文章を生成するツールです。 これらのツールは進化し続けており、こうしたモデルの運用に関するベストプラクティスが必要とされています。 その穴を埋めるのが LLMOps です。
大規模言語モデル運用 (LLMOps) は、大規模言語モデルの管理に使用される運用手法です。LLMOps により、ファインチューニングからメンテナンスまで LLM のライフサイクルが管理および自動化され、開発者やチームによる LLM のデプロイ、監視、保守が容易になります。
LLMOps とMLOps
LLM が ML モデルのサブセットなら、LLMOps は機械学習運用 (MLOps) の大規模言語モデル版です。MLOps とは、ML モデルのデプロイと保守のプロセスを最適化することを目的としたワークフローの一連のプラクティスです。MLOps は、ML モデルをソフトウェア開発プロセスに統合するための、継続的な進化の確立を目指しています。同様に、LLMOps は LLM の開発とデプロイのライフサイクルの継続的な実験、反復、導入、改善を目指しています。
LLMOps と MLOps には類似点がありますが、相違点もあります。例として次のようなものがあります。
学習：通常、従来の ML モデルはゼロから作成またはトレーニングされますが、LLM は基盤モデルから開始され、タスクのパフォーマンスを向上させるためにデータを使用してファインチューニングされます。
チューニング：LLM のファインチューニングは、パフォーマンスを向上させ、精度を向上させ、特定の主題に関するモデルの知識を向上させます。プロンプトチューニングは、LLM が特定のタスクでより良いパフォーマンスを発揮できるようにします。ハイパーパラメーターチューニングも相違点の 1 つです。従来の ML では、チューニングは精度の改善に重点を置いています。LLM では、精度を高めるだけでなく、トレーニングに必要なコストと電力量を削減するためにもチューニングが重要です。どちらのモデルタイプも、チューニングプロセスによるメリットがありますが、その重点は異なります。また、検索拡張生成 (RAG) についても言及するべきでしょう。RAG は、外部の知識を使用して、LLM が正確かつ具体的な事実を収集し、より適切な応答を生成するようにするプロセスです。
フィードバック：ヒューマンフィードバックによる強化学習 (RLHF) により、LLM のトレーニングは改善されました。人間からのフィードバックは LLM のパフォーマンスにとって重要です。従来の ML モデルが特定の指標を使用して正確性を評価するのに対し、LLM はフィードバックを使用して正確性を評価します。
パフォーマンスメトリクス: ML モデルには正確なパフォーマンス メトリクスがありますが、LLM には バイリンガル評価アンダースタディ (BLEU) や Recall-Oriented Understudy for Gisting Evaluation (ROUGE など) の異なるメトリクスセットがあります) 。これらはより複雑な評価を必要とします。
Red Hat のリソース
LLMOps のメリット
LLMOps は、パフォーマンスの監視と強化を行うための最適な方法になったことで、説明すべき 3 つの主なメリットがあります。
効率性：LLMOps を使用すると、モデルをより早く開発し、モデルの品質を向上させ、迅速にデプロイすることができます。管理が効率化され、コミュニケーション、開発、デプロイを促進する 1 つのプラットフォーム上でチーム間のコラボレーションが向上します。
スケーラビリティ：LLMOps は、継続的インテグレーションおよび継続的デリバリー/デプロイ (CI/CD) について、複数のモデルを管理および監視できるため、スケーラビリティと管理を支援します。 また、LLMOps はデータ通信と応答を改善することで、より応答性の高いユーザーエクスペリエンスを実現します。
リスクの軽減：LLMOps によって透明性が向上し、組織や業界のポリシーへのコンプライアンスが強化されます。LLMOps は、機密情報を保護し、リスクにさらされることを防ぐことで、セキュリティ とプライバシーを向上させることができます。
LLMOps のユースケース
LLMOps には次のようなユースケースがあります。
継続的インテグレーションおよびデリバリー (CI/CD)：CI/CD は、モデル開発ライフサイクルの最適化、迅速化、自動化を目的としています。 新しいコードの取得に必要な手作業が不要になるため、ダウンタイムが削減され、コードのリリースが迅速になります。 Red Hat OpenShift Pipelines がベースとなっている Tekton のようなツールは、複数のプラットフォームにわたるデプロイメントを自動化することで、開発者のワークフローをサポートします。
データ収集、ラベル付け、ストレージ：データ収集は、さまざまなソースを使用して正確な情報を収集します。データラベル付けはデータを分類し、データストレージはネットワークに接続されたデジタル情報を収集して保持します。
モデルのファインチューニング、推論、監視：モデルのファインチューニングは、ドメイン固有のタスクを実行するようにモデルを最適化します。モデル推論では、既存の知識に基づいてプロダクションを管理し、推論された情報に基づいてアクションを実行できます。ヒューマンフィードバックを含むモデル監視では、モデルの動作に関するデータを収集して保存し、モデルがプロダクションデータでどのように動作するかを学習します。
LLMOps の段階
LLMOps にはいくつかの段階やコンポーネントがあり、それぞれにベストプラクティスがあります。
探索的データ分析 (EDA)：データを評価し、データセットを作成することで機械学習ライフサイクルを準備するプロセス。
- データ収集：コードアーカイブやソーシャルメディアネットワークなどのさまざまなソースから収集される LLM のトレーニングに使用される最初のステップです。
- データクリーニング：データを収集したら、エラーの削除、不一致の修正、重複データの削除など、データを検査してトレーニングの準備をする必要があります。
- データ探索：次のステップでは、外れ値の特定やパターンの発見など、データを探索してその特性をより深く理解します。
データ準備とプロンプトエンジニアリング：アクセス可能なデータをチーム間で共有し、LLM 用のプロンプトを開発するプロセス。
- データ準備：LLM のトレーニングに使用するデータは、収集されたデータを 統合して結論付けるなど、方法で準備されます。
- プロンプトエンジニアリング: LLM が目的の出力を生成するように、テキストに使用するプロンプトを作成する。
モデルのファインチューニング：Hugging Face Transformers などの一般的なオープンソースライブラリを利用して、モデルのパフォーマンスをファインチューニングして改善します。
- モデルのトレーニング：データが準備された後、機械学習アルゴリズムを使用してデータ内のパターンを学習させることによって、LLM のトレーニングやファインチューニングを行います。
- モデルの評価：トレーニングの完了後、LLM のトレーニングに使用されなかったデータのセットを使用して LLM がどの程度うまく機能するかを確認し、LLM を評価する必要があります。
- モデルのファインチューニング：LLM のパフォーマンスが良好でない場合は、LLM のパラメーターを変更してパフォーマンスを向上させるなどのファインチューニングが可能です。
モデルレビューとガバナンス：Kubeflowなどのオープンソース MLOps プラットフォームの支援を受けて、ML モデルを発見、共有、連携するプロセス。
- モデルのレビュー：ファインチューニングの完了後、LLM が安全で信頼できることを確認するためにレビューが必要になります。これにはバイアスやセキュリティに関するリスクのチェックが含まれます。
- モデルガバナンス：モデルガバナンスは、ライフサイクルを通じて LLM を管理するプロセスです。これにはパフォーマンスの追跡、必要に応じた変更、不要になった場合の廃棄が含まれます。
モデルの推論と提供：モデルの更新頻度やリクエスト時間など、プロダクションの詳細を管理するプロセス。
- モデルの提供：LLM のレビューと承認が完了すると、プロダクションにデプロイして、アプリケーション・プログラミング・インタフェース (API) を通じて利用できるようになります。
- モデル推論：アプリケーションが API にクエリを実行することで、API はテキストを生成したり、質問に答えたりすることができます。これは、 Representational State Transfer Application Programming Interface (REST API) や Web アプリケーションなど、さまざまな方法で実行できます。
ヒューマンフィードバックによるモデル監視：ユーザーの異常な行動や悪意のある行動を監視するモデルとデータの作成。
- モデルの監視：LLM をデプロイしたら、期待どおりに動作していることを確認するために LLM を監視する必要があります。これにはパフォーマンスの追跡、問題の特定、必要に応じた変更が含まれます。
- ヒューマンフィードバック：LLM のパフォーマンスを向上させるために使用します。LLM が生成するテキストに関するフィードバックを提供するか、LLM のパフォーマンスの問題を特定します。
LLMOps プラットフォームとは
LLMOps プラットフォームは、開発者やチームに、データ分析、実験の追跡、迅速なエンジニアリング、LLM 管理を通じたコラボレーションを促進する環境を提供します。また、LLM の管理されたモデルの移行、デプロイ、監視も提供します。 このプラットフォームはライブラリ管理が優れているため、運用コストを削減するのに役立ち、データの前処理、モデルの監視、デプロイメントなどのタスクを完了するために高度なスキルを持つ技術チームメンバーの必要性を減らすことができます。
Red Hat を選ぶ理由
LLMOps を有益に使用する方法を理解しようとしている場合でも、機械学習の運用について理解しようとしている場合でも、 Red Hat はチームが AI から利益を得るための基盤を提供できます。
Red Hat® AI は、Red Hat のお客様の信頼を得ているソリューションに基づいて構築された AI 製品のポートフォリオです。
Red Hat AI のサポートによって以下のことが可能になります。
- AI を迅速に導入してイノベーションを実現する
- AI ソリューションの提供における複雑さを解消できる
- どこにでもデプロイできる
適切な LLMOps ツールを使用すれば、LLM のライフサイクルを管理し自動化することができます。 Red Hat OpenShift® AI は、ハイブリッドクラウド環境全体で予測型 AI モデルと生成 AI モデルの両方のライフサイクルを管理できます。開発者は LLM をシームレスにデプロイ、監視、保守できます。
Red Hat 公式ブログ
Red Hat のお客様、パートナー、およびコミュニティのエコシステムに関する最新の情報を入手しましょう。
