TruEra は、AI スタックの重要なギャップを埋め、ライフサイクルを通じてモデルの品質を説明およびテストします。TruEra の AI ソリューションは、機械学習モデルの説明、デバッグ、およびモニタリングを行い、より高い品質と信頼性を実現するとともに、迅速なデプロイメントを可能にします。このソリューションは、モデルのライフサイクル全体にわたって機能し、モデル開発プラットフォームに依存せず、既存のAIスタックに簡単に組み込むことができます。
TruEra社は現在、 MLOps New Relicとの統合を提供しており、MLのライフサイクル全体で信号を相関させ、標準的な精度を超えて、入出力のドリフトを監視するMLOpsチームを支援しています。
TruEraとNew Relicの統合
TruEraへの機械学習モデルの追加
TruEraは、機械学習モデルやその他のデータを取り込むためのコマンドライン・インターフェース(CLI)とPythonクライアントを提供しています。CLIを使用してモデルを追加する手順には、新規プロジェクトの作成、データ収集、トレーニングデータの追加、モデルのパッケージ化と取り込み、本番データの追加が含まれます。
これらの手順は、 TruEraのテクニカル・ドキュメント・ページ に記載されています。
TruEraからNew Relicへのデータの流れ
新しいデータセットがTrueraMonitoringシステムに取り込まれるたびに、関連するメトリックが計算されて保存されます。これらの計算されたメトリックは、 truera2newrelic
データエクスポーターを使用して定期的にNewRelicにプッシュできます。このエクスポーターには、TrueraおよびNewRelicコンソールによって生成されたAPIキーが必要です。
以下に、これらのキーを作成する方法を説明します。
- New Relic のアカウントにログインします。 Log into one.newrelic.com and click on Explorer.上部の角にあるメインナビゲーションメニューで、 + Add more data をクリックします。
- TruEra をクリック: 検索バーで TruEra と入力するか、MLOps Integration セクションまでスクロールダウンして、 TruEra のアイコンをクリック します。
- Select an account ID: TruEraと統合したいアカウントIDを選択してください。
- Select or create an API key: ダッシュボードの管理には Active dashboard key が、メトリクスの取り込みには Model metrics data key が必要です。これらのキーは、 New Relic のライセンスキー を参照しています。新しいキーを作成するか、2つのキーのセクションで既存のキーを選択します。
- TruEraでキーを作成する: TruEraコンソールにログインし、ユーザー・ページに移動します。 Generate Credentials をクリックして、 Auth token を作成します。
- Verify the data export run and set up the batch exporter: 次に、 TruEra docs にアクセスして、ターミナルのコマンドを使用して最初のデータ・エクスポー ト実行を検証する方法の手順を確認してください。次に、仮想マシン上でバッチ・データ・エクスポーターをセットアップします。
TruEra を使用して、すぐに使える New Relic ダッシュボードを表示します。
機械学習のモニタリング指標を可視化するために、TruEra は、モデルの健全性、セグメントのドリルダウン、フィーチャの値、データの品質、公平性などのテーマを使用して問題を監視し、ドリルダウンするためのスケルトン・ダッシュボードを提供します。
これらのダッシュボードは、 truera2newrelic
ダッシュボードツールを使用して設定できます。これを行うには、次の手順に従います。
- Verify your model metrics: one.newrelic.com から、ナビゲーションメニューに入り、メインナビゲーションメニューのダッシュボードタブをクリックします。与えられたMLモデル用に自動生成されたダッシュボードの設定が表示されます。最近エクスポートしたモデルのメトリクスが表示されていることを確認します。
- アラート通知の設定: ダッシュボードをいくつか作成したら、データにアラートを出すことができます。チャートから NRQL アラート条件を作成するには、チャートウィジェットをクリックし、 アラート条件の作成 をクリックします。条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成することができます。
- Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
- インシデントの関連付け:通知に加えて、インシデントインテリジェンスを使用してインシデントを関連付けることができます。 決定を使用してインシデントを関連付ける方法については、ドキュメントを参照してください。
これで、New Relic と TruEra の統合が完了しました。新たに作成されたアラートは、New Relic のアラートと相関関係があり、新たに報告された予測に関するデータを見ることができるようになりました。