Monaは、運用中のAIシステム全体からデータを収集・分析し、すぐに使える指標とカスタム指標の両方でモデルの品質を評価することができます。また、データドリフト、モデルバイアス、データインテグリティの問題が、データの特定のセグメントでのみ発生した場合でも、実用的なインサイトを介して検出することができます。
Monaは今回、 MLOps New Relicとの統合を提供し、Monaが監視するAIの状態をNew Relic上の一元的な運用ビューに追加できるようになりました。
MonaからNew Relicへのデータの移行
Mona では、処理されたコンテクストデータを New Relic と自動的に共有し、後で NRQL で利用することができます。Mona から New Relic にデータを受信するためには、アカウント番号と専用のキーが必要で、以下の手順で取得できます。
- New Relic アカウントにログインします。 Log into New Relic One をクリックし、 Explorer をクリックします。上部の角にあるメインナビゲーションメニューで、 +Add more data をクリックします。
- Select Mona: 検索バーに Mona と入力するか、MLOps Integration セクションにスクロールダウンして、 Mona アイコンをクリックしてください。
- Copy your account ID: Monaに統合させたいアカウントIDを選択します。 continue をクリックします。ここで、 copy アイコンを使って、アカウントIDをコピーします。
- MonaポータルでNew Relicを選択 ここで、Monaポータルにログインし、設定ページに行き、関連するコンテクストクラスをクリックします。次に、 Integration タブに移動し、 New Relic を選択します。
- Paste your account ID: New Relic からコピーしたアカウント ID を Mona のアカウント ID フィールドに貼り付けます。
- Select or create an API key: さて、New Relic に戻り、New Relic の統合ページから、 Processed contextual data の下に、処理済みの ライセンスキー (または既存のキーを選択)を作成します。Monaに戻って、このキーを Ingest license key フィールドに入力します。
- Save the integration: Click Save これでMonaとNew Relicの両方にデータが統合されました。
New RelicのアクティブなMonaインサイトでダッシュボードを作成する
Mona は、アクティブなインサイトを含む New Relic ダッシュボード を自動的に作成します。これらを有効にするには、以下の手順に従ってください。
- Mona での通知の追加: New Relic で統合を設定したら、コンテクスチュアルプロジェクト内の Mona で Notifications タブに移動します。右上の Add a notification をクリックし、関連するフィールドに入力していきます。
- ユーザーAPIキーの取得： New Relicの統合ページに戻り、 Select or create an API Key under Active insights.このキーをコピーします。
- Mona にキーをペースト: Mona の通知設定タブで、 New Relic ダッシュボード の下にキーをペーストします。 Save をクリック.
MonaInsightsをNewRelicインシデントインテリジェンスに接続する
New Relicのインシデントインテリジェンスは、インシデントを相互に関連付け、環境内のノイズを減らすのに役立ちます。すべてのインシデント、そのソース、および関連するイベントの概要が表示されます。 Monaの洞察をNewRelicに送信することで、それらを他のソースからの他の問題に結び付け、モデルをより明確にして理解することができます。
- Mona での通知の追加: New Relic で統合を設定したら、コンテクスチュアルプロジェクト内の Mona で Notifications タブに移動します。右上の Add a notification をクリックし、関連するフィールドに入力していきます。
- チェックボックスをクリックします。[ Mona通知の設定]タブで、[ NewRelicインシデントインテリジェンスを含める]チェックボックスをオンにします。
- 保存して通知を受ける： 通知設定ページの下部にある「保存」をクリックします。これで次にMonaがインサイトを発見したときには、Monaに通知が届き、New Relicにアラートが表示され、専用の New Relicダッシュボード でインサイトを直接見ることができるようになります。
callout.Sending Older Insights
New Relicのインシデントインテリジェンスは、過去24時間に最初に現れた新しい洞察のみを受け取ることができます。それより前の洞察はNewRelicでは受け入れられません。
Mona モデルを New Relic ダッシュボードで表示、探索することができます。
MonaでNew Relicとの統合を設定すると、標準的なモデルメトリクスがNew Relicに送信されます。モデル観測性のダッシュボードをご覧いただき、お客様のビジネス・コンテキストに合わせたモデル観測性のための特定のモデル・メトリックやインシデント・ポリシーを設定してください。
- Mona 統合ダッシュボードに行く 統合とインサイトの設定が完了したら、New Relic 統合ページに戻り、 See your data をクリックします。これにより、Mona によって自動的に生成されたダッシュボードにリダイレクトされます。
- モナのダッシュボードを分析する 最初のダッシュボードには、コンテキストクラスごとのデータフローが入力されています。さらに、 View your active insights on a New Relic dashboard というリンクをクリックすると、Mona のインサイトを見ることができます。最初に統合したデータに基づいて、Mona が自動的に生成したダイナミックな AI データが表示されます。
- アラート通知の設定： ダッシュボード（複数可）にいくつかのチャートを作成したら、データに関するアラートを取得することができます。NRQL アラート条件 をチャートから作成するには、チャートウィジェット ... メニューをクリックし、 アラート条件の作成 をクリックします。名前を付けて条件をカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成したりすることができます。
- Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
- インシデントの関連付け：通知に加えて、インシデントインテリジェンスを使用してインシデントを関連付けることができます。 決定を使用してインシデントを関連付ける方法については、ドキュメントを参照してください。
これでNew RelicとMonaの統合が成功しました。新しく作成されたMonaのアラートは、New Relicのアラートと相関関係があり、直近に報告された予測に関するデータを見ることができるようになりました。