Amazon SageMaker MLOpsとの連携

Amazon SageMakerのNew Relicとの統合により、システム全体でマシンラーニングのパフォーマンスを計測、分析、トラブルシューティング、最適化できるようになります。モデルの入力または出力の変化、およびその2つの間の関係に素早く反応する能力を厳密に観察します。

次のステップで、Amazon SageMakerのメトリクスとオブジェクト（AWS CloudWatchに送信される）を監視し、New Relicで エンティティ と ダッシュボード として表示します。

SageMakerとの連携の様子は、YouTubeのショートムービー（2分57秒）でご覧いただけます。

AWS CloudWatchのメトリクスをNew Relicにストリームする

New Relic MLOps エンティティの恩恵を、シンプルなステップで（しかもわずか数分で！）開始できます。

FROM Metric SELECT *  WHERE aws.Namespace='/aws/sagemaker/Endpoints'  LIMIT MAX SINCE 1 WEEK AGO

マニュアルオプション

CloudWatch Metric Streams をセットアップするには、私たちのドキュメントに従ってください。

自動化オプション

Terraform code を使ってセットアップを自動化することもできます。

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "[your-newrelic-license-key](/docs/apis/intro-apis/new-relic-api-keys/#ingest-license-key)"
}

モジュールを呼び出すときは、正しいnewrelic_collector_endpointを書き込んでください：

• HTTPエンドポイントURL-米国のデータセンター： https://aws-api.newrelic.com/cloudwatch-metrics/v1
• HTTPエンドポイントURL-EUデータセンター： https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

メトリックストリームを設定する際には、すべてのネームスペースからメトリックをストリームするか、ネームスペースを指定するかを選択できます。

Amazon SageMakerでデータやモデルを監視し、メトリクスをCloudWatchに送信することができます。

SageMakerは、エンドポイントのパフォーマンスを自動的に監視し、統計的なメトリクスをCloudWatchに送信します。詳細は、 Endpoint CloudWatch Metrics を参照してください。

Amazon SageMaker MLOpsの統合からより多くの利益を得るには、Amazon SageMaker Model Monitorツールを使用します。運用中の機械学習モデルの品質を監視し、メトリクスをCloudWatchに送信するために、スケジュールされた監視ジョブを定義する必要があります。

Amazon SageMaker Model Monitor では、以下のようなモニタリングが可能です。

• データ品質の監視: データ品質のドリフトを監視する。

  • ノートブック例： Amazon SageMaker Model Monitor
  • 名前空間： aws/sagemaker/Endpoints/data-metrics

• Monitor Model Quality: 精度などのモデル品質メトリクスのドリフトを監視します。

  • 例のノートブック： Amazon SageMaker Model Quality Monitor
  • 名前空間： aws/sagemaker/Endpoints/model-metrics

• Monitor Bias Drift for Models in Production: モデルの予測値の偏りを監視します。

  • 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
  • 名前空間： aws/sagemaker/Endpoints/bias-metrics

• Monitor Feature Attribution Drift for Models in Production: Monitor drift in feature attribution.

  • 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
  • 名前空間： aws/sagemaker/Endpoints/explainability-metrics

高度なオプション

メトリックスデータポイントをAmazonCloudWatchに公開し、 put_metric_data関数を使用して名前空間と上記のいずれかを定義することもできます。

ハイパーパラメータの調整に独自のアルゴリズムを使用する場合は、評価データをstderrまたはstdoutに書き込んで、少なくとも1つのメトリックを送信するようにしてください。 自動モデルチューニングでメトリックを定義する方法の詳細をご覧ください。ノートブックのサンプルScikit-LearnRandomForestの開発、トレーニング、最適化、およびデプロイも参照してください。

MLOpsのエンティティとダッシュボードを見る

詳細な名前空間のaws-entitiesを（MLOpsエンティティドメインの下に）生成します。これらのエンティティについては、すぐに使用できるダッシュボードとビューを取得できます。独自のダッシュボードを作成して、エンティティのビューの一部として表示されていないメトリックを表示することもできます。

one.newrelic.com にアクセスし、 Explorer を選択してご覧ください。

• あなたのマシン・ラーニング・エンティティ

• Amazon SageMakerのエンティティの1つから、エンドポイントのメトリクスを表示するダッシュボード

• モデルデータエンティティのダッシュボード