ログフォワーディングのためのAWS FireLensプラグイン

ログデータを既に AWS FireLens で監視している場合、弊社のFireLensインテグレーションを使用して、New Relicでログデータを転送し、リッチ化することができます。この統合は、弊社の Fluent Bit 出力プラグインをベースに構築されています。

FireLensのログをNew Relicに転送することで、ログデータの収集、処理、探索、クエリ、アラートなどのログ管理機能が強化されます。

基本的な手順

ログ管理機能を有効にするには

持っているか確認してください。

A New Relic のライセンスキー
Amazon EC2 Container Service（ECS）クラスタ

FireLens log router container をサイドカーとして実行するように設定します。（サイドカーとは、サービスの中核となる責任の一部を、中核となるアプリケーションと一緒にデプロイされるコンテナ化されたモジュールに移す方法です）。
アプリケーションコンテナの設定.
いくつかのトラフィックを生成し、数分待ってから、あなたのアカウントのデータをチェックしてください。

FireLensのログ・ルーター・コンテナの設定

New Relic では、Fluent Bit イメージを使用して、FireLens ログルーターコンテナを設定します。このコンテナは、アプリケーション・プラグインからのすべてのログ・ルーティングを処理します。

FireLensからNew Relicにログを転送するために。

既存のECSタスク定義に、Firelensログ・ルーターとして機能するサイドカー・コンテナを追加します。ECSのログ・ルーティングの設定については、 Amazon ECS documentation for custom log routing を参照してください。
推奨画像を、AWSリージョンのNew Relic Fluent Bit出力プラグインの画像に置き換えます。
このコンテナのmemoryReservation属性を設定します。

AWSリージョン	画像のフルネーム
ap-northeast-1	`533243300146.dkr.ecr.ap-northeast-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
ap-northeast-2	`533243300146.dkr.ecr.ap-northeast-2.amazonaws.com/newrelic/logging-firelens-fluentbit`
AP-NORTHE-3	`533243300146.dkr.ecr.ap-northeast-3.amazonaws.com/newrelic/logging-firelens-fluentbit`
ap-south-1	`533243300146.dkr.ecr.ap-south-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
ap-southeast-1	`533243300146.dkr.ecr.ap-southeast-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
ap-southeast-2	`533243300146.dkr.ecr.ap-southeast-2.amazonaws.com/newrelic/logging-firelens-fluentbit`
CA-CENTRAL-1	`533243300146.dkr.ecr.ca-central-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
EU-CENTRAL-1	`533243300146.dkr.ecr.eu-central-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
EU-NORTH-1	`533243300146.dkr.ecr.eu-north-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
EU-WEST-1	`533243300146.dkr.ecr.eu-west-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
EU-WEST-2	`533243300146.dkr.ecr.eu-west-2.amazonaws.com/newrelic/logging-firelens-fluentbit`
EU-WEST-3	`533243300146.dkr.ecr.eu-west-3.amazonaws.com/newrelic/logging-firelens-fluentbit`
sa-east-1	`533243300146.dkr.ecr.sa-east-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
US-EAST-1	`533243300146.dkr.ecr.us-east-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
US-EAST-2	`533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit`
US-WEST-1	`533243300146.dkr.ecr.us-west-1.amazonaws.com/newrelic/logging-firelens-fluentbit`
US-WEST-2	`533243300146.dkr.ecr.us-west-2.amazonaws.com/newrelic/logging-firelens-fluentbit`

例えば：

{
    "essential": true,
    // Image below is New Relic's fluentbit output plugin available on ECR
    "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit",
    "name": "log_router",
    "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
            "enable-ecs-log-metadata": "true"
        }
    }
}

アプリケーションコンテナの設定

AWS Secrets Manager（推奨）

タスク定義でNew Relicのライセンスキーが公開されないようにするには、 AWS Secrets Manager サービスを使用することを強くお勧めします。

シークレットを追加するときは、[プレーンテキスト]タブを使用します。シークレットマネージャーにシークレットを追加したら、 logConfigurationブロックを使用してシークレットを参照し、 SECRET_NAMEをAWSシークレットの名前に置き換えることができます。例えば：

"logConfiguration": {
     "logDriver":"awsfirelens",
     "options": {
        "Name": "newrelic"
     },
     "secretOptions": [{
        "name": "apiKey",
        "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:SECRET_NAME"
     }]
}

平文キーの設定

logConfigurationブロックを使用して、 INSERT_API_KEYをNewRelicライセンスキーに置き換えます。構成の詳細については、 GitHubのFireLensタスク定義を参照してください。

"logConfiguration": {
     "logDriver":"awsfirelens",
     "options": {
        "Name": "newrelic",
        "apiKey": "NEW_RELIC_LICENSE_KEY"
    }

構成例

基本的なNGINXサーバーのタスク定義例。

{
    "family": "newrelic-firelens",
    "networkMode": "awsvpc",
    "requiresCompatibilities": [
        "FARGATE"
    ],
    "containerDefinitions": [
        // FireLens log router container
        {
            "essential": true,
            // Image below is New Relic's fluentbit output plugin available on ECR
            "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit",
            "name": "log_router",
            "firelensConfiguration": {
                "type": "fluentbit",
                "options": {
                    "enable-ecs-log-metadata": "true"
                }
            }
         },
         // Application container
         {
            "essential": true,
            "name": "webserver",
            // Application image goes here
            "image": "nginx",
            "cpu": 512,
            "memoryReservation": 1024,
            "portMappings": [{
                "containerPort": 5000
            }],
            "environment": [{
                "name": "VERSION",
                "value": "V1"
            }],
            // New Relic Fluentbit Output configuration
             "logConfiguration": {
                 "logDriver":"awsfirelens",
                 "options": {
                    "Name": "newrelic"
                 },
                 "secretOptions": [{
                    "name": "apiKey",
                    "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:secret_name-AbCdEf"
                 }]
            }
        }
    ],
    // Use your own role here
    "executionRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
    "taskRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
    "cpu": "1 vcpu",
    "memory": "2 gb"
}

基本的なNGINXサーバーのタスク定義例。

{
    "family": "newrelic-firelens",
    "networkMode": "bridge",
    "requiresCompatibilities": [
        "EC2"
    ],
    "containerDefinitions": [
        // FireLens log router container
        {
            "essential": true,
            // Image below is New Relic's fluentbit output plugin available on ECR
            "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit",
            "name": "log_router",
            "memoryReservation": 50,
            "firelensConfiguration": {
                "type": "fluentbit",
                "options": {
                    "enable-ecs-log-metadata": "true"
                }
            }
         },
         // Application container
         {
            "essential": true,
            "name": "webserver",
            // Application image goes here
            "image": "nginx",
            "cpu": 512,
            "memoryReservation": 1024,
            "portMappings": [{
                "containerPort": 5000
            }],
            "environment": [{
                "name": "VERSION",
                "value": "V1"
            }],
            // New Relic Fluentbit Output configuration
             "logConfiguration": {
                 "logDriver":"awsfirelens",
                 "options": {
                    "Name": "newrelic"
                 },
                 "secretOptions": [{
                    "name": "apiKey",
                    "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:secret_name-AbCdEf"
                 }]
            }
        }
    ],
    // Use your own role here
    "executionRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
    "taskRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
    "cpu": "1 vcpu",
    "memory": "2 gb"
}

New Relic EUアカウントにログを転送

FirelensからNewRelicEUアカウントにログを転送するには、アプリケーションコンテナのlogConfigurationオブジェクトのoptionsフィールドにプロパティを追加します。

"endpoint": "https://log-api.eu.newrelic.com/log/v1"

ログデータの閲覧

すべての設定が正しく行われ、データが収集されていれば、この2つの場所にデータログが表示されるはずです。

NewRelicのログUI
NRQL クエリを実行するための New Relic ツール NRQL クエリを実行するための New Relic ツール。例えば、以下のようなクエリを実行することができます。

SELECT * FROM Log

当社のログ管理機能を有効にしてもデータが表示されない場合は、当社の標準的なログのトラブルシューティング手順に従ってください。

次のステップ

Logs UIを使用して、プラットフォーム全体のログデータを調べます。

logs in context の機能を使ってログを転送することで、アプリケーションとプラットフォームの両方のパフォーマンスデータをより深く把握することができます。
アラートの設定.
データのクエリとダッシュボードの作成.

ログ転送を無効にする

ログ転送機能を無効にするには、 AWS Firelens documentation に記載されている標準的な手順に従ってください。New Relicでは他に何もする必要はありません。

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。