ログデータがすでに Amazon CloudWatch Logs によって監視されている場合、当社の Kinesis Data Firehose 統合を使用して、New Relic でログデータを転送し、エンリッチすることができます。Kinesis Data Firehose は、当社のプラットフォームを含むさまざまな宛先にデータをリアルタイムにストリーミングできるサービスです。
CloudWatch LogsやKinesisストリームに対応した他のログをNew Relicに転送することで、ログデータの収集、処理、探索、問い合わせ、アラートなどのログ管理機能を強化することができます。
New Relic の配信ストリームを作成します。
Kinesis Data FirehoseからNew Relicにログを転送するために。
手順に従い、 Amazon Kinesis Data Firehose の配信ストリームを作成 、配信先として New Relic を選択します。AWSマネジメントコンソールで、 Amazon Kinesis にアクセスします。
Kinesis Data Firehose を選択し、 Create delivery stream をクリックします。
ストリームの名前を入力し、データソースを選択します。
送信先を選択する際、 サードパーティパートナー をクリックし、 New Relic をクリックします。
HTTP エンドポイント URL の下で、ドロップダウンから New Relic logs - US を選択します。
注: EUにログを送信するには、このセクションの残りの手順を完了してから、 EUアカウントの設定手順 に進んでください。
ライセンスキー を API キー フィールドに貼り付けます。
コンテンツエンコーディングが
GZIPに設定されていることを確認します。Buffer hints/Buffer size}の下に1 MiBのバッファサイズを設定します。 （デフォルトではBuffer hintsセクションが折りたたまれていることに注意してください。詳細については、バッファ設定セクションを参照してください。残りのメタデータの設定を行い、確認します。
AWSマネジメントコンソールで追加したオプションのキー/バリューペアは、New Relicで使用できる属性/バリューペアになります。
Kinesis Data Firehoseは、各HTTPコールにこれらのキー・バリュー・ペアを含みます。これらの Kinesis Firehose Parameters は、目的地を特定して整理するのに役立ちます。
バッファサイズと間隔を設定する
AWSのログにKinesisFirehose統合を選択すると、ウィザードは画面の下部にBuffer hintsという小さなセクションを非表示にします。このセクションには、 Buffer sizeとBuffer intervalの2つの非常に重要な構成オプションが含まれています。
デフォルト値は、 Buffer sizeの場合は5 MiB、{ Buffer interval }の場合は60秒です。これは、Firehoseが5 MiBのデータを含むまで、または最後にNew Relicにフラッシュされてから60秒が経過するまで、ログを蓄積することを意味します。
重要
これらのデフォルト設定は、NewRelicでのログ管理には適していません。 Buffer sizeとして1MiBを使用し、GZIP本体圧縮をアクティブにすることを強くお勧めします。
なぜこれをお勧めしますか？ New Relicは、LogsAPIへの個々のHTTPPOSTリクエストに対して最大1MB（1.000.000バイト）のペイロードを受け入れます。蓄積されたログのサイズが60秒間の蓄積期間中に1MBを超えると、 413 HTTPエラーでそれらのログを拒否します。
配信ストリームでは、少なくとも1 MiB（1.048.576バイト）のバッファーサイズを構成できます。この値は、NewRelicのLogsAPIで許可されている1MBをわずかに上回っていますが、GZIP圧縮を使用して、結果のペイロードが1MBの制限よりも小さくなるようにすることができます。
EUのアカウントにログを送信するようにストリームを設定する
EUのデータセンターでNew Relicアカウントをお持ちの方。
標準的な手順に従って、 デリバリーストリームを作成する.
ストリームが作成されたら、 Amazon Kinesis Console に移動し、 Delivery streams をクリックします。
新しく作成した配信ストリームの名前をクリックして、 Configuration タブを選択します。
Destination settings セクションの横で、 Edit をクリックします。
HTTPエンドポイントのURL の値をEUアカウント用のFirehoseエンドポイントに更新してください。
https://aws-api.eu.newrelic.com/firehose/v1Save changes をクリックすると、ストリームが更新されます。
ログデータの閲覧
すべての設定が正しく行われ、データが収集されていれば、この2つの場所にデータログが表示されるはずです。
- NewRelicのログUI
- NRQL クエリを実行するための New Relic ツール NRQL クエリを実行するための New Relic ツール 。例えば、以下のようなクエリを実行することができます。
SELECT * FROM Log当社のログ管理機能を有効にしてもデータが表示されない場合は、当社の 標準的なログのトラブルシューティング手順 に従ってください。
次のステップ
Logs UIを使用して、プラットフォーム全体のログデータを調べます。
- logs in context の機能を使ってログを転送することで、アプリケーションとプラットフォームの両方のパフォーマンスデータをより深く把握することができます。
- アラートの設定.
- データのクエリ と ダッシュボードの作成.
ログ転送を無効にする
ログ転送機能を無効にするには、 Kinesis Data Firehose documentation に記載されている標準的な手順に従ってください。New Relic では、他に何もする必要はありません。