Amazon CloudWatch Logs 에서 이미 로그 데이터를 모니터링하고 있는 경우 Kinesis Data Firehose 통합을 사용하여 New Relic에서 로그 데이터를 전달하고 강화할 수 있습니다. Kinesis Data Firehose는 당사 플랫폼을 비롯한 다양한 대상으로 데이터를 실시간으로 스트리밍할 수 있는 서비스입니다.
CloudWatch Logs 또는 Kinesis 스트림과 호환되는 기타 로그를 New Relic으로 전달하면 로그 데이터를 수집, 처리, 탐색, 쿼리 및 경고하는 향상된 로그 관리 기능이 제공됩니다.
New Relic의 전송 스트림 생성
Kinesis Data Firehose에서 New Relic으로 로그를 전달하려면:
New Relic 라이센스 키 가 있는지 확인하십시오.
절차에 따라 Amazon Kinesis Data Firehose 전송 스트림을 생성 하고 대상으로 New Relic을 선택합니다. AWS Management Console에서 Amazon Kinesis 로 이동합니다.
Kinesis Data Firehose 를 선택하고 전송 스트림 생성 을 클릭합니다.
스트림의 이름을 입력하고 데이터 소스를 선택하십시오.
대상을 선택할 때 타사 파트너 를 클릭한 다음 New Relic을 클릭합니다.
HTTP 끝점 URL 아래의 드롭다운에서 New Relic logs - US 를 선택합니다.
참고 : EU에 로그를 보내려면 이 섹션의 나머지 단계를 완료한 다음 EU 계정에 대한 구성 절차를 진행하십시오.
API 키 필드에 라이선스 키 를 붙여넣습니다.
콘텐츠 인코딩 이
GZIP으로 설정되어 있는지 확인합니다.Buffer hints/Buffer size에서1 MiB의 버퍼 크기 를 설정합니다. (Buffer hints섹션은 기본적으로 접혀 있습니다. 자세한 내용은 버퍼 설정 섹션 을 참조하세요.나머지 메타데이터 설정을 구성하고 검토합니다.
AWS Management 콘솔에서 추가하는 선택적 키/값 쌍은 New Relic에서 사용할 수 있는 속성/값 쌍이 됩니다.
Kinesis Data Firehose는 각 HTTP 호출에 이러한 키-값 쌍을 포함합니다. 이러한 Kinesis Firehose 파라미터 는 대상을 식별하고 구성하는 데 도움이 될 수 있습니다.
버퍼 크기 및 간격 구성
AWS에서 로그용 Kinesis Firehose 통합을 선택하면 마법사가 화면 하단에 Buffer hints 이라는 작은 섹션을 숨깁니다. 이 섹션에는 Buffer size 및 Buffer interval 라는 두 가지 매우 중요한 구성 옵션이 있습니다.
기본값은 Buffer size 의 경우 5MiB이고 Buffer interval 의 경우 60초입니다. 즉, Firehose는 5MiB의 데이터를 포함할 때까지 또는 로그가 New Relic에 마지막으로 플러시된 이후 60초가 경과할 때까지 로그를 누적합니다.
중요
이러한 기본 설정은 New Relic의 로그 관리에 적합하지 않습니다. 1MiB를 Buffer size 으로 사용하고 GZIP 본문 압축을 활성화하는 것이 좋습니다.
이것을 추천하는 이유는 무엇입니까? New Relic은 Logs API에 대한 개별 HTTP POST 요청에 대해 최대 1MB(1.000.000바이트)의 페이로드를 허용합니다. 60초 누적 기간 동안 누적 로그의 크기가 1MB를 초과하는 경우 413 HTTP 오류와 함께 해당 로그를 거부합니다.
전달 스트림을 사용하면 최소 1MiB(1.048.576바이트)의 버퍼 크기를 구성할 수 있습니다. 이 값이 New Relic의 Logs API에서 허용하는 1MB보다 약간 크더라도 GZIP 압축을 사용하여 결과 페이로드가 1MB 제한보다 작아지도록 할 수 있습니다.
EU 계정으로 로그를 보내도록 스트림 구성
EU 데이터 센터에 New Relic 계정이 있는 경우:
표준 절차에 따라 전송 스트림을 생성합니다 .
스트림이 생성되면 Amazon Kinesis Console 로 이동하여 스트림 전송 을 클릭합니다.
새로 생성된 전송 스트림의 이름을 클릭하고 구성 탭을 선택합니다.
대상 설정 섹션 옆에 있는 수정 을 클릭합니다.
HTTP 엔드포인트 URL 값을 EU 계정용 Firehose 엔드포인트로 업데이트합니다.
https://aws-api.eu.newrelic.com/firehose/v1변경 사항 저장 을 클릭하여 스트림이 업데이트되었는지 확인합니다.
로그 데이터 보기
모든 것이 올바르게 구성되고 데이터가 수집되는 경우 다음 두 위치에서 데이터 로그가 표시되어야 합니다.
- New Relic의 로그 UI
- NRQL 조회를 실행하는 새 도구. 예를 들어, 다음과 같은 쿼리를 실행할 수 있습니다.
SELECT * FROM Log로그 관리 기능을 활성화한 후에도 데이터가 나타나지 않으면 표준 로그 문제 해결 절차 를 따르십시오.
다음은 뭐지?
로그 UI 를 사용하여 플랫폼 전반에 걸쳐 로깅 데이터를 탐색하십시오.
- 컨텍스트에서 로그 기능을 사용하여 로그를 전달하여 애플리케이션 및 플랫폼 성능 데이터 모두에 대한 가시성을 확보하십시오.
- 경보를 설정하십시오.
- 데이터를 조회 하고 대시보드를 작성하십시오.
로그 전달 사용 안함
로그 전달 기능을 비활성화하려면 Kinesis Data Firehose 설명서 의 표준 절차를 따르십시오. New Relic에서는 다른 작업을 수행할 필요가 없습니다.