데이터독 커스텀 메트릭 찍어보기

사업성 지표 참고자료 생성을 위해, 특정 분기별로 레이턴시 측정을 해야하는 일이 생겼다.

첫 접근은 심플하게 로그 메트릭 기반으로 가려고 했는데, 인포성 로그는 수집에서 전부 제외하도록 설정이 되어 있어서 어쩔 수 없이 직접 메트릭을 올려야 한다.

참고로 로그 기반으로 진행할때 텍스트만 남겨도 되는지, 레이턴시 값도 같이 넘겨줘야 하는지 헷갈렸는데 sre 팀원분이 텍스트만 찍어도 추적 가능하다고 한다. traceid가 붙는건지, 마무리 구간만 로그로 찍으면 첫 요청시간이랑 비교해서 뭔가 작업이 가능한 것 같은데, 로그 찍는 곳이 백엔드인걸 나중에 아셔서 맞는 정보는 아닐 수 있다.

대략적으로 파악한바로는 eks안에 데이터독 에이전트가 데몬셋 형태로 노드마다 하나씩 낑겨있는 것 같고, 여기다가 메트릭 정보를 넘겨주면 되는 것으로 파악했다.

관련 문서들을 확인해봤는데 http로도 보내고, udp로도 보내는데 후자가 성능이 좀 더 낫고 유실될 위험도 적다더라. 구체적인 원리는 나중에 더 알아봐야겠다.

처음에는 파드 ip로 뭘 보내야되나 했는데, 생각해보니 데몬셋 형태면 파드마다 데이터독 에이전트가 하나씩 다 있다는 뜻이니까 로컬호스트로 포트만 잘 설정해서 보내면 잘 받지 않을까?? 기대중이다.

개발쪽 환경에 배포해야 확인이 가능한 상황이라 내일 pr 올리지 않을까 싶다. 해보고 안되면 값 다시 수정해야지 뭐.

새로운 일터에서 일한지 2주가 가까이 되어간다. 기술적인 환경 측면에서 정말 만족하며 다니고 있다. 보안이 너무 빡쎄서 가끔 불편한 점이 있긴 하지만, 그래도 좋다.