장애 상황에서 실제로 도움이 되는 관측성

대부분의 관측성 스택은 시간만 충분하면 어떤 질문에도 답할 수 있습니다. 그런데 장애 중에는 시간이 없습니다. 그래서 의미 있는 신호는 정해진 몇 개의 질문에 즉시 답해 주는 것들뿐입니다.

처음 5분

1. 우리 문제인가, 상위 의존성 문제인가?
2. 어느 화면이 영향을 받았고, 얼마나 심한가?
3. 최근 한 시간 안에 무엇이 바뀌었는가?

이 셋 중 하나에 답하는 데 도움이 되지 않는 대시보드는 장애 대응 경로에 두지 않습니다.

카디널리티는 한계가 아니라 예산

높은 카디널리티 레이블은 딱 한 순간에 유용합니다. 증상을 설명해 주는 축으로 쪼갤 수 있을 때입니다. 테넌트, 라우트, 버전은 남기세요. 요청 ID와 원본 URL은 메트릭에서 빼고 트레이스와 로그로 옮기세요.

알림은 사용자 영향을 따라간다

사용자가 직접 말할 만한 증상에 알림을 걸고, 원인은 대시보드에서 찾으세요. 좋은 런북이 붙은 증상 알림 하나가 아무도 신뢰하지 않는 원인 알림 열두 개보다 낫습니다.