견고한 Kubernetes 플랫폼
여러 팀의 배포 방식을 표준화하고 안정성을 확보하면서 운영 부담을 줄인 프로덕션 Kubernetes 플랫폼입니다.
- 40개 서비스의 중간 배포 시간을 25분에서 4분 이내로 단축
- 프로브, 자원 산정, 롤아웃 정책을 재사용 가능한 차트 하나로 표준화
- 두 분기에 걸쳐 프로덕션 재시작 장애를 62% 감소
공용 Helm 차트 몇 개로 시작해서, 팀이 점진적으로 도입할 수 있는 가드레일이 붙은 배포 경로로 자라났습니다.
문제
40개 서비스가 각자의 롤아웃 로직, 프로브 설정, 자원 산정 방식을 들고 있었습니다. 발생하는 실패는 대부분 새로운 것이 아니었지만, 모든 팀이 그걸 각자 따로 배우고 있었습니다.
접근
- 90%의 경우를 덮는 좁고 문서화된 인터페이스를 가진 차트 하나
- 알려진 잘못된 설정을 문서로 안내하는 대신 어드미션 정책으로 거부
- 배포 시점에 모든 워크로드의 골든 시그널을 자동 연결
- 실제로 별도 동작이 필요한 10%의 서비스를 위한 예외 경로
결과
안정성 작업이 팀별 소방 활동에서 플랫폼 기본값으로 옮겨 갔고, 새 서비스의 운영 검토가 일주일에서 체크리스트 한 장으로 줄었습니다.
Related notes
See the correlation view