본문 바로가기

Computer Science/ELK

[ELK] 사내 로그 모니터링 시스템 구축


ElasticSearch + Logstash + Kibana

통합 로그 모니터링 구축하기








서비스 특성상 Client - Proxy, Rest Server 등 많은 Message Flow가 존재한다. 


그래서 일을 하다보면 다른 개발자들과 디버깅하느라 많은 시간을 허비하게 된다.


예를 들면, 


Frontend 개발자 왈 : ' XXX 사용자가 메시지A를 보냈는데 응답이 B가 왔어' 

Proxy Server 왈 : ' 난 A 잘 보냈는데?'

Rest Server 왈 : '나도 A 잘 보냈는데?

Proxy Server 왈 : '아냐 난 B를 받았어'


Rest Server 왈 : '아니 A를 보냈다니깐?'


. . . .


이렇게 하나의 비즈니스 로직 flow에 대해서도 문제가 발생할 경우 어느 지점에서 문제가 발생했는지 파악하기 위해서 

여러 동료들이 매번 로그를 뒤져야 했다. (tail -f . . . )


각 Component들이 보내고 받은 Message가 무엇인지를 한번에 보기 위하여 각 Component들이 남긴 로그를 통합하여 볼 필요가 있었다.


그래서 들어간지 2주만에 서비스 파악중에 로그 모니터링을 구축하게 된다.