🖥️ 로깅&모니터링

도식화

로깅 레벨

• 커스텀 예외: warn
• Exception: error
• 현재 추가로 info 로 남기는 정보는 없습니다.

1. 로깅

Logback

로깅 라이브러리

• 메트릭 뿐만 아니라 디버깅 용도의 로그를 관리하기 위해 사용한다.
• 자바 커뮤니티에서 가장 많이 사용되는 로깅 프레임워크이다.

2. 수집

Grafana Loki

로그 집계 시스템

• 메타 정보만 인덱싱하기 때문에 다른 로그 집계 툴에 비해 리소스와 관리 비용이 적다.
• Grafana에서 제공하는 로그 집계 툴이기 때문에 Grafana와 통합하기 편리하다.

Promtail

로그 컨텐츠를 Grafana Loki에게 전송하는 에이전트

• Grafana Loki가 제공하는 로그 수집 에이전트로 새로 생성된 로컬 로그를 loki에게 push하는 역할을 한다.

3. 모니터링

Prometheus

메트릭 데이터 수집 및 저장

• 디버깅 용도의 로깅 뿐만 아니라 메트릭 데이터를 수집하고 저장하기 위해 사용한다.

Grafana

로그 & 메트릭 데이터 시각화

• 다양한 데이터 소스를 지원하고, 무료로 사용할 수 있다.

인프라 경로

docker/compose

• be_app-docker.compose.yml
• be_monitoring-docker-compose.yml
• nginx-docker-compose.yml

로깅 구축 과정

be_app-docker-compose.yml 에 로깅 volumes(컨테이너와 호스트 시스템 간에 데이터를 공유 & 데이터 영구 저장 가능) 추가

  springboot:
    container_name: coduo_springboot-app
    ...
    volumes:
      # 로그 파일을 컨테이너 내부의 /logs 디렉토리로 마운트
      - ${SERVER_LOGS_PATH}/springboot-app:/logs
      # 백업 로그 파일을 /logs/backup 디렉토리로 마운트
      - ${SERVER_LOGS_PATH}/springboot-app/backup:/logs/backup

/logs/springboot-app 경로에 들어가면,

• backup
• debug
• error
• info
• warn

폴더가 존재한다.

로그 레벨 별로 로그 폴더를 분류해 두었다.
각 폴더에 들어가보면 날짜 별로 구분되어 생성된 로그 파일을 볼 수 있다.

모니터링 & 대시보드 구축 과정

로키 설치 및 설정

로키 구동에 필요한 설정 파일을 loki-config.yml로 정의한다.

auth_enabled: false

server:
  http_listen_port: 3100  # 로키 port

ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 168h

storage_config:
  boltdb_shipper:
    active_index_directory: /loki/index
    cache_location: /loki/cache
    shared_store: filesystem
  filesystem:
    directory: /loki/chunks

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h

chunk_store_config:
  max_look_back_period: 0s

table_manager:
  retention_deletes_enabled: false
  retention_period: 0s

be_monitoring-docker-compose.yml에 loki 정보를 추가하여 설치한다.

loki:
    container_name: coduo_loki
    image: grafana/loki
    # 3100 포트로 loki 접근 가능
    ports:
      - "3100:3100"
    # loki 설정 파일을 ${your docker data path}/loki/config/loki-config.yml 로 마운트
    volumes:
      - ${your docker data path}/loki/config/loki-config.yml:/etc/loki/local-config.yml
    networks:
      - coduo_net
    command: -config.file=/etc/loki/local-config.yaml

프롬테일 설치 및 설정

프롬테일 구동을 위한 설정 파일을 promtail-config.yml로 생성한다.

server:
  http_listen_port: 9080

positions:
  filename: /tmp/positions.yml

clients:
  - url: http://coduo_loki:3100/loki/api/v1/push

scrape_configs:
  - job_name: springboot-app_info
    static_configs:
      - targets:
          - localhost
        labels:
          job: info_logs
          __path__: /logs/springboo-app/info/*.log # info 폴더 내에 log 파일들 모두 수집

  - job_name: springboot-app_warn
    static_configs:
      - targets:
          - localhost
        labels:
          job: warn_logs
          __path__: /logs/springboot-app/warn/*.log # warn 폴더 내에 log 파일들 모두
 수집

  - job_name: springboot-app_error
    static_configs:
      - targets:
          - localhost
        labels:
          job: error_logs
          __path__: /logs/springboot-app/error/*.log # error 폴더 내에 log 파일들 모
두 수집

이때 scrape_configs를 잘못 기입하면 로그 데이터가 조회되지 않을 수 있으니 신경써서 작성한다.

이제 be_monitoring-docker-compose.yml에 promtail을 추가하여 설치한다.

promtail:
    container_name: coduo_promtail
    image: grafana/promtail
    # 9080 포트로 promtail 접근 가능
    ports:
      - "9080:9080"
    volumes:
      # promtail 설정 파일을 ${your docker data path}/config/promtail-config.yml 로 마운트
      - ${your docker data path}/promtail/config/promtail-config.yml:/etc/promtail/config.yml
      # 로그 디렉터리를 Promtail이 접근할 수 있도록 마운트
      - ${your log data path}/logs:/logs
      - ${your docker data path}/promtail/tmp:/tmp
    networks:
      - coduo_net
    command: -config.file=/etc/promtail/config.yml
    # loki 실행 후 promtail이 시작된다.
    depends_on:
      - loki

프로메테우스 설치 및 설정

프로메테우스 구동을 위한 설정 파일을 prometheus.yml에 정의한다.

global:
  scrape_interval: 30s

scrape_configs:
  - job_name: 'prometheus'
    metrics_path: '/actuator/prometheus'  # 스프링에 추가된 acturator 모니터링 경로
    static_configs:
      - targets: ['172.19.0.8:8080']

docker compose에 추가하여 설치한다.

prometheus:
    container_name: coduo_prometheus
    image: prom/prometheus
    # 9090 포트로 prometheus 접근 가능
    ports:
      - "9090:9090"
    # prometheus 설정 파일을 ${your docker data path}/prometheus/config/prometheus.yml 로 마운트
    volumes:
      - ${your docker data path}/prometheus/config/prometheus.yml:/etc/prometheus/prometheus.yml
    networks:
      - coduo_net

그라파나 설정

이제 위에서 설치한 도구들이 수집한 모니터링 데이터를 효과적으로 조회할 수 있는 그라파나를 설치한다. docker-compose에 추가한다.

grafana:
    container_name: coduo_grafana
    image: grafana/grafana:latest
    user: root
    # 3001 포트로 grafana 접근 가능
    ports:
      - "3001:3001"
    volumes:
      # grafana 데이터 디렉터리를 ${your docker data path}/grafana 로 마운트 (대시보드, 설정 등을 저장)
      - ${your docker data path}/grafana:/var/lib/grafana
      # grafana 설정 파일을 ${your docker data path}/grafana/config/grafana.ini 로 마운트
      - ${your docker data path}/grafana/config/grafana.ini:/etc/grafana/grafana.ini
    environment:
      # grafana 서버의 루트 URL 을 해당 주소로 설정
      - GF_SERVER_ROOT_URL=https://coduo.site/grafana  # root url을 임의적으로 변경
      - GF_SERVER_SERVE_FROM_SUB_PATH=true
    networks:
      - coduo_net

이제 브라우저로 모니터링툴에 접속한다.

데이터 소스에 위에 설치한 프로메테우스, loki를 추가하고 수집된 데이터를 확인한다.

모니터링 하고자 하는 정보를 패널에 추가한다.

그라파나 링크: https://coduo.site/grafana/

---

슬랙 메시지 연동

서비스에서 아래와 같은 상황이 발생하면 비정상적/과도한 리소스 사용이라 판단하고 즉각적인 대응을 위해 슬랙 메신저를 통한 자동 알림 기능을 구현했다.

• Jdbc connection 점유율 80% 이상: 일시적인 트레픽 증가/ 데이터베이스의 잘못된 설정을 의심할 수 있다.
• 시스템 Down 상태 : 즉각적인 조치를 통해 가용성을 높이기 위함이다.
• 힙 메모리 사용량 80% 이상