watchdog 설정으로 시스템 다운시 재부팅하기

watchdog 명령은 시스템을 주기적으로 감시하고, 문제가 감지되었을 때 자동으로 재부팅하도록 도와주는 데몬 프로그램입니다.

시스템이 멈추거나 심각한 장애 상태에 빠졌을 때 자동으로 복구되도록 하기 위해 사용됩니다.

 

# dnf -y install watchdog    // RockyLinux 에서

# apt -y install watchdog    // Ubuntu 에서

 

# systemctl enable watchdog

 

여기에서는 시스템이 행(Hang) 걸릴때 네트워크 연결이 안된다는 것을 이용해 '네트워크 연결 실패시 리부팅' 이라는 조건을 설정하였습니다.

하지만 행 걸린 시점에서 watchdog 이 제대로 동작할지는 모르겠네요...

# vi /etc/watchdog.conf

# 모든 ping 대상에 실패할 경우에만 재부팅을 트리거합니다. # 5번 연속 실패해야 다운으로 간주 ping = 192.168.10.1 ping = 192.168.10.2 ping-count = 60 # 60초 동안 syslog 파일이 업데이트되지 않으면 재부팅 시도 change = /var/log/syslog 60 # 1분 평균 부하가 24를 초과하면 재부팅 max-load-1 = 24 # 이는 시스템이 매우 바쁘거나 멈추려고 할 때 watchdog이 확실하게 작동하도록 돕습니다. # 1 (가장 높은 우선순위) ~ 99 (가장 낮은 우선순위) realtime = yes priority = 1

 

# systemctl restart watchdog

 

이제 네트워크 연결이 1분간 체크되지 않으면 시스템이 자동 리부팅 됩니다.

별도의 파일에 기록하도록 옵션 설정을 하지 않았으므로, 로그는 /var/log/messages 에 기록됩니다.