제 블로그 서버가 하루 정도 장애가 있었습니다. 그나마 캐시 파일 덕분에 장애가 있었음에도 불구하고 일부 정상 동적이 되었지만 반대로 덕분에 문제를 바로 파악하지 못했었습니다.

증상은 이러 했습니다. 서버 재부팅 후 MySQL 데몬이 시작 되지 않음. 아파치는 문제 없음.

MySQL 데몬을 start하면 성공/실패 결과가 출력되지 않고 반응이 없었습니다. 이때 MySQL 로그를 확인해보기로 했습니다.

tail /var/log/mysqld.log

vim이나 cat으로 확인해봐도 무관합니다.

자, 로그를 확인해보니..

[ERROR] Can't start server: can't create PID file: No space left on device

이 부분이 눈에 확 들어왔습니다. 하드디스크 공간이 꽉 차있던 것이었습니다.

그렇다면 확실하게 확인하기 위해 df 명령으로 재 확인합니다.

used 100%…

역시 하드디스크 공간이 없었던 것이었습니다. 저 같은 경우 시스템 백업을 위해 주기적으로 크론을 돌리고 있습니다. 전체 백업이다 보니 한번 돌려 압축된 백업 파일의 용량이 만만치 않습니다. 그런데 이것이 4달 가량 관리가 되지 않고 방치되자 쌓이고 있던 것이었죠..

결국 오래된 백업 파일은 삭제 후 MySQL 데몬은 재시작 합니다. 잘 되네요..

섣불리 판단하고 MySQL을 재설치하려 했다면 자칫 코앞에서 삽질을 시작했을지도 모릅니다.