[Linux] Crontab 설정 이후 메모리, 디스크 사용률 증가 현상 및 Permission Denied 에러 해결 (sendmail, postfix, postdrop)

☄️ 문제

crontab 설정 이후 메모리 사용률, Disk I/O, Disk 사용률이 아래와 같이 지속적으로 증가하였다.

Memory utilization(%)

Disk I/O

Disk Utilization(%)

 

🌎 환경

• AWS EC2
  • OS: Amazon Linux

 

🔍 문제를 파악해보자.

1. 각 프로세스의 메모리 사용률 확인

top > shift + m

(ps -ef —sort -rss로도 확인 가능)

memory 사용률을 내림차순으로 정렬하여 프로세스를 확인할 수 있다.

top > shift+m으로 메모리 사용률이 높은 순으로 프로세스 출력

메모리를 높게 사용하는 상위 프로세스의 사용률은 기존에 서비스되고 있던 프로세스였으며, 메모리 사용률도 평소처럼 정상적이었다.

다만, 위와 같이 특정 계정에서 sendmail과 postdrop이 비정상적으로 많이 실행되고 있었다.

ps -ef | grep sendmail

ps -ef | grep postdrop

2. /var/log에서 관련 로그 확인

2-1. 로그 파일 크기 확인

cd /var/log
ll | grep messages
ll | grep maillog

/var/log/messages 파일과 /var/log/maillog 파일과 문제 발생 후 생성된 messages 파일(ex: /var/log/messages-20220710) 및 maillog 파일(ex: /var/log/maillog-20220710)의 크기가 기존과 다르게 비정상적으로 크다.

2-2. 로그 파일 내용 확인

cat /var/log/messages | tail -50
cat /var/log/maillog | tail -50

/var/log에서 관련 로그 파일 확인

 

crond: postdrop: warning: mail_queue_enter: create file maildrop/xxxxxx.xxxxx: Permission denied
postfix/postdrop[xxxx]: warning: mail_queue_enter: create file maildrop/xxxxxx.xxxx: Permission denied

/var/log/messages와 /var/log/maillog에 postdrop의 permission 관련 메시지가 과도하게 기록되고 있었다.

crontab 설정 이후 메일 발송에서 발생한 권한 관련 문제로 추정할 수 있다.

⇒ 메모리 사용률이 높아진 원인 : sendmail, postdrop 프로세스 과다 실행
⇒ Disk I/O 및 Disk 사용량이 높아진 원인 : postdrop 관련 로깅

 

---

 

 

🔫 Trouble Shooting

1. 권한 변경

# postfix의 최초 소유권으로 변경
rpm --setugids postfix

# postfix의 최초 퍼미션으로 변경
rpm --setperms postfix

# postfix 서비스 재시작
systemctl restart postifx

postfix 권한 변경으로 sticky bit 추가

2. postdrop 프로세스 kill

killall postdrop

3. error message 삭제

vim /var/log/messages    #dG 입력하여 내용 삭제
vim /var/log/maillog   #dG 입력하여 내용 삭제

# rsyslog.service 재시작
systemctl restart rsyslog.service
systemctl status rsyslog.service

추가로, /var/log/messages-{날짜}, /var/log/maillog-{날짜} 파일의 크기가 비정상적으로 큰 경우 해당 파일도 삭제한다.

rm -rf /var/log/messages-{날짜}
rm -rf /var/log/maillog-{날짜}

 

4. (선택) 모든 crond 작업에 대해 메일 발송 비활성화

vi /etc/crontab
MAILTO=""   # MAILTO=root(default값)를 빈 문자열로 변경

vi /etc/sysconfig/crond
CRONDARGS="-m off"

# crond 재시작
systemctl restart crond
systemctl status crond

crontab의 예약된 작업은 실행 후에 결과에 대해 mail을 발송한다.

• MAILTO 환경 변수가 없는 경우 : cron 작업의 소유자에게 메일 전송.
• MAILTO=root : root에게 메일 전송. (지정한 이메일 주소에 메일 전송)
• MAILTO=”” : 메일 전송하지 않음.

 

 

 

---

💡 SendMail & Postfix

참고 사이트: Is Postfix the same thing as Sendmail?

• 모두 mail transfer agent.
• Sendmail is a different (and much older) program from Postfix. However for every mail server to succeed in the Unix environment, a sendmail binary (with some of the expected command line options) must be provided.
• Architecture: The most common difference between these two is architecture. Postfix has a modular architecture composed of many independent small executables. It provides multiple options, parameters, and features. In contrast, Sendmail has a monolithic design that uses a single process always running at the backend.
• postdrop은 postfix의 mail posting utility이다.

 

 

 

🔗 참고 링크

1. 기술 블로그: Postfix vs. Sendmail
2. 기술 블로그: [EC2] /var/log/messages와 /var/log/maillog에 postdrop 에러메세지가 대량으로 발생이 됩니다.
3. 기술 블로그: crond, crontab 실행 후 mail 발송 설정 금지
4. 기술 문서: cron 작업이 실패했을때만 이메일 전송하기
5. 기술 사이트: Is Postfix the same thing as Sendmail?
6. Linux 문서: postdrop(1) - Linux man page