가끔 접속 자 수도 많지도 않은데 로드가 높아서 서버 접속이 원활하지 못하다거나 나의 서버가 스팸서버로 지정 되어서 상대방에게 메일을 보냈는데도 차단되었다거나 혹은 idc 보안 관제 센터에서 당신네 서버가 외부로 ddos공격을 하고 있으니 빨리 조치를 취하지 않으면 네트워크를 차단시키겠다는 경고성 전화를 받았을 때 어떻게 조치를 취해야 하는지 막막할 경우가 있다.
이럴 경우 웹 해킹에 의해서 서버가 해커에 의해 조종되고 있지 않는지 살펴 볼 필요성이 있다. 이번에는 실제 사례를 가지고 웹 해킹 침해 사고 시 대처 방법을 소개해 보고자 한다.
해킹된 서버는 redhat9를 사용하고 있으며 커널 버전은 2.4.20-8이다. 웹서버는 apache + php + mysql 기반으로 돌아가고 있으며 앞으로 모든 설명을 여기에 맞추어서 진행 하려고 한다. (윈도우에 asp는 해당 사항이 아니다.)
pstree
init-+-bdflush
|-crond
|-httpd-+-40*[httpd]
| `-2*[httpd---read.cgi]
|-httpd---httpd
|-httpd
|-kapmd
|-keventd
|-khubd
|-10*[kjournald]
|-2*[klogd]
|-kscand/DMA
|-kscand/HighMem
|-kscand/Normal
|-ksoftirqd_CPU0
|-kswapd
|-kupdated
|-mdrecoveryd
|-6*[mingetty]
|-named
|-nohup---a---sshd---101*[sshd]
|-perl
|-rhnsd
|-safe_mysqld---mysqld
|-sshd---sshd---bash---pstree
|-11*[sshd]
|-syslogd
|-vsftpd
|-us1---us1
|-us10---us11
|-us12---us12
|-us13---us13
|-us14---us14
|-us15---us15
|-us16---us16
|-us17---us17
|-us18---us18
|-us19---us19
|-us2---us2
|-us21---us21
|-us22---us22
`-xinetd
pstree명령어는 현재 돌아가고 있는 서버의 프로세스를 한눈에 파악할 수 있는 아주 중요한 명령어이다. 리눅스 사용자는 pstree명령어에 익숙해 져야 한다. 그냥 시간 날 때 마다 pstree치면서 나오는 결과를 눈에 익도록 하는 게 낫다.
위에 출력 결과를 한번 분석해 보도록 하자.
|-httpd-+-40*[httpd]
| `-2*[httpd---read.cgi]
|-httpd---httpd
|-httpd
아파치 웹 서버가 돌아가면 위와 같은 프로세스가 보인다. 허나 진짜 웹 서버는 첫째 줄 뿐이다. 나머지는 두번째 줄과 세번째 줄은 웹 서버로 위조된 해킹 프로세스이다.
|-nohup---a---sshd---101*[sshd]
이 부분을 보자 외부로 ssh Login Brute force scan 공격을 하고 있다. 마찬가지로 us로 시작하는 프로세스도 모두 외부로 공격하는 해킹프로세스이다. 정상적인 서버에서는 절대 볼 수 없는 프로세스들이다. 이외에도 perl같은 프로세스도 비정상 프로세스이다.
현재 이 서버는 외부로 공격을 수행하는 해킹 프로세스들이 매우 많이 수행되고 있는 중이다.
포트 상태를 점검해서 좀더 자세한 상황을 살펴보자.
# netstat -nlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 655/
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 26032/httpd
tcp 0 0 0.0.0.0:2 0.0.0.0:* LISTEN 612/vsftpd
tcp 0 0 192.168.10.1:53 0.0.0.0:* LISTEN 575/
tcp 0 0 127.0.0.1:53 0.0.0.0:* LISTEN 575/
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 588/sshd
tcp 0 0 127.0.0.1:953 0.0.0.0:* LISTEN 575/
udp 0 0 0.0.0.0:32768 0.0.0.0:* 575/
udp 0 0 0.0.0.0:37028 0.0.0.0:* 25089/sshd
udp 0 0 0.0.0.0:37029 0.0.0.0:* 25479/httpd
udp 0 0 192.168.10.1:53 0.0.0.0:* 575/
udp 0 0 127.0.0.1:53 0.0.0.0:* 575/
Active UNIX domain sockets (only servers)
Proto RefCnt Flags Type State I-Node PID/Program name Path
unix 2 [ ACC ] STREAM LISTENING 1318 655/ /var/lib/mysql/mysql.sock
정상적인 웹 서버는 다음과 같이 나타난다. 80포트가 열려져 있는 것을 알 수 있다. 26032는 실행되고 있는 아파치 프로세스의 pid이다.
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 26032/httpd
udp 0 0 0.0.0.0:37029 0.0.0.0:* 25479/httpd
위의 프로세스를 보자. pid 25479인 이 프로세스는 아파치 웹서버 프로세스로 위장 되어 있지만 실질적으로는 37029번 포트로 서비스 되고 있는 hack 프로세스이다. 그리고 tcp가 아니 udp를 사용하고 있는 것도 눈에 띈다. sshd 프로세스도 마찬가지이다. 22번 포트를 LISTEN하고 있는pid 588 프로세스가 정상적인 sshd 프로세스이다. 25089프로세스는 sshd로 위장된 비 정상적인 프로세스이다.
3306포트와 53번 포트를 리슨하고 있는 것은 각각 mysqld와 named프로세스로 정상적인 프로세스들이다.
이제는 좀더 깊이 들어가서 이 프로세스들이 어디서 실행되고 있는지 한 번 살펴 보자.
lsof -p 25479
lsof 명령어는 파일과 프로세스의 입출력 상태를 나타내주는 명령어로 pstree와 netstat 다음으로 사용법을 잘 익혀둘 필요가 있는 매우 유용한 명령어이다. p옵션은 프로세스 id의 입출력 상태를 나타내주는 옵션으로 다음 부분을 살펴볼 필요가 있다.
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
httpd 25479 apache cwd DIR 0,8 280 321300582 /dev/shm/bq
httpd 25479 apache txt REG 0,8 612470 321300590 /dev/shm/bq/httpd
httpd 25479 apache 0u IPv4 563618039 TCP 192.168.10.1:48562
->irc2.saunalahti.fi:ircd (ESTABLISHED)
httpd 25479 apache 5u REG 3,7 0 55 /tmp/ZCUDUzGlho (deleted)
httpd 25479 apache 6u IPv4 321303856 UDP *:37029
일단 이 위장 프로세스가 실행되고 있는 위치는 /dev/shm/bq/httpd라는 것을 알 수 있다.
192.168.10.1:48562->irc2.saunalahti.fi:ircd (ESTABLISHED)
이 부분을 주의 깊게 살펴 보자. 현재 해킹된 서버에서 irc2.saunalahti.fi 서버의 6667(ircd)포트로 접속 되어 있는 것을 알 수 있다. 즉 이 서버는 현재 좀비 컴퓨터화 되어 있다. 한마디로 말해서 해커가 원격에서 irc bot을 이용하여 이 서버를 자신이 원하는 데로 조종할 수 있다는 말이다. 이러한 좀비 컴퓨터를 대량으로 확보하면 해커는 보통 분산 서비스 거부 공격(DDOS ATTACK)을 하는데 이용하거나 돈을 받고 팔기도 한다. 특히IDC에 상주되어 있는 서버가 해커 손에 넘어가면 최대 100M급의 트래픽 공격을 할 수 있는 든든한 무기를 손에 넣게 된다.
USER부분을 살펴보자 apache라고 되어 있다. 현재 이 서버에서 실행되고 있는 웹서버의 권한이 apache로 웹해킹을 통해서 서버의 apache권한을 획득한 것을 볼 수 있다.
다음과 같은 명령으로 이서버의 전체적인 입출력 상태를 체크해 볼 수 있다.
lsof ?I ?n |grep apache
문제가 되는 apache권한만 살펴 보면 다음과 같은 입출력 상태가 2~300개씩 나타나고 있었다.
sshd 23901 apache 8u IPv4 397205096 TCP 192.168.10.1:56970->217.18.114.168:ssh (ESTABLISHED)
외부에 ssh스캔 공격을 하고 있을 때의 대표적 증상이다. 만약 다량의 스팸 메일을 보낸다면 외부 ip의 25번포트(SMTP포트)로 수많은 연결이 보일 것이다. 이 외에도 ircd로의 접근도 포착 될 것이다.
lsof 명령어는 서버의 입출력 상태를 점검할 때 매우 유용한 명령어이니 잘 익혀두는 것이 좋다.
일단 hack process가 설치된 /dev 디렉터리를 좀더 자세히 점검해 보자.
find /dev ?type f
일단 정상적인 경우를 살펴보자
/dev/.udev.tdb
/dev/MAKEDEV
centos5같은 경우
/dev/.udev 디렉토리와 그 아래 디렉토리만 파일들만 있어야지 정상이다.
find 명령어로 살펴보니 아래와 같은 많은 수많은 hack tool들이 설치 되어 있는 것을 확인 할 수 있었다.
/dev/MAKEDEV
/dev/shm/stopex.pl
/dev/shm/bq/raw.session
/dev/shm/bq/Presedinte.seen
/dev/shm/bq/Silvic.seen
/dev/shm/bq/RamonaT.seen
/dev/shm/bq/httpd
…
/dev/shm/bq/3
/dev/shm/st/src/dcc.c
/dev/shm/st/src/parse.c
/dev/shm/st/src/main.c
/dev/shm/st/src/gencmd.c
/dev/shm/st/src/Makefile
웹쉘 권한을 얻었을 때 이와 같은 툴들이 설치되는 이유는 퍼미션 때문이다.
ll ?ld /dev/shm
drwxrwxrwt 2 root root 40 Nov 6 13:33 /dev/shm
/dev/shm, /var/tmp, /tmp 폴더등은 1777권한을 가지고 있기 때문에 웹쉘을 통해 권한을 얻었을 경우 쉽게 해킹툴들을 업로드 하고 이를 실행 시키는데 사용되는 디렉터리로 평소 주의를 기울여 관리해야 한다. 이외에도 디렉터리에 apache나 nobody유저에 쓰기 권한을 주거나 777같은 퍼미션을 주는 경우는 매우 잘못된 습관이라고 할 수 있다.
# cd /dev/shm/st
[root@canacom st]# ll
합계 836
-rwxr-xr-x 1 apache apache 2156 7월 11 2005 Makefile
-rwxr-xr-x 1 apache apache 20358 1월 2 2003 configure
…
-rwxr-xr-x 1 apache apache 585643 1월 4 2007 sshd
-rwxr-xr-x 1 apache apache 17495 1월 4 2007 stealth
보면 apache권한을 가지고 있는 것을 알 수 있다.
lsof 명령어로 보여주는 결과 값이 너무 길어서 의미가 있는 것 만 적었다. 다음 perl명령어는 원격에서 root로 쉘 권한을 가지고 직접 접속해서 명령을 내린 것으로 해커가 어떤 방법을 써서 아파치 권한에서 root로 권한이 상승 된 것을 확인 할 수 있다.
lsof -p 6411
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
perl 6411 root cwd DIR 3,7 4096 87745 /tmp/.tmp
perl 6411 root rtd DIR 22,9 4096 2 /
perl 6411 root txt REG 3,5 12572 33642 /usr/bin/perl
perl 6411 root 0u CHR 136,1 3 /dev/pts/1
perl 6411 root 1u CHR 136,1 3 /dev/pts/1
perl 6411 root 2u CHR 136,1 3 /dev/pts/1
perl 6411 root 3r REG 3,7 116030 87748 /tmp/.tmp/bnc
perl 6411 root 4u IPv4 398045837 TCP *:24338 (LISTEN)
perl 6411 root 5r DIR 3,7 4096 43873 /tmp/.tmp/logs
perl 6411 root 6u IPv4 398046908 TCP 192.168.10.1:24338->189.14.64.131:1327 (ESTABLISHED)
perl 6411 root 7u IPv4 398046908 TCP 192.168.10.1:24338->189.14.64.131:1327 (ESTABLISHED)
perl 6411 root 8u IPv4 398049150 TCP 192.168.10.1:35825->own.ipapo.org:ircd (ESTABLISHED)
다음 부분을 주목해서 보자.
perl 6411 root 0u CHR 136,1 3 /dev/pts/1
원격 터미널을 통해서 슈퍼유저 권한으로 로그인한 것으로 추정된다. 이 상태에서 이미 최상위 권한을 탈취했으므로 이 시스템은 완전히 해커에게 장악 당했다고 볼 수 있다.
다음과 같은 명령으로 서버에서 실행되는 백 도어 프로세스에 관한 좀더 자세한 정보를 알 수 있다. 테크노트 게시판의 취약점을 이용해서 원격에서 쉘 명령어를 실행 시킨 것을 알 수 있다.
#ps -auxe --cols=3000
/usr/sbin/sshd shd _CMD=cd /dev/shm/n; nohup ./start 217 >>/dev/null & 2>&1;pwd SERVER_SIGNATURE=<ADDRESS>Apache/1.3.31 Server at test.co.kr
Port 80</ADDRESS>?
HTTP_USER_AGENT=Getter/0.1
SERVER_PORT=80
HTTP_HOST=www.test.co.kr
DOCUMENT_ROOT=/home/test/public_html SCRIPT_FILENAME=/home/test/public_html/technote/main.cgi REQUEST_URI=/technote/main.cgi?down_num=784879&board=any&command=down_load&filename=getfile.txt%3Bsh%20-c%20%22%24HTTP_CMD%22| SCRIPT_NAME=/technote/main.cgi
REMOTE_PORT=55507
PATH=/sbin:/usr/sbin:/bin:/usr/bin:/usr/X11R6/bin
HTTP_TE=deflate;q=0.3
PWD=/dev/shm/n
QUERY_STRING=down_num=784879&board=any&command=down_load&filename=getfile.txt%3Bsh%20-c%20%22%24HTTP_CMD%22|
SERVER_ADDR=192.168.10.1
GATEWAY_INTERFACE=CGI/1.1
SERVER_PROTOCOL=HTTP/1.0
REQUEST_METHOD=GET _=./sshd
테크노트 cgi 관한 원격 명령어 실행 취약점은 국정원에서 발표한 보안 취약점 8종의 한가지로 반드시 최신 버전의 테크노트로 업그레이드 하여야 한다.
또한 php를 사용할 경우는 반드시 php.ini 파일에
allow_url_fopen = Off
register_globals = Off
로 해놓는 것을 명심하자. 지금까지 경험한 바로 php경우 대부분 저 두 옵션으로 인하여 문제가 발생했다.
또한 php 개발자분들께 당부하고 싶은 것은 위의 두 옵션을 끄고 코딩을 해야 한다는 것이다. 그렇지 않을 경우 원한 던 그렇지 않던 잠재적인 보안 위협을 가진 소스를 만들어 내게 된다.
지금까지 웹 해킹 침해 사고를 당한 시스템을 간단하게 분석해 보았다. pstree, netstat, lsof, ps 명령어등은 리눅스에서 트러블슈팅을 하는데 정말 요긴하게 사용하는 명령어이므로 사용법을 자세하게 알아둘 필요가 있다. 일단 해커가 웹 쉘 권한을 얻으면 가능한 모든 디렉터리에 웹 쉘을 업로드 하여 하나의 침입경로가 막히면 다른 경로로 들어오기 때문에 대처하는데 어려움이 따른다.
그렇기 때문에 다시 한번 강조하지만 allow_url_fopen = Off, register_globals = Off 잊지 말도록 하자.
다음에는 웹 원격 취약점을 통해 해커가 서버에 침입했을 경우 서버에서의 대응 방법에 대해 알아 보도록 하겠다.
[출처] 블루웹 | 시스템연구개발팀 양선곤 (http://blog.blueweb.co.kr)