1. Xwindow 설치

[root@sysdocu ~]# yum -y groupinstall 'X Window System' 

2. GUI 환경 설치 (KDE 와 GNOME 을 같이 설치하거나 선택해서 사용 가능)

[root@sysdocu ~]# yum -y groupinstall 'KDE Plasma Workspaces'

[root@sysdocu ~]# yum -y groupinstall 'GNOME Desktop'

3. 부팅시 GUI 환경으로 부팅하도록 (로컬 작업 필요시에만)

[root@sysdocu ~]# ln -sf /lib/systemd/system/graphical.target /etc/systemd/system/default.target

4. VNC server 설치

[root@sysdocu ~]# yum -y install tigervnc tigervnc-server

5. 방화벽 설정

iptables INPUT 룰에 5901/tcp, 5902/tcp 포트를 오픈합니다.

6. VNC server 가동 및 패스워드 설정

[root@sysdocu ~]# vncserver

(패스워드 설정)

* 실제로 5901 포트가 지금 열리지는 않습니다. 패스워드를 설정하고 환경 파일을 생성하기 위한 작업입니다.

7. VNC server 설정 수정 및 재가동

아래 내용으로 교체하고 저장합니다.

[root@sysdocu ~]# vi .vnc/xstartup

* gnome-session &    // GNOME 환경을 원할 경우 맨 아랫줄 kdestart & 을 이것으로 교체

[root@sysdocu ~]# vi /etc/sysconfig/vncservers 

[root@sysdocu ~]# cp -arp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service

[root@sysdocu ~]# vi /etc/systemd/system/vncserver@:1.service

8. 서비스 자동 구동 설정 및 리부팅

[root@sysdocu ~]# systemctl enable vncserver@:1.service

[root@sysdocu ~]# reboot

9. 서버 iptables 확인 후 client 에서 원격접속

iptables 가 변경되었을 가능성 있으니 확인 필요

# apt-get -y install xrdp xfce4

# echo xfce4-session > ~/.xsession

# service xrdp restart

이제 윈도우에서 원격데스크톱(mstsc)으로 접속해봅니다.

32비트 색상으로 접속이 되지 않으니 옵션에서 24비트 컬러로 바꿔주고 접속하면 됩니다.

[root@sysdocu ~]# yum -y install xrdp* tigervnc* gtk-vnc*    // 뒤에 두개 vnc 패키지들은 꼭 설치해야하는건지 모르겠음

[root@sysdocu ~]# /etc/init.d/xrdp start

또는

[root@sysdocu ~]# systemctl start xrdp.service

윈도우즈에서 '원격 터미널 (mstsc)' 를 이용하여 리눅스 서버에 접속합니다.

이때 디스플레이 색상 옵션은 반드시 24비트 이하의 값으로 주어야 정상접근이 되며,

그 이상의 색상(32비트 등) 으로 접속시도할 경우 에러 메세지가 출력됩니다.

[에러]

vnc error problem connecting some problem

[해결]

/etc/xrdp/startwm.sh 파일의 내용을 모두 지운뒤 아래와 같이 입력합니다.

xrdp 를 재시작하고 다시 원격터미널을 이용하여 접속하면 정상 출력되는것을 볼 수 있습니다.

[궁금]

접속시 설정만 할 수 있고 그 외 사용가능한 메뉴가 안나타날 경우

[해결]

[root@sysdocu ~]# yum -y install gnome*    // gnome 세션으로 접속한다면, gnome 관련 패키지를 모두 설치합니다.

                                            (이 안에 각종 유틸 및 도구가 들어있음)

리눅스 자신이 VM인지 아닌지 확인

리눅스 VM 하이퍼바이저 확인

Guest OS 여부 확인

방법 1: virt-what[편집]

 리눅스 virt-what 문서를 참고하십시오.

[root@zetawiki ~]# virt-what 
kvm

[root@zetawiki ~]# virt-what 
vmware

[root@zetawiki ~]# virt-what
xen
xen-domU

방법 2: lscpu[편집]

[root@zetawiki ~]# lscpu | grep Hypervisor
Hypervisor vendor:     KVM

[root@zetawiki02 ~]# lscpu | grep Hypervisor
Hypervisor vendor:     Xen

방법 3: dmidecode[편집]

 리눅스 dmidecode 문서를 참고하십시오.

dmidecode | head -5

dmidecode -s system-product-name

실행예시 (Xen VM)

[root@zetawiki ~]# dmidecode | head -5
/dev/mem: mmap: Bad address
# dmidecode 2.10

[root@zetawiki ~]# dmidecode | head -5
# dmidecode 2.11
# No SMBIOS nor DMI entry point found, sorry.

실행예시 (KVM)

[root@zetawiki ~]# dmidecode -s system-product-name
KVM

실행예시 (VMware VM)

[root@zetawiki ~]# dmidecode | head -5
# dmidecode 2.11
SMBIOS 2.4 present.
364 structures occupying 14150 bytes.
Table at 0x000E0010.

[root@zetawiki ~]# dmidecode -s system-product-name
VMware Virtual Platform

실행예시 (Dedi)

[root@zetawiki ~]# dmidecode | head -5
# dmidecode 2.10
SMBIOS 2.6 present.
308 structures occupying 8320 bytes.
Table at 0x7F7FD000.

→ 단독서버의 경우

실행예시 (XenServer)

[root@zetawiki ~]# dmidecode | head -5
# dmidecode 2.7
SMBIOS 2.7 present.
127 structures occupying 3808 bytes.
Table at 0xDF7FE000.

→ 하이퍼바이저의 경우

방법 4: ethtool[편집]

KVM

[root@zetawiki ~]# ethtool -i eth0 | grep driver
driver: virtio_net

Xen VM

[root@zetawiki ~]# ethtool -i eth0 | grep driver
driver: netfront

VMware VM

[root@zetawiki ~]# ethtool -i eth0 | grep driver
driver: e1000

방법 5: fdisk[편집]

Xen VM

[root@zetawiki ~]# fdisk -l

Disk /dev/xvda: 31.4 GB, 31457280000 bytes
255 heads, 63 sectors/track, 3824 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

    Device Boot      Start         End      Blocks   Id  System
/dev/xvda1   *           1          13      104391   83  Linux
/dev/xvda2              14        3824    30611857+  8e  Linux LVM

KVM

[root@zetawiki ~]# fdisk -l

Disk /dev/vda: 42.9 GB, 42949672960 bytes
255 heads, 63 sectors/track, 5221 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/vda1   *           1          13      104391   83  Linux
/dev/vda2              14        5221    41833260   8e  Linux LVM

VMware VM

[root@zetawiki ~]# fdisk -l

Disk /dev/sda: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          38      305203+  83  Linux
/dev/sda2              39        2353    18595237+  83  Linux
/dev/sda3            2354        2610     2064352+  82  Linux swap / Solaris

→ VM이지만 sda로 나오므로 확인 어려움

[출처] http://zetawiki.com/wiki/%EB%A6%AC%EB%88%85%EC%8A%A4_VM%EC%97%AC%EB%B6%80_%ED%99%95%EC%9D%B8,_%ED%95%98%EC%9D%B4%ED%8D%BC%EB%B0%94%EC%9D%B4%EC%A0%80_%ED%99%95%EC%9D%B8

1. xwindow 설치

# apt-get install xinit

// xwindow 패키지 설치

# apt-get -y install ubuntu-desktop gnome ubuntu-gnome-desktop gnome-panel

// gnome-desktop 은 gnome 설치 (최소설치), ubuntu-gnome-desktop 은 full package, gnome-panel 은 메뉴바입니다.

# apt-get -y install ubuntu-system-settings gnome-settings-daemon software-center

// 시스템 도구와 소프트웨어 센터를 추가하면 편리합니다.

// 위 두 줄에서 ubuntu-desktop 을 제외한 패키지는 16.04 에서 테스트 하였습니다.

# apt-get update

# apt-get -y upgrade

서버 로컬 콘솔에서는 startx 라는 명령을 내리면 xwindow 창으로 전환이 됩니다.

하지만 ssh 등의 포트로 접근하여 설치하였다면 xwindow 화면을 볼 수 없으므로 VNC server를 추가로 설치해둡니다.

2. vnc server 설치

우분투에 설치할 수 있는 vnc 종류는 여러가지가 있으나, 아래는 그중 한가지인 vnc4server 를 설명합니다.

# apt-get -y install vnc4server xinetd

# vnc4server    // 초기 구동시 접속 패스워드 설정을 합니다.

# vnc4server -kill obs:1

// 설정 변경을 위해 자동구동되었던 vnc4server 를 종료합니다.

// 종료할때는 vnc4server 를 시작했을때 아래와 같은 메세지 출력 정보를 참고하여 종료시켜줍니다.

   (테스트 환경에서 localhost 이름이 obs 였음)

New 'obs:1 (root)' desktop is obs:1

// obs:1 말고 :1 과 같이 숫자만 입력해서 종료할 수도 있습니다.

# vi ~/.vnc/xstartup    // 설정 변경 (아래와 같이 값을 변경합니다)

* 참고 (3줄)

KDE 환경으로 사용하려면 아래와 같이 관련 패키지 설치 및 파일을 수정하면 됩니다.

1) # apt-get install kubuntu-desktop

2) 위 xstartup 파일에서 아래 gnome 관련 5줄 지우고, startkde & 만 입력.

# chmod 755 /etc/X11/xinit/xinitrc    // 파일에 실행권한 주기

(시작)

# vnc4server

(중지)

# vnc4server -kill obs:1

[문제]

vnc 접속시 배경화면, 탐색기, 터미널은 정상 출력되는데 메뉴(상태표시줄)가 보이지 않음

[해결]

# vnc4server -kill :1

# apt-get install gnome-session-fallback

# vi ~/.xsession                                                    // 우선 생략 후 진행해볼것.

(내용) gnome-session –session=gnome-fallback    // 우선 생략 후 진행해볼것.

# vnc4server

[문제]

시스템 설정 (system-settings) 가 실행되지 않을때

[해결]

~/.vnc/xstartup 파일을 아래 내용으로 바꾸어봅니다.

[참고]

xfce4 는 gnome 이나 kde 보다 조금더 편리한 환경을 제공합니다. (개인적인 생각)

xfce4 환경으로 접속하려면 아래와 같이 설치, 설정합니다.

# apt-get install fcex4

# vi ~/.vnc/xstartup

3. 언어 설정 (환경 및 키보드)

vnc 로 접속하여 터미널에서 실행합니다. (system-settings 가 구동되지 않을 경우)

1) 환경

# gnome-language-selector

한국어 우선순위 및 ibus 로 설정 후 '모든 시스템에 적용' 을 해준다음,

로그아웃, 로그인을 하면 모든 메뉴가 한글로 바뀐것을 볼 수 있습니다.

2) 키보드

언어 설정의 키보드가 'ibus' 로 되어있다면 터미널에서 'ibus-setup' 실행

또는 'im-config' 실행

* VNC 로 접속시 위와 같이 한영전환을 shift + space_bar 로 했어도 한영전환이 되지 않는경우에는 아래 파일을 다운로드하여 사용해보기 바랍니다.

vncviewer 한글패치판 다운로드 : https://kldp.org/files/vncviewer-ko.zip

IOPS (Input/Output Operations Per Second)

방법 1. FIO

1) 설치

root@sysdocu:~# apt-get install fio

2) 실행

디렉토리와 파일명을 지정해주어, 해당 위치의 device 장치 access 속도를 체크합니다.

Random Read

root@sysdocu:~# fio --directory=/DATA --name TESTFILE --direct=1 --rw=randread --bs=4k --size=1G --numjobs=16 --time_based --runtime=180 --group_reporting --norandommap

Random Write

root@sysdocu:~# fio --directory=/DATA --name TESTFILE --direct=1 --rw=randwrite --bs=4k --size=1G --numjobs=16 --time_based --runtime=180 --group_reporting --norandommap

Random Read Write

root@sysdocu:~# fio --directory=/DATA --name TESTFILE --direct=1 --rw=randread --bs=4k --size=1G --numjobs=16 --time_based --runtime=180 --group_reporting --norandommap --rwmixwrite 75

> 랜덤은 속도 안나온다고 함

> write 또는 read 옵션으로 진행할 것 direct=0 으로 해야 최대 속도 나온다고 함

> 나중에 /mnt 에 생성된 fio 파일들 삭제할 것

root@sysdocu:~# fio --directory=/mnt --name fio_test_file --direct=0 --rw=write --bs=4k --size=1G --numjobs=5 --time_based --runtime=60 --group_reporting --norandommap

방법 2. IOPING

1) 설치

root@sysdocu:~# cd /usr/local/src

root@sysdocu:~# wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/ioping/ioping-

0.8.tar.gz

root@sysdocu:~# tar xvzf ioping-0.8.tar.gz

root@sysdocu:~# cd ioping-0.8

root@sysdocu:~# make

2) 실행

root@sysdocu:~# ./ioping /dev/rbd0    // 실행 후 어느정도 시간이 지나면 ctrl + c 버튼으로 중단 시킵니다.

4.0 KiB from /dev/rbd0 (device 4.0 GiB): request=1 time=1.3 ms

4.0 KiB from /dev/rbd0 (device 4.0 GiB): request=2 time=4.5 ms

4.0 KiB from /dev/rbd0 (device 4.0 GiB): request=3 time=1.3 ms

4.0 KiB from /dev/rbd0 (device 4.0 GiB): request=4 time=1.7 ms

(생략)

4.0 KiB from /dev/rbd0 (device 4.0 GiB): request=42 time=1.7 ms

^C

--- /dev/rbd0 (device 4.0 GiB) ioping statistics ---

42 requests completed in 41.1 s, 618 iops, 2.4 MiB/s

min/avg/max/mdev = 1.1 ms / 1.6 ms / 4.5 ms / 680 us

결과가 확인 되었습니다.

Ceph client 가 mount 를 하려면 /etc/ceph/ 디렉토리 안에 키파일을 넣어놓던가

마운트 명령줄에 키를 옵션으로 넣어 암호화 스크립트로 만들고, rc.local 에 등록하여 구동 합니다.

[문제점]

전자의 경우, ceph 설정파일 안에 계정과 키가 보이기 때문에, client 가 마음만 먹으면 언제든 rbd 명령을 수행할 수 있게 됩니다. (pool 생성, 이미지 생성, 용량 증가, 사용자 정보보기)

후자의 경우 ceph 스토리지 마운트보다 mysql 의 데몬 구동 시도가 우선되므로, ceph 스토리지 안에 DATA 디렉토리를 넣고 사용할 경우 mysql 이 정상 구동되지 못합니다. (mysql 데몬 구동시 ceph 스토리지가 마운트 되어있지 않으므로)

[해결책]

이 문제를 해결하기 위해서 아래와 같은 절차를 따릅니다.

1. ceph 스토리지 mount 스크립트 작성

2. 위 스크립트 파일을 shc 명령으로 암호화 합니다.

3. /etc/ceph/ 디렉토리에 cfs_mount 이름으로 가져다 놓습니다. (파일명 상관없음)

4. /etc/init.d/rbdmap 파일을 열어 start 부분에 스크립트를 추가합니다.

5. 부팅시 rbdmap 데몬이 구동되도록 합니다.

- CentOS : ntsysv 실행

- Ubuntu : sysv-rc-conf 실행

rc3.d 디렉토리에서 보면 알 수 있듯 ceph 스토리지 마운트 데몬이 다른 데몬보다 구동 우선순위가 높습니다.

이렇게 보안상 문제 (마운트 스크립트 암호화) 와 서비스 문제 (mysql 등의 데몬 구동) 를 해결하였습니다.

MySQL 설치시 기본 DATA 디렉토리 /var/lib/mysql 을 /DATA/mysql 로 변경하려고 합니다.

/var/lib/ 디렉토리에 mysql, mysql-files, mysql-keyring 디렉토리를 /DATA/ 아래로 옮기고(복사),

설정파일 두 개만 수정하면 됩니다. 변경할 부분은 아래와 같습니다.

# vi /etc/mysql/mysql.conf.d/mysqld.cnf

# vi /etc/apparmor.d/usr.sbin.mysqld

[작성] 차동훈

1. 이미지 파일 속성 확인하기

본 매뉴얼에서의 테스트 파일은 test.img 이며, raw 포맷 파일입니다.

파일 속성 확인 하는 방법 은 아래와 같습니다.

# qemu-img info test.img

image: test.img

file format: raw

virtual size: 200M (209715200 bytes)

disk size: 200M    // 용량이 제대로 표시되지 않음

이럴 경우 아래와 같이 용량이 올바른 값으로 출력되게 할 수 있습니다. (그러나 별 의미 없음)

# qemu-img convert test.img -O raw tmp.img

# qemu-img info tmp.img

image: tmp.img

file format: raw

virtual size: 200M (209715200 bytes)

disk size: 2.6M    // 용량이 제대로 표시 되었음

2. XFS 파티션 이미지 마운트하기

# mkdir /sysdocu_test

# mount -o loop test.img /sysdocu_test

# df -h

Filesystem     Type      Size  Used Avail Use% Mounted on

devtmpfs       devtmpfs  3.9G     0  3.9G   0% /dev

tmpfs          tmpfs     3.9G   36M  3.9G   1% /dev/shm

tmpfs          tmpfs     3.9G  1.5M  3.9G   1% /run

tmpfs          tmpfs     3.9G     0  3.9G   0% /sys/fs/cgroup

/dev/sda2      ext4      110G   62G   43G  60% /

tmpfs          tmpfs     3.9G   64K  3.9G   1% /tmp

/dev/sdb1      ext4       74G  3.4G   67G   5% /2ND-DISK

tmpfs          tmpfs     799M   12K  799M   1% /run/user/42

tmpfs          tmpfs     799M   32K  799M   1% /run/user/1000

/dev/loop0     xfs       190M   88M  102M  47% /sysdocu_test

# ll /sysdocu_test

합계 70000

-rw-r--r-- 1 root root 10240000  8월 31 16:08 testfile

-rw-r--r-- 1 root root 10240000  8월 31 16:09 testfile2

-rw-r--r-- 1 root root 10240000  8월 31 16:17 testfile3

-rw-r--r-- 1 root root 10240000  8월 31 16:30 testfile4

-rw-r--r-- 1 root root 10240000  8월 31 16:41 testfile5

-rw-r--r-- 1 root root 10240000  8월 31 17:05 testfile6

-rw-r--r-- 1 root root 10240000  8월 31 17:06 testfile7

3. EXT4 파티션 이미지 마운트하기

(ext4 테스트 파일명 : 215_43_snap.img / raw 포맷)

(테스트 환경 : CentOS 7.0 64bit - ceph 10.2.2)

ceph-deploy osd prepare osd-1:sdb 와 같이 prepare 실행시 아래와 같은 에러가 뜰 때가 있습니다.

이전에 사용했던 적이 있는 디스크일 경우 주로 나타나는데, 이때의 해결 방법입니다.

[에러]

[osd-1][ERROR ] RuntimeError: command returned non-zero exit status: 1

[해결]

(osd-1 에서)

# dd if=/dev/zero of=/dev/sdb bs=512 count=1

# reboot

(ceph node 에서)

$ ceph-deploy disk zap osd-1:sdb          // 에러날 경우 한 번 더 반복 수행

$ ceph-deploy osd prepare osd-1:sdb    // 에러날 경우, 위 명령(disk zap)을 다시 수행하고, 본 명령을 수행 (반복)

(형식)

$ rbd diff $POOL/$IMAGE | awk '{ SUM += $2 } END { print SUM/1024/1024/1024 " GB" }'

(사용예)

$ rbd diff sysdocu-pool/vda | awk '{ SUM += $2 } END { print SUM/1024/1024/1024 " GB" }'

0.0104294 GB

SUM 결과가 byte 단위 이므로, 10억 (1024의 3승) 으로 나누어 GB 단위를 붙인 것 입니다.