[ALWAYSU012] Always with you Forever

Rocks 또는 WCCS 2003 또는 HPCS 2008 등등
클러스터를 구성하는 경우,,
대부분 PXE Network 부팅을 통해 Compute Node를 설치합니다.

Rocks 4.3을 이용해서 Compute Node를 설치하던 중,,
Frontend 노드와 연결이 되지 않아 설치 초기 과정에서 실패하는 경우가 있습니다.

실패가 나타나는 경우
- CISCO Catalyst 29xxG Switch 사용
- PXE 부팅과정에서 DHCP에서 IP를 받아오며,, 설치 초기 화면까지는 나타남
- 설치가 진행되는 듯 싶다가,, 멈춘 후 리부팅 됨

실패 원인
- 좀 특이한 경우겠지만,, CISCO Switch 의 경우 Learning Time 이란 것이 있습니다.
- 스위치에 새로운 서버를 연결했을 경우 처음에는 주황색 이었다가,,
  한참이 지난 후에야 초록색으로 바뀝니다.
- 정확하게는 Blocking, Listening, Learning, Forwarding, Disabled 상태 중 하나이지요.
- 서버를 부팅했을 경우 Forwarding 상태이기 때문에,, PXE 부팅이 진행됩니다.
- PXE 부팅과정에서 리눅스 커널이 올라옵니다.
- 리눅스 커널이 네트워크 드라이버 모듈을 다시 올리는 과정에서
  스위치와의 링크가 끊어졌다가 다시 연결됩니다.
- 다시 연결되었기 때문에,, 스위치는 Spanning-Tree 설정에 따라
  Forwarding 되기까지 시간이 걸립니다.
- 지연되는 시간 때문에,, 네트워크가 끊긴 것으로 인식하고, 설치를 종료시켜버립니다.

해결방법
- Switch의 Learning Time을 줄여줘야 합니다.
- Spanning-Tree를 사용하지 않거나,, Port Fast를 적용합니다.
- Catalyst 2960G 스위치의 매뉴얼은 아래 링크를 참조하세요.
http://www.cisco.com/en/US/docs/switches/lan/catalyst2960/software/release/12.2_25_see/configuration/guide/scg_1.html

Catalyst Switch 연결
- Serial Cable 사용
   Linux의 minicom 이란 프로그램 실행
   # minicom -s

      위와 같이 설정하고,, 연결이 되면,,
      Switch> en

   또는,,
 
__

Rocks 클러스터를 설치하는 과정에서,
PXE Network 부팅을 진행하다가,,
아래와 같은 메시지가 발생했을 경우???

PXE-E32: TFTP open timeout

생각지도 못했던 문제에 상당히 고생했습니다.
DHCP 에서 IP를 받아가고 나서,,
TFTP Server 에서 부팅에 필요한 파일들을 가져가야 하는데,,
TFTP에 접근을 못해 timeout 이 발생합니다.

해결 방법

1. Firewall 점검
   TFTP Server가 동작하고 있는 서버에서 iptables firewall을 사용할 경우
   우선 iptables 를 내린 후 다시 진행
   iptables 내린 후 정상 동작한다면,, iptables firewall 설정을 점검할 것
   
2. TFTP 서버
   Rocks 5.1 버전에서는 TFTP 서버가 xinetd 서비스로 묶여서 돌아갑니다.
   xinetd 서비스를 재시작해보세요.

Parametric Job + Job Dependency 입니다.

첨부파일을 열어보면,, 6개의 파일이 보입니다.

cpi.c cpi start.sh compute.sh end.sh sub.sh

 

파일 설명

cpi.c     : PI 계산 C Source, Interval 값을 인자로 입력받아 PI를 계산

cpi       : Compile 된 binary 파일

start.sh  : 시작 스크립트, input parameter를 파일에 저장

compute.sh       : 계산 스크립트, input parameter를 읽어서 cpi 인자값으로 넘겨서 계산

end.sh   : 종료 스크립트, 임시 input 파일을 삭제

sub.sh   : 세개의 job을 제출하는 스크립트

주의 ::: 이 스크립트에서는 input parameter가 4개라고 가정하였음, BASH 를 사용하였음.

 

실행방법

[user1@hnode01 ~]$ ./sub.sh

Your job 51 ("start") has been submitted

Your job-array 52.1-4:1 ("compute") has been submitted

Your job 53 ("end") has been submitted

 

[user1@hnode01 ~]$ qstat

job-ID  prior   name       user         state submit/start at     queue                          slots ja-task-ID

-----------------------------------------------------------------------------------------------------------------

     51 0.00000 start      user1       qw    12/24/2008 16:25:44                                    1       

     52 0.00000 compute    user1       hqw   12/24/2008 16:25:44                                    1 1-4:1

     53 0.00000 end        user1       hqw   12/24/2008 16:25:44                                    1