[Hadoop] - 피그(pig) 예제 : passwd 파일 데이터 추출하기

○ 피그(pig) 예제 : passwd 파일 데이터 추출하기

1. vi /etc/passwd 파일을 열어보자     열어보면 각종 아이디 패스워드 UID GID 사용자이름 홈디렉토리가 쭈욱 나열되어 있다 2. /etc/passwd 파일을 hdfs의 /user/cloudera 에 passex 로 업로드한다 3. 피그의 grunt shell을 실행한다 4. a1 으로 해당 파일을 불러오고 using PigStorage 의 : 을 구분자로 지정한다     그리고 result 에다가 foreach로 반복문을 돌면서 첫번째값, 두번째값, 다섯번째값, 여섯번째값을 저장하고     dump 를 통해 잘 처리되었나 확인을 해본다 5. 해당 result 결과들을 store 명령어를 통해 파일 시스템에 폴더를 만들어 저장하고     quit 로 나온다 6. 해당 폴더에서 결과를 확인한다 또 다른 예로 / 으로 구분자를 설정했을 때