[Hadoop] - 맵리듀스(MapReduce) 예제 : Word Count
빅데이터Hadoop2017. 6. 27. 13:43
336x280(권장), 300x250(권장), 250x250, 200x200 크기의 광고 코드만 넣을 수 있습니다.
○ 맵리듀스(MapReduce) 예제 : Word Count |
해당 예제를 돌리기 위한 hadoop-mapreduce-exmaples.jar 는 /usr/lib/hadoop-mapreduce/ 에 위치하고 있다 1. 분류하려는 파일들을 만들거나 이동시켜 hdfs의 input 폴더에 올린다 2. hadoop 예제 압축파일인 hadoop-mapreduce-examples.jar 를 이용하여 입력 폴더와 출려 폴더를 설정해준다 (출력 폴더는 알아서 만들어진다) 3. 위의 명령을 입력했다면 맵리듀스가 실행되고 분류되는걸 볼 수 있다 4. 100%로 완료된다면 output 폴더에 결과가 완성되어있을 것이고 결과를 열어보면 다음과 같이 단어들의 카운터를 보여준다 신기했던것은 이 2파일을 돌리는 시간보다 크롤링했던 500줄을 돌리는 시간이 더 빨랐다는 점... 이래서 쓰나보다~ |
'빅데이터Hadoop' 카테고리의 다른 글
| [Hadoop] - 하이브(hive) 예제 : 강남구 미세먼지 다루기 (0) | 2017.06.28 |
|---|---|
| [Hadoop] - 공공데이터 활용하여 분석해보기 (0) | 2017.06.28 |
| [Hadoop] - 피그(pig) 예제 : passwd 파일 데이터 추출하기 (0) | 2017.06.27 |
| [Hadoop] - HDFS + Hue UI 사용하기 (0) | 2017.06.27 |
| [Hadoop] - 클라우데라 QuickStart VMs 설치하기 (0) | 2017.06.27 |
댓글()