BigDATA/Hadoop
[꿀팁] 하둡 inputPath로 다중 File 작업하기
태하팍
2015. 2. 4. 10:50
반응형
[그림 - 1 : 안구정화용~~]
// 참고 소스~~
// 아래처럼 path 들을 list에 넣어준다.
List<String> inputPath = new ArrayList<String>();
inputPath.add(otherArgs[0]+"/01_acet.clicklog_mo");
inputPath.add(otherArgs[0]+"/02_acet.clicklog_mo");
// 입출력 데이터 경로 설정
//FileInputFormat.addInputPath(job, new Path(otherArgs[0]));for(String input : inputPath){ // list에 담겨져있는 path들을 하나씩 넣어준다.
FileInputFormat.addInputPath(job, new Path(input));
}
나의 의문은 현재 하나의 파일을 input하여 output을 하는 단순한 맵-리듀스 프로그래밍을 했다.
그런데 input되는 파일이 하나가 아니라면? 경로를 어떻게 해줘야 많은 파일들을 처리할 수 있을까?
답은 위처럼 for을 돌려서 Path에 경로들을 넣어주면 돌아간다~
- END -
반응형