BigDATA/Hadoop

[꿀팁] 하둡 inputPath로 다중 File 작업하기

태하팍 2015. 2. 4. 10:50
반응형


[그림 - 1 : 안구정화용~~]


// 참고 소스~~


// 아래처럼 path 들을 list에 넣어준다.

List<String> inputPath = new ArrayList<String>();
inputPath.add(otherArgs[0]+"/01_acet.clicklog_mo");
inputPath.add(otherArgs[0]+"/02_acet.clicklog_mo");


// 입출력 데이터 경로 설정
//FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

for(String input : inputPath){ // list에 담겨져있는 path들을 하나씩 넣어준다.
FileInputFormat.addInputPath(job, new Path(input));
}


나의 의문은 현재 하나의 파일을 input하여 output을 하는 단순한 맵-리듀스 프로그래밍을 했다.

그런데 input되는 파일이 하나가 아니라면? 경로를 어떻게 해줘야 많은 파일들을 처리할 수 있을까?

답은 위처럼 for을 돌려서 Path에 경로들을 넣어주면 돌아간다~


     - END -

반응형