반응형 hdfs2 서버 교체 작업 시 Decommission한 뒤에 Recommission을 하는 이유? 서버 교체 작업시YARN의 NodeManager와 HBase의 RegionServer는 서버를 Stop하고 삭제하면 되는데HDFS의 DataNode 작업 시에는 Decommission을 한 뒤에 Recommission 후에 삭제를 합니다.왜 그럴까요??Decommission을 하면 이미 해당 노드는 제외된 상태 입니다. 바로 삭제해도 무관 합니다. Decommissioning을 하면서 위의 Number of Under-Replicated Blocks의 수가 줄어듭니다.dfs.hosts.exclude에 제외시킨 도메인들이 있습니다.Recommission하지 않으면 서버에 들어가서 삭제를 해줘야합니다.나중에 사용한다고 하면 그냥 나둬도 되겠지만 서버교체 작업이기 때문에 수동삭제 또는 Recommission으.. 2025. 5. 20. 02. About HDFS.. 목차 HDFS 기초 HDFS 아키텍처 HDFS 명령어 사용 정리 HDFS 기초 HDFS는 수십 테라바이트 또는 페타바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템 입니다. HDFS과 기존 대용량 파일 시스템(DAS, NAS, SAN)의 가장 큰 차이점은 저사양 서버를 이용해 스토리지를 구성할 수 있다는 것 입니다. HDFS는 다음과 같이 네 가지 목표를 가지고 설계됐습니다. 1) 장애 복구 HDFS를 구성하는 분산 서버는 다양한 장애가 발생할 수 있습니다. 그러나 장애를 빠른 시간에 감지하고, 대처할 수 있게 설계돼 있습니다.(Really??) HDFS는 데이터를 저장하면, 복제 데이터도 함께 저장해서 데이터 유실을 방지!.. 2014. 8. 28. 이전 1 다음 반응형
