HDFS 검색 결과

해당 글 4건
반응형

[Hadoop] 하둡 - 사용자 정의 옵션 GenericOptionParser, Tool, ToolRunner

하둡을 실행할때, 콘솔에서 추가 옵션을 줄수 있습니다.또한 콘솔에서 추가한 옵션을 코드상에서 받아서 읽어서 사용할 수도 있습니다. 콘솔에서 입력된 옵션을 분석하기 위해 org.apache.hadoop.util 클래스에서 GenericOptionParser를 제공합니다.또한 실행을 도와주기 위해 Tool 인터페이스와 Tool을 상속받아 override한 run() 함수를 실행해 주는 ToolRunner 헬퍼 클래스를 제공합니다. 이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. GenericOptionParser 제공 옵션-conf : 해당 파일명을 환경설정에 있는 리소스 정보에 추가합니다.-D : 환경설정..
개발이야기/Hadoop 6년 전

[Hadoop] 하둡 - HDFS를 코드로 접근하기 #3

앞서서 hdfs 파일 시스템에 접근하는 명령어들을 알아봤습니다. 커멘트 창이 아닌 코드상에서 hdfs내부에 접근하려면 org.apache.hadoop.fs 패키지를 이용해야 합니다.간단하게 코드로 hdfs 파일 쓰기, 읽기에 대한 예제는 아래와 같습니다. 먼저 IntellJ에서 kotlin maven 설정을 하는 방법은 하기 링크에서 확인하시기 바랍니다https://tourspace.tistory.com/225 예제를 실행하려면 maven에 관련 라이브러리를 추가해야 합니다.pom.xml 파일에 아래와 같이 dependency를 추가합니다.※ 본 예제는 Kotlin을 사용하였습니다.import org.apache.hadoop.conf.Configuration import org.apache.hadoop...
개발이야기/Hadoop 6년 전

[Hadoop] 하둡 - HDFS 명령어 #2

기본적으로 하둡의 명령어는 유닉스 계열의 명령어와 유사합니다. 거의 같다고 볼수 있는데 다만 hadoop fs -xxxx로 시작한다는점만 살짝 차이가 있습니다.이미 눈에 많이 익은 명령어 이기 때문에 다행스럽게도 부담스럽지 않네요.이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다.대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. 기본적으로 하둡 설치후 PATH를 설정하지 않았다면 아래 명령어들은 ./bin/hadoop fs -xxxx 로 사용해야 합니다. help지원하는 명령어의 전체 설명을 확인할수 있는 명령어 입니다. ~ hadoop fs -help ls, lsr파일 목록을 보는 명령어 입니다.lsr은 하위 디렉토리의 정보까지 모두 표시 합니다. ~..
개발이야기/Hadoop 6년 전

[Hadoop] 하둡 - HDFS 기초 #1

하둡의 시작인 HDFS의 기초 및 아키텍쳐에 관하여 간단하게 정리한글 입니다. HDFS(Hadoop Distributed File System)은 저사양 서버를 이용하여 대용량의 분산파일시스템을 구축할수 있는 장점이 있습니다. 고사양이나 안정적인 파일저장 또는 트랜잭션에는 적합한 시스템이 아니지만, 대규모 데이터 저장 또는 배치 처리시 유용한 파일 시스템 입니다. 이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다. 대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. HDFS의 특징1. 장애복구- 빠른시간안에 장애를 파악하고 대처할수 있도록 설계되었습니다. 또한 복제 데이터가 존재하므로 데이터 손실을 방지합니다. 2. 스트리밍 방식의 데이터 접근- HDFS..
개발이야기/Hadoop 6년 전
반응형