[둘째] 둘째에 대한 짧은 고찰 고찰이라는 제목을 달았으나, 사실은 고민에 가깝다.그래도 생후 9일을 달리고 있는 둘째를 가진 내가 지금 무슨생각을 하고 있는지를 남겨놓는다면, 나중에 "아..그땐 그랬었지.."라는 기억의 한조각이 뇌속에 지속적으로 각인되어 있을것 같아 남겨본다.생후 8일차에 찍은 사진.하지만 지금과 다른지 않음...(하루 차이라..)트림 시키는 방법 신생아를 키우면서 가장 힘든건 아무래도 분유먹이고 나서 트림 시키는게 아닌가 싶다.요샌 블로그의 단편적인글 뿐만 아니라 유투브에도 엄마들이 각자 동영상을 찍어서 올려놨기에 방법을 찾는건 어렵지 않다.하지만 등을 위에서 아래로 라든가, 아래서 위로 쓰다듬는 다든가, 반시계 방향으로 돌린다던가, 고개는 오른쪽으로 돌린다던가 하는 방법을 소개하지만 직접 해보면 정답은 없다.그냥.. 소소한 일상/삶의 이야기 2019. 9. 29. 01:17
[Hadoop] 하둡 - Multi-output 다수 파일 출력 앞쪽의 예제에서 configuration을 콘솔에서 적용하는 방법을 설명했습니다.https://tourspace.tistory.com/232 위 예제에서는 맵리듀스 수행시 -D 옵션으로 worktype 값을 설정하고, map에서 해당 값을 읽어 분리했습니다. 하지만 이럴경우 worktype별로 맵리듀스를 여러번 수행해야합니다.어차피 데이터를 쭈~욱 로드해서 분류해내는 작업인데, param에 따라 같은 데이터를 몇번씩 읽어서 처리하는건 비효율적이기 때문에 한번에 읽고 출력 파일을 따로 만들수 있는 Multi-output을 제공합니다. ※ 코드는 kotlin으로 작성되었습니다. Mapper의 구성먼저 mapper를 아래와 같이 구성합니다.예제는 BasketWinners라는 농구팀의 점수기록파일이라고 가정합니.. 개발이야기/Hadoop 2019. 9. 28. 12:33
[Hadoop] 하둡 - 카운터(counter)의 사용 하둡에서 맵리듀스 코드 작성시 로그를 보고싶은 경우가 있습니다.특히나 해당 케이스가 몇번 일어났는지 부분적으로 로그를 찍어보고 싶은 경우가 있는데, 이때는 println 이나 log4j등을 사용하지 않고 카운터를 사용하면 편리합니다. 카운터는 Mapper나 Reducer의 필요한 곳에 static 함수를 호출하여 카운팅을 합니다. 먼저 conter를 사용하기 위한 enum을 정의합니다.enum class의 이름은 카운터 그룹의 이름, Field는 카운터의 이름이 됩니다. enum class BasketBallCount { Point_3, Point_2, Ponint_1 } 예제로 농구 점수를 세기위한 카운터를 만들었습니다.Mapper또는 Recuder를 구현할때 특정 점수를 카운팅 하기 위해 아래와 같은.. 개발이야기/Hadoop 2019. 9. 27. 11:24
[Hadoop] 하둡 - 사용자 정의 옵션 GenericOptionParser, Tool, ToolRunner 하둡을 실행할때, 콘솔에서 추가 옵션을 줄수 있습니다.또한 콘솔에서 추가한 옵션을 코드상에서 받아서 읽어서 사용할 수도 있습니다. 콘솔에서 입력된 옵션을 분석하기 위해 org.apache.hadoop.util 클래스에서 GenericOptionParser를 제공합니다.또한 실행을 도와주기 위해 Tool 인터페이스와 Tool을 상속받아 override한 run() 함수를 실행해 주는 ToolRunner 헬퍼 클래스를 제공합니다. 이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. GenericOptionParser 제공 옵션-conf : 해당 파일명을 환경설정에 있는 리소스 정보에 추가합니다.-D : 환경설정.. 개발이야기/Hadoop 2019. 9. 26. 12:25
[Hadoop] 하둡 - 맵 리듀스(MapReduce)의 수행 단계 Client가 맵리듀스를 수행하면 Job이 생성되고 잡트래커와 태스크트래커에 잡을 할당합니다.할당된 잡은 각각의 데이터노드에서 수행되어 결과를 반환하며, 최종적으로 수행이 완료 됩니다. 이번에는 각 단계별로 수행되는 단계를 좀 자세히 알아봅니다.이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다.대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. Client의 Job 요청1. 앞선 예제에서 main 클래스 내부에서 Job을 생성하여 각종 정보를 set한 후에 waitForCompletion()을 호출합니다.이 함수가 호출되면 Client의 요청은 Job 내부의 JobClient 컴포넌트에 전달됩니다. 2. JobClient는 RPC를 통해서 잡트래커의 ge.. 개발이야기/Hadoop 2019. 9. 24. 17:38
[Hadoop] 하둡 - 맵리듀스의 기초, 기본 예제 #2 하둡의 핵심인 맵 리듀스를 구현하는건 크게 어렵지 않습니다.1. mapper의 map()을 내가 하고자 하는걸로 override 해준다.2. reducer의 reduce()를 내가 원하는걸로 override 해준다.3. 입출력 타입, mapper와 reducer의 클래스가 무언인지등의 정보를 설정해주는 job을 생성하여 실행시킨다. 이 세단계로 구현하면 되기 때문에 하둡의 샘플 예제에도 있는 wordCount를 직접 만들어 보겠습니다. ※ 본 예제는 Kotlin을 사용하였습니다. 먼저 mapper를 구성합니다./** * Mapper 개발이야기/Hadoop 2019. 9. 23. 14:23
둘째가 태어났다. 둘째가 태어났다.열달을 기다렸다는 표현 보다는 이제 막 뛰어다니고 말 안듣는 첫째에 치이다 보니 어느덧 둘째 출산이 임박했다고 해야 하나..첫째때 처럼 "책을 읽어줘야 하나?", "클래식을 틀어놔야 하나?" 라는 고민 자체를 해보지 못했고, 와이프 역시 임신중에 첫째를 키우며, 하루에 한잔 정도는 아메리카노를 마시고, 때때론 매운 닭발도 먹으면서 첫째의 땡강을 버텨야 했다. 첫째의 출산을 기억해 보면, 오전 9시부터 유도분만을 시도했으나, 진통이 걸리지 않아 하루종이 태동검사와 병실을 왔다갔다 하는 사이 당일날은 포기하고 둘이 피곤한 채로 잠이 들려는 찰라에 진통이 시작됐다. 밤 12시부터 밤새도록 진통을 하고 오전 9시에 지우가 나왔는데, 정말..와이프와 나는 피곤함에 그날 오전에 병원에서 기절해서 잔.. 소소한 일상/삶의 이야기 2019. 9. 22. 16:59
[Hadoop] 하둡 - 맵리듀스의(MapReduce) 기초 #1 하둡은 데이터를 맵핑하여 원하는 형태로 만들고 맵핑된 데이터를 정렬하여 원하는 결과로 reduce 시킵니다.앞서서는 하둡에서 사용하는 file system인 HDFS를 설명했다면, 실제로 하둡 프로그래밍을 하기 위해서 필요한 맵리듀스에 대해서 얘기합니다.맵리듀스는 병렬로 분산처리를 지원해주는 Framework 입니다.사용자는 처리해야할 로직을 잘 구현해 놓고 맵리듀스에 던져주면 알아서 병렬처리를 하여 결과값을 반환해 줍니다. 이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다. 대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. 맵리듀스의 구성1. JobTracker잡트래커는 전체 하둡 클러스터에 하나만 존재하며 주어진 job의 스케쥴링 및 모니터링을 담당.. 개발이야기/Hadoop 2019. 9. 20. 13:46
[Hadoop] 하둡 - HDFS를 코드로 접근하기 #3 앞서서 hdfs 파일 시스템에 접근하는 명령어들을 알아봤습니다. 커멘트 창이 아닌 코드상에서 hdfs내부에 접근하려면 org.apache.hadoop.fs 패키지를 이용해야 합니다.간단하게 코드로 hdfs 파일 쓰기, 읽기에 대한 예제는 아래와 같습니다. 먼저 IntellJ에서 kotlin maven 설정을 하는 방법은 하기 링크에서 확인하시기 바랍니다https://tourspace.tistory.com/225 예제를 실행하려면 maven에 관련 라이브러리를 추가해야 합니다.pom.xml 파일에 아래와 같이 dependency를 추가합니다.※ 본 예제는 Kotlin을 사용하였습니다.import org.apache.hadoop.conf.Configuration import org.apache.hadoop... 개발이야기/Hadoop 2019. 9. 19. 12:36
IntelliJ에서 jar 생성 이클립스든 IntelliJ든 저와같은 앱쟁이들이 jar를 만들때는 매번 검색해야하는 부분입니다.앱쟁이들은 빌드하면 apk가 똭!! 하고 떨어져야 하는데, 간혹 jar를 만들어야 할 일이 생깁니다.안드로이드를 Eclipse로 개발하던 시절엔 특정 라이브러리를 생성하기 위해 jar를 사용했고, 이번에는 목적은 다르지만 하둡에서 실행시킬 프로그램을 만들기 위해 jar가 필요해 졌습니다. 방법이 어렵지는 않지만, 정말 가뭄에 콩나듯 jar를 생성하는 일이 발생 할 때마다 매번 구글링 하기엔 시간이 낭비될것 같아 정리해 둡니다. 1. File -> Project Structure를 클릭하면 아래와 같은 화면이 나옵니다.2. 여기서 왼쪽의 Arifacts를 선택합니다.사진처럼 아무것도 없다고 나옵니다. 허허...3.. 개발이야기/Java 2019. 9. 18. 00:32
IntelliJ에서 maven kotlin 프로젝트 만들기 IntelliJ에서 Maven을 이용해서 순수하게 자바나 코틀린 프로젝트를 만드는 경우는 드문것 같습니다.전부 spring mvp 등등을 연결하는 방법이 주를 이루네요. 그래서 이리저리 구글링하다 얻은 지식을 정리해 봅니다.당연히 인텔리제이가 있어야 합니다.구글링하면 아주 손쉽게 다운 받을수 있습니다.https://www.jetbrains.com/idea/download/ 상기 사이트에 접속하여 본인의 OS에 맞는 버전을 다운로드 합니다.물론 Community 버전을 받아야 겠죠?(인텔리제이 professional 버전은 너무 비싸서 개인이 쓰기엔 무리가 있습니다. 한번 구매하고 끝나는것도 아니고 사용 기간이 지나면 계속 구매해서 기간을 연장해야 합니다.) 여튼 community 버전만으로도 충분히 개발.. 개발이야기/Kotlin 2019. 9. 18. 00:01
[Hadoop] 하둡 - HDFS 명령어 #2 기본적으로 하둡의 명령어는 유닉스 계열의 명령어와 유사합니다. 거의 같다고 볼수 있는데 다만 hadoop fs -xxxx로 시작한다는점만 살짝 차이가 있습니다.이미 눈에 많이 익은 명령어 이기 때문에 다행스럽게도 부담스럽지 않네요.이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다.대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. 기본적으로 하둡 설치후 PATH를 설정하지 않았다면 아래 명령어들은 ./bin/hadoop fs -xxxx 로 사용해야 합니다. help지원하는 명령어의 전체 설명을 확인할수 있는 명령어 입니다. ~ hadoop fs -help ls, lsr파일 목록을 보는 명령어 입니다.lsr은 하위 디렉토리의 정보까지 모두 표시 합니다. ~.. 개발이야기/Hadoop 2019. 9. 17. 13:57
[Hadoop] 하둡 - HDFS 기초 #1 하둡의 시작인 HDFS의 기초 및 아키텍쳐에 관하여 간단하게 정리한글 입니다. HDFS(Hadoop Distributed File System)은 저사양 서버를 이용하여 대용량의 분산파일시스템을 구축할수 있는 장점이 있습니다. 고사양이나 안정적인 파일저장 또는 트랜잭션에는 적합한 시스템이 아니지만, 대규모 데이터 저장 또는 배치 처리시 유용한 파일 시스템 입니다. 이글은 "시작하세요! 하둡 프로그래밍"을 참고하였습니다. 대부분의 내용이 생략되고 정리된 내용이므로 자세한 내용은 꼭 책을 구입하여 확인하시기 바랍니다. HDFS의 특징1. 장애복구- 빠른시간안에 장애를 파악하고 대처할수 있도록 설계되었습니다. 또한 복제 데이터가 존재하므로 데이터 손실을 방지합니다. 2. 스트리밍 방식의 데이터 접근- HDFS.. 개발이야기/Hadoop 2019. 9. 16. 19:16
[ssh] 기본 명령어 ssh의 포트를 바꿔놓으니 접속할때마다 오락가락하여 간단하게 정리해 봅니다. 접속ssh 아이디@ip주소 ex) ~ ssh tester@100.200.300.4 ssh 포트가 22번이 아닐경우ssh -p 포트번호 아이디@ip주소 ex) ~ ssh -p 1234 tester@100.200.300.4 인증키 복사공개키를 상대방 서버에 복사해 놓으면 ssh 접속시 인증없이 접속이 가능합니다. (비밀번호를 치지 않고 바로 접속됨)ssh-copy-id -i 내홈주소/.ssh/id_rsa.pub 아이디@ip주소 ex) ~ ssh-copy-id -i /home/myaccount/.ssh/id_rsa.pub tester@100.200.300.4 개발이야기/Hadoop 2019. 9. 16. 11:33
[Hadoop] 하둡 1.2.1 설치 책에 있는 내용은 완전분산모드인데, 공부한다고 서버를 다수로 준비할수가 없어 가상분산모드로 설치하려고 했더니만..잘 안되서 검색중에 하기 사이트를 찾음두개의 모드에 따라 설정파일이 차이가 있으므로 두개의 링크를 추가함.설치 OS: ubuntu 18.04.3 LTS 완전분산모드https://ssup2.github.io/record/Hadoop_%EC%84%A4%EC%B9%98_%EC%84%A4%EC%A0%95_Ubuntu_18.04/ 가상분산모드 https://1004jonghee.tistory.com/entry/%ED%95%98%EB%91%A1-%EA%B0%80%EC%83%81-%EB%B6%84%EC%82%B0-%EB%AA%A8%EB%93%9C-%EC%84%A4%EC%B9%98Hadoop-121-vers.. 개발이야기/Hadoop 2019. 9. 11. 13:56
ssh로 파일전송 - scp ssh로 간단하게 파일을 전송할 수 있습니다.scp라는 명령어를 사용하면 되는데 사용법은 아래와 같이 매우 단순합니다 1. 일반적인 파일 전송~ scp (전송할 파일) (아이디@전송할 서버주소):(저장될 서버의 디렉토리)ex) ~ scp /home/local/a.txt remote@myserver.com:/home/remote 2. ssh 포트 번호가 22번(기본)이 아닌경우~ scp -P 포트번호 (전송할 파일) (전송할 서버주소@아이디):(저장될 서버의 디렉토리)ex) ~ scp -P 9999 /home/local/a.txt remote@myserver.com:/home/remote 3. 디렉토리를 전송~ scp -P 포트번호 -r (전송할 디렉토리) (전송할 서버주소@아이디):(저장될 서버의 디렉토.. 개발이야기/Hadoop 2019. 9. 10. 14:38
다시 미분 적분 후기 간만에 수학책을 읽었습니다. 베스트셀러이기도 했고, 미적분과 확률은 계속 일하는데 필요한 부분인데, 내가 기초가 있었나 싶기도 했는데, 마침 회사에서 책을 사준다기에 얼른 주문했습니다. 첫머리의 시작처럼 사실 수학을 공부했다기 보다 읽었다는 표현이 맞을것 같습니다. 한 챕터 읽고, 고등학교때 시험을 치기위해 무조건 외우기만 했던 공식을 한번 유도해 보고, 문제도 직접 연습장에 풀어보면서 고등학교때의 감성을 물씬~ 느꼈던 책입니다. 책에서 계속 강조했던것 처럼 공식을 외우면 까먹으니, 유도하는 방법과 원리를 외우면 공식은 언제든지 유도할 수 있다는 말을 잘 따라하려고 했던것 같습니다. 사실 서른중반즈음 정석을 다시 한번 풀어봐야겠다란 생각을 했던적이 있습니다. 하지만 그게 참 행동으로 옴기기 어려운 생각이.. 취미/책 이야기 2019. 9. 10. 13:08
