모종닷컴

오늘은 빅데이터의 여러 가지 단계 중에서도 수집에 관련한 내용을 알아보려고 합니다. 빅데이터에서는 기존 RDBMS로는 방대한 양의 데이터를 처리하는 데 유지보수 비용이 많이 들 뿐만 아니라, 많은 시간과 하드웨어 성능 또한 가장 중요한 비정형 데이터를 처리하는 어려움때문에 잘 쓰이지 않습니다. 때문에 기존 RDBMS의 문제를 보완하고 대용량의 데이터를 효과적으로 수집하는 기술들이 무엇이 있는지 자세히 알아보도록 하겠습니다. *데이터의 흐름은 수집 후 저장이지만 저장소가 없다면 수집기의 동작을 확인할 수 없기 때문에 데이터 저장소 준비가 우선이라고 합니다!! 1. Flume(물 미끄럼틀) -플럼은 클라우데라에서 2010년에 공개한 오픈 소스 프로그램(로그 수집기)입니다. -매우 단순한 구조로, 몇가지 설정..

블로깅을 하다 좋은 글이 있어 퍼왔습니다. [출처]http://binny.tistory.com/31 하둡이 생겨난 이유를 잘 설명한 글 입니다. 탄생 배경을 이해하고 쓰는 것이 많은 도움이 될것 같아 퍼왔습니다.

◆빅 데이터 이해하기 16년에 AI알파고 구글의 무인 자동차가 나오면서부터 “4차 산업혁명“ 이란 단어가 나오기 시작했습니다. 빅 데이터는 4차 산업 혁명으로 가기 위해 필요한 핵심 기반 기술입니다. ◆빅 데이터가 필요한 이유? 인터넷/ 모바일 시대로부터 지금까지 쌓인 데이터들에서 최근 2년 동안 발생한 데이터가 전 세계 데이터의 80%를 차지한다고 합니다. 이 말은 앞으로 생겨날 데이터의 양은 지금과는 비교가 안 될 정도로 많아질 것이라는 것을 알수 있습니다. 빅 데이터 기술은 이렇게 방대한 데이터들에서 다양한 패턴들을 해석하여 미래를 예측하는 기술이라 볼 수 있겠습니다. ◆빅 데이터 기술의 발전 처음은 단순 수집, 적재로 활용되었지만 2012년 쯤 부터 수집한 데이터를 분석하기 시작했고 현재는 이러한..

정형 데이터 vs 비정형 데이터 데이터는 형태에 따라 정형 데이터, 반정형 데이터, 비정형 데이터로 나뉩니다. 크게 정형 vs 비정형으로 알아보겠습니다. ◆정형 데이터란?? 스키마 형태가 있고 연산가능하면 정형 데이터이며, 형태가 있으나 연산가능하지 않으면 반정형 데이터에 속합니다. 예로 RDBMS의 테이블들을 예로 들수 있겠습니다. 여기서 반정형 데이터의 경우를 들자면 아래와 같이 데이터의 형태가 있지만 정형 데이터와 같이 완벽하게 정리된 모습이 아닌 것을 반정형이라 칭하는 것 같습니다. 반정형 데이터의 예로 공공 API에서 받은 정리되지 않은 데이터들 또는 JSON파일 등 입니다. 반정형 데이터 ◆비정형 데인터란?? 비정형 데이터는 형태도 없고, 연산 가능하지도 않은 것. 우리가 흔히 말하는 소셜 데..