모종닷컴

◆빅 데이터 이해하기 16년에 AI알파고 구글의 무인 자동차가 나오면서부터 “4차 산업혁명“ 이란 단어가 나오기 시작했습니다. 빅 데이터는 4차 산업 혁명으로 가기 위해 필요한 핵심 기반 기술입니다. ◆빅 데이터가 필요한 이유? 인터넷/ 모바일 시대로부터 지금까지 쌓인 데이터들에서 최근 2년 동안 발생한 데이터가 전 세계 데이터의 80%를 차지한다고 합니다. 이 말은 앞으로 생겨날 데이터의 양은 지금과는 비교가 안 될 정도로 많아질 것이라는 것을 알수 있습니다. 빅 데이터 기술은 이렇게 방대한 데이터들에서 다양한 패턴들을 해석하여 미래를 예측하는 기술이라 볼 수 있겠습니다. ◆빅 데이터 기술의 발전 처음은 단순 수집, 적재로 활용되었지만 2012년 쯤 부터 수집한 데이터를 분석하기 시작했고 현재는 이러한..

정형 데이터 vs 비정형 데이터 데이터는 형태에 따라 정형 데이터, 반정형 데이터, 비정형 데이터로 나뉩니다. 크게 정형 vs 비정형으로 알아보겠습니다. ◆정형 데이터란?? 스키마 형태가 있고 연산가능하면 정형 데이터이며, 형태가 있으나 연산가능하지 않으면 반정형 데이터에 속합니다. 예로 RDBMS의 테이블들을 예로 들수 있겠습니다. 여기서 반정형 데이터의 경우를 들자면 아래와 같이 데이터의 형태가 있지만 정형 데이터와 같이 완벽하게 정리된 모습이 아닌 것을 반정형이라 칭하는 것 같습니다. 반정형 데이터의 예로 공공 API에서 받은 정리되지 않은 데이터들 또는 JSON파일 등 입니다. 반정형 데이터 ◆비정형 데인터란?? 비정형 데이터는 형태도 없고, 연산 가능하지도 않은 것. 우리가 흔히 말하는 소셜 데..