빅데이터에 대해서 알아보자

 

빅데이터란

데이터는 21세기 석유라고 불리고 있습니다. 

지금도 전세계에서는 1분당 1800테라바이트의 크기의 데이터가 생성되고 있습니다.

이러한 거대한 데이터를 분석하고 활용하는 능력은 다른 사람들과 국가간의 경쟁력에서 크게 직결되는 시대에 살아가고 있습니다.

 

빅데이터의 정의를 보면  단순하게 큰 데이터를 의미하는것이 아니라 데이터베이스 관리하는 도구로써 데이터를 수집, 저장, 관리 , 분석 하는 능력을 넘어서 대량의 정형 또는 비정형 데이터베이스로 부터 데이터의 가치를 추출하고 분석하는 기술이라 할 수 있습니다.

 

즉, 다양한 데이터를 수집하고 분석하여 새로운 정보과 가치를 만들어내는 것이라 할수 있습니다.

---

빅데이터의 특징

Volume

데이터가 많다는 것을 나타내는 Volume입니다.

 

Variety

데이터의 종류가 많다는것을 의미하는 Variety 입니다.

 

Velocity

데이터의 생성과 유통, 이용 속도가 빠르다는 것을 나타내는 Velocity 입니다.

 

Veracity

위의 3가지를 기본으로 데이터의 신뢰 수준을 이야기 하는 Veracity입니다.

 

Value

가치를 이야기 하는 Value 입니다.

 

Complexity

복잡성을 뜻하는 Complexity 등을 빅데이터의 특징으로 나타냅니다.

 

---

즉, 많은 양의 데이터를 빠르고 정확하게 분석하는것이 빅데이터의 핵심이라고 할 수 있습니다.

---

빅데이터의  활용단계 

 

Raw data 수집

SNS의 텍스트 데이터, 대중교통에서의 데이터를 실시간으로 수집하는 로그데이터, 시각, 음성 등 많은 데이터를 수집 하여 활용 할 수 있습니다. 

 

즉 현재 우리가 하는 모든 행위가 데이터가 될 수 있습니다.

 

데이터 전처리 단계

필요없는 데이터를 제외시키고 데이터를 컴퓨터가 이해할 수 있는 구조로 변환하고 수집된 데이터를 분석할 수 있도록 정리하는 단계 입니다.

 

이 과정을 거처 오류를 줄이고 정확도를 높여 분석 할때의 소요되는 시간도 줄일 수 있습니다.

 

데이터를 저장하는 단계

분석을 위해 데이터를 저장하는 단계이며 데이터가 소실 되지 않도록 합니다.

디스켓, CD, 하드디스크, 클라우드 등에 저장 하게 되며 이러한 저장의 발전으로 인하여 오늘날의 빅데이터가 발전하였다고 해도 과언이 아닙니다.  

 

데이터를 분석하는 단계

데이터를 분석 하는 데에도 여러가지 방법이 있는데요. 분류 분석, 군집 분석, 연관 분석, 예측 분석등 다양한 방법을 사용하여 데이터를 분석하고 이러한 데이터를 분석 하는 과정에서 SPSS, R과 같은 분석 프로그램을 사용하여 분석을 합니다.

---

같은 데이터를 가지고 다른 결정이 나올 수도 있기에 데이터를 어떻게 잘 분석하느냐에 따라 정보의 가치가 결정됩니다.

빅데이터가 중요한 이유는 우리가 의사결정을 할때 시각화된 자료로 우리를 도와 줄 수 있기 때문입니다.

 

빅데이터를 통해 사람들이 현제 어떤것에 관심이 있으며 어떤 제품을 선호 하는지도 알수 있습니다.

이를 기반으로 기업은 사람들이 원하는 상품을 제공하고 추천 할 수 있고 이러한 서비스는 소비자의 고민 하는 시간을 덜어주고 빠르게 의사 결정을 할수 있게 하여 기업의 매출에 많은 도움을 줄 것입니다.

 

또한 이러한 빅데이터는 인공지능을 통한 학습을 위한 기본 자료가 되기도 하며 이러한 방대한 빅데이터를 바탕으로 인공지능이 스스로 데이터를 분석하고 결과를 만들어내는 작업을 하고 있습니다.

 

빅데이터를 21세기의 석유라고 불리는 것은 석유를 정제하여 연료를 얻지만 이 정제하는 과정에서 현재 실생활에 쓰이고 있는 많은 결과물을 얻을수 있는것 처럼 데이터를 여러 과정을 통하여 정제 하고 분석하는 과정에서 우리가 예상 했던 자료 이외에 우리가 생각지도 못했던 자료를 얻고 그 지식을 활욜 할수 있기 때문입니다. 

 

현재의 빅데이터의 동향을 보면 최근 2년간 만들어진 데이터의 양이 그 이전의 만들어진 데이터의 양보다 많다고 합니다.

이러한 데이터들을 방치하는 것보다 잘 정제해서 잘 활용하는것이 앞으로 살아가는데 있어서 도움이 많이 될것 같습니다. 

 

현재의 빅데이터를 활용하여 사용하면 이 데이터를 사용할 수 있는 분야는 무궁무진하며 앞으로의 발전은 지금과 비교도 없이 빠르게 변화 될것이라고 생각이 듭니다.