빅 데이터는 점점 규모가 커지고 있고 더욱 유용해지고 있습니다. 일부 회사들은 데이터를 처리하는 방법을 파악하기 전에 저장해 두었고 이제 효과를 보고 있습니다.
빅 데이터는 지속적으로 증가하는 것이 현실입니다. 스프레드시트, 데이터베이스, 데이터 웨어하우스, Hadoop과 같은 오픈 소스 파일 시스템 등의 저장 방식과 관계없이 데이터에 신속하게 연결하고 데이터를 통합할 수 있는 유연성을 갖춰야 합니다. 실제 크기에 상관없이 데이터의 수집 원리와 데이터의 활용 방법이 중요합니다.
이 백서에서는 어디에서 시작할 수 있는지 설명하며, 빅 데이터 접근 방법에 대한 7가지 모범 사례 및 데이터를 최대한 활용하는 방법도 포함되어 있습니다.
내용을 개략적으로 파악할 수 있도록 보고서의 처음 몇 페이지를 발췌했습니다. 나머지 내용을 읽으려면 오른쪽에서 PDF를 다운로드하십시오.
빅 데이터가 더 커질 수는 없을 거라고 예상했지만, 계속해서 커졌습니다. 빅 데이터는 실제 크기에 관계없이 가치를 발휘하고 있습니다. 전 세계의 조직들은 다양한 모양과 크기의 빅 데이터를 보유하고 있습니다. 이러한 조직에서는 빅 데이터에 집중해야 하는 중요성, 잠재력, 당위성을 인지하고 있습니다. 빅 데이터의 수명은 빅 데이터를 활용하지 않는 조직보다 오래 지속될 것입니다.
가치를 파악하기 전에 저장해 두었던 다중 구조의 빅 데이터를 이미 활용한 조직들은 운영 효율성을 개선하고, 수익을 증대하고, 신규 비즈니스 모델을 지원할 수 있게 되었습니다.
그 조직들은 어떻게 성공할 수 있었을까요? 이러한 조직이 성공하는 데 활용한 기술은 다음 7가지로 요약할 수 있습니다.
1. 단기 계획을 통해 장기 계획을 설계하십시오.
최신 빅 데이터 기술을 따라잡지 못해 걱정하고 계신가요? 모든 것이 빠르게 변화하고 있어 올해 또는 내년의 가장 우수한 도구, 플랫폼 및 방법론이 무엇인지 파악하기는 불가능합니다.
걱정하지 마십시오. 이러한 빠른 변화를 수용할 수 있습니다.
공급업체들의 빅 데이터 활용 기술은 해마다 개선되고 있으며, 관계형 및 온라인 트랜잭션 시스템(OLTP)은 사내에서 운영되든, 클라우드에서 운영되든 관계없이 더욱 효율적이고 유용하게 진화될 것입니다. Hadoop 및 데이터 웨어하우스 간의 연결을 간소화할 수 있는 기술이 개발될 것이며, 비즈니스 요구 사항에 한층 더 부합하는 제품이 시장에 계속 출시될 것입니다.
따라서 너무 긴장하지 않으셔도 됩니다. 기존 환경에 새 제품을 도입할 만한 가치가 충분하다면 이러한 새 제품에 대한 가능성을 열어두고, 다양한 형식의 데이터에 직접 연결되는 비즈니스 인텔리전스 플랫폼을 유지하면 됩니다. 이렇게 하면 변화하는 시장 환경에 대비할 수 있습니다.
2. 잘못된 선택을 간파하십시오.
조직에 Hadoop이 필요합니까? 아니면 데이터 웨어하우스가 필요합니까? 이 질문은 잘못된 질문입니다. Hadoop과 데이터 웨어하우스는 함께 효율적으로 연동될 수 있으며, 조직은 Hadoop과 데이터 웨어하우스 간의 협력 관계로부터 혜택을 얻을 수 있습니다.
데이터 웨어하우스는 BI 도구 및 대시보드에서 쉽게 연결할 수 있는 구조화된 중요 데이터를 저장하기 좋지만, 분석 처리 및 변환 작업에 취약하고 속도가 느립니다.
이러한 작업은 Hadoop에서 처리할 수 있습니다. Hadoop은 대화형 쿼리와 데이터 관리 작업에 취약하지만, 구조화되지 않은 복잡한 원시 데이터를 처리하는 데는 우수합니다.
Hadoop과 데이터 웨어하우스는 함께 사용할 수 있습니다. 예를 들어 경영진에게 내년도 재고 관련 요구사항을 예측하기 위해 데이터가 필요하다고 가정해 보겠습니다. 데이터 집합의 규모가 방대하고, 이를 모델링하거나 다시 구조화하고, 다른 방식으로 데이터 웨어하우스에서 사용할 수 있도록 준비하기에는 시간이 너무 부족합니다. 그뿐만 아니라 경영진은 데이터를 단 1주일 정도 사용한 다음 삭제할 것입니다. 이 경우 Hadoop을 사용해 데이터를 저장하고 조정하여 데이터 웨어하우스에 샘플을 전송하면 됩니다.
Third Nature의 CEO인 Mark Madsen은 "빅 데이터의 진정한 목적"이라는 글을 통해 "빅 데이터는 데이터 웨어하우스를 대체할 수 없으며, 별도로 관리해야 하는 것이 아니라 새 IT 환경의 일부입니다."라고 말합니다.
Hadoop과 데이터 웨어하우스 중 하나만 선택하는 우를 범하지 마십시오. 둘 다 필요하며, 모두 사용하는 것이 좋습니다.
3. 빅 데이터를 쉽게 이해할 수 있도록 만드십시오.
빅 데이터를 시각화하면 데이터를 쉽게 이해할 수 있습니다. Aberdeen Group에서 작성한 2013년 보고서를 보면 "시각적 발견 도구를 사용하는 조직의 경우, BI 사용자의 48%가 IT 인력의 도움 없이 필요한 정보를 찾을 수 있습니다."라는 내용을 확인할 수 있습니다. 시각적인 발견이 가능하지 않은 경우 이 비율이 23%로 하락합니다.
또한, 연구에 따르면 시각적 데이터 발견 기능을 사용하는 관리자는 시각적 데이터가 없는 동료들에 비해 정보를 제때에 찾을 수 있는 확률이 28% 높습니다.
보고서에서는 시각화가 데이터와의 상호 작용을 유도하며, 이는 빅 데이터에 있어 가장 중요한 사항이라고 기술하고 있습니다. 시각적 데이터를 사용하는 관리자는 해당 데이터와 다양하게 상호 작용할 가능성이 동료들보다 2배 이상 높습니다(33% 대 15%). 이들은 또한 바로 전에 인식한 내용을 기반으로 즉흥적으로 떠오르는 질문을 할 가능성도 더 높습니다.
데이터를 시각적으로 탐색하면 뇌에서 빠르게 이해할 수 있는 방식으로 데이터의 스토리가 생생하게 전개됩니다. "예상치 못한 정보를 얻는 경우도 있습니다. 스프레드시트로는 불가능한 일이죠."라고 Wells Fargo의 전략 기획 부사장인 Dana Zuber는 말합니다.
시각적 분석을 사용하면 다음 두 가지 작업을 언제든지 수행할 수 있습니다.
- 보고 있는 데이터 변경 - 질문이 다르면 필요한 데이터도 다를 수 있음
- 데이터를 보는 방식 변경 - 뷰마다 상이한 질문에 대한 답을 제공할 수 있음
이러한 단순한 단계를 통해 데이터 발견, 데이터 보기, 질문과 답변, 반복 등의 시각적 분석 주기를 거치게 됩니다. 반복할 때마다 더 구체적인 질문을 하게 되고 더 깊이 있는 인사이트를 얻게 됩니다. 데이터를 다양한 각도에서 세부적으로 확인할 수 있으며, 새 데이터를 가져올 수도 있습니다. 시각화를 통해 사고의 속도와 범위를 확대하여 여러 뷰를 만들 수 있습니다.
뷰가 완성되면 공유할 수 있습니다. 동료들은 자신의 질문에 대해 스스로 답을 구할 수 있으며, 팀 전체에서 인사이트, 조치 및 비즈니스 성과에 대한 속도가 빨라집니다.
