데이터 패브릭이란?

지금쯤 이미 좋은 소식을 들으셨을 겁니다. 비즈니스 업계가 데이터 기반의 의사 결정 방식을 포용하고 데이터 관행을 전례 없이 빠르게 발전시켜 나간다는 소식 말입니다. 이는 팬데믹이 가져온 결과일 수도 있지만, 기업은 데이터 가치를 확인했기 때문에 이제는 직감에 따라 의사 결정을 하던 과거로 절대 돌아가지 않을 것입니다.

좋지도 않고 나쁘지도 않은 소식도 있습니다. 기업이 너무 빨리 변화하는 바람에 그들이 분석할 수 있는 것보다 훨씬 더 많은 데이터를 축적했다는 사실입니다. 조직은 평균적으로 5년 전에 비해 10배 더 많은 데이터를 관리하고 있습니다. 그리고 효율적이고 규정을 준수하고 직관적이며 안전한 방식으로 데이터를 이용하려고 고군분투하고 있습니다. 

문제가 데이터양이 아니라 데이터 저장 위치와 데이터 수집의 어려움 때문이라면 어떻게 할까요? 알고 보면, 평균 기업에는 900개 응용 프로그램이 있는데, 이 중 3분의 1만이 연결되어 있습니다. IT 리더 10명 중 9명이 이 같은 단절이나 데이터 사일로가 심각한 비즈니스 문제를 낳는다고 밝힙니다.* 이 문제에는 공통으로 비용 비효율성, 데이터 통합 오류, 누락되거나 부정확한 데이터 등이 들어가며 결국 데이터를 불신하는 사태를 부릅니다.

여기에 바로 오늘날 비즈니스가 갖는 기회가 있습니다. 기존의 사일로를 연결하고 이미 수집한 데이터의 힘을 적극 활용한다면, 기업은 현재와 미래에 데이터에 기반한 비즈니스 의사 결정을 내리도록 조직 전체의 역량을 강화할 수 있습니다. 그것에 도달하는 방법이 바로 데이터 패브릭이라는 새롭게 떠오르는 데이터 관리 설계를 구현하는 것입니다. 

데이터 패브릭 설계란?

데이터 패브릭은 기업이 원활하게 데이터에 액세스하여 데이터를 통합하고 모델링, 분석 및 프로비저닝할 수 있는 떠오르는 데이터 관리 설계입니다. 데이터 패브릭은 데이터 저장소를 중앙에 두는 대신, 융합된 환경을 만들고 인공 지능과 메타데이터 자동화를 사용하여 지능적으로 데이터 관리를 확립합니다. 

리더들이 생산성 향상과 분석 역량을 더 높이기 위해 지속적으로 전략을 개선함에 따라, 데이터 패브릭은 조직 데이터 자산의 다양성과 분포, 확장과 복잡함을 처리할 수 있는 단일 아키텍처입니다.

Tableau는 전 직원의 역량이 강화되어 모든 대화를 데이터 중심으로 할 때 최고의 의사 결정이 이루어진다고 생각합니다. Tableau는 이러한 가치관을 Tableau 플랫폼에 반영해, Tableau 플랫폼 내에 바로 데이터 관리 계층을 두는 방식으로 데이터 패브릭 설계를 지원합니다. 이로써 데이터 사일로를 허물고 데이터 및 분석의 전체 주기를 매끄럽게 지원합니다. 

Tableau는 데이터 관리 원본에 데이터를 다시 쓰면서도 액세스, 데이터 품질 개선, 분석 사용 사례를 위한 데이터 준비와 모델링 등에 대한 균형을 맞춥니다. 그럼 그러한 기능을 하나씩 간략히 살펴보겠습니다.
분석 데이터 카탈로그. 데이터와 데이터 원본의 품질과 구조 정보를 검토하여 사용 상태를 더 잘 모니터링하고 선별합니다.

• 메타데이터 관리. 분석 여정 중에 사용자가 가장 필요로 하는 곳에 강력한 메타데이터를 제공하고, 엔터프라이즈 도구와의 양방향 통신을 보장합니다.
• 데이터 품질 및 계보. 사용자가 지정한 정책에 따라 데이터 원본을 모니터링하므로, 우수한 최신 데이터가 사용할 준비되었는지 쉽게 알 수 있습니다. 특정 데이터를 사용하는 사용자나 프로세스를 밝혀주기 때문에 신속하게 협업하고 변경이 있을 때 혼란을 줄일 수 있습니다.
• 데이터 모델링. 의미론적 계층과 물리적 계층을 활용하여, 분석에 적합한 스키마를 사용해 데이터를 결합하는 다양한 옵션을 제공합니다.
• 데이터 준비. 클릭 몇 번으로 데이터를 결합하고 변형 및 정리할 수 있는 시각적이고 직접적인 방식을 제공합니다.
• 데이터, 보안 및 리소스 거버넌스: 모든 사용 사례에 일관된 정책으로 데이터의 수명 주기 전체에 걸쳐 데이터를 잘 관리합니다. 특히 중요한 데이터와 사용 권한이 원하는 방식으로 작동되게 합니다.
• 데이터 통합. 데이터 웨어하우스, 데이터 레이크, CRM 등 각기 다른 플랫폼과 데이터 원본에 저장된 데이터에서 유용한 인사이트를 확보합니다.
• 가상화 및 탐색. 데이터 통합 또는 데이터 분석에 필요한 보유한 데이터 집합에 대한 이해도를 높여줍니다.
• 오케스트레이션. 데이터 품질 문제나 흐름 오류 등 데이터에 발생하는 일을 작업 흐름에서 바로 자동으로 조정합니다.
• 증강 분석. AI를 사용하고 강화하여, 데이터 관리, 데이터 준비, 분석 같은 분석 프로세스를 클릭 몇 번으로 손쉽게 완료할 수 있게 합니다.

분석 우선 접근법

비즈니스 리더는 조직의 미래에 데이터 분석이 중요하다는 사실을 오래전부터 인지해 왔습니다. 글로벌 마켓 인텔리전스 회사인 International Data Corporation에 따르면, CEO의 83%가 조직이 더 데이터 기반이 되기를 바라면서 데이터 문화 성장에 투자하고 있습니다. 데이터로 앞서가는 기업은 현재 신규 고객 유치 가능성은 23배 더 높고 수익이 10% 성장할 가능성은 1.5배 더 높은 것으로 나타났습니다. 

조직이 데이터 패브릭 여정을 시작할 때, 비즈니스 가치가 창출되는 영역에 집중하는 것이 중요합니다. 만약 대부분의 조직처럼 분석이 그러한 영역이라면 그대로 계속하시면 됩니다. 데이터 패브릭 구현에는 수년이 걸리므로, 데이터 패브릭의 가치를 보여주고 이해 관계자의 관심과 참여를 유지하기 위한 단기 계획을 세워야 합니다. 

Tableau를 데이터 패브릭 설계의 한 요소로 구성하면, 데이터 이니셔티브 실행의 막바지에서 발생하는 전형적인 문제를 극복할 수 있습니다. 예를 들면 다음과 같습니다. 

• 비즈니스 사용자의 채택이 미비함. 비즈니스 부서에서 이미 업무에 사용하는 환경에서 수천 명이 이용하도록 함으로써 채택을 획기적으로 늘리십시오. 그러면 해당 플랫폼은 비즈니스 사용자에게는 데이터와 거버넌스에 액세스하고, 분석가/IT 담당자에게는 기업 프로젝트를 관리하는 협업 영역이나 융합 환경이 됩니다. 
• 거버넌스 표준 구현이 지체됨. 이용자가 데이터를 소비하는 곳에 신뢰와 검증 가능성을 마련하십시오. Tableau는 데이터 최신성과 인증 상태, 데이터 품질 경고, 필드 정의, 데이터 원본, 전반적인 사용량에 관한 정보를 제공합니다.
• 데이터가 EDW를 벗어나면 가시성을 잃음. 오늘날 데이터의 멋진 점은 아주 다양한 방식으로 사용될 수 있다는 점입니다. 하지만 동시에 이는 거버넌스를 어렵게 하는 함정이 되기도 합니다. 누가 데이터를 이용하고 어떤 식으로 데이터와 상호 작용하는지 알려주는 메트릭을 통해 IT 담당자는 어떤 데이터 원본이 가장 큰 가치를 제공하는지에 대한 진정한 인사이트를 얻고, 중요한 데이터가 사용되는지 발견하고 자동으로 교정할 수 있습니다. 

데이터 패브릭 설계에 대해 자세히 알아보고, "Now Tech: Data Fabric Vendors Q1 '22"를 통해 데이터 패브릭 시장에 대한 Forrester의 의견을 살펴보십시오.