지속적인 혁신

Tableau는 2003년 스탠포드 대학에서 독립한 전문 회사로서 간단한 끌어 놓기 기능으로 세련된 시각화 자료를 만들 수 있는 VizQL™이라는 기술로 기존의 데이터 작업을 완전히 바꿨습니다. 기본적인 혁신은 특허를 받은 쿼리 언어에서 비롯되었으며, 이 쿼리 언어는 사용자의 작업을 데이터베이스 쿼리로 변환하여 그 응답을 그래픽 형식으로 표현합니다.

그다음 혁신은 Tableau의 데이터 엔진을 통해 수십억 행의 데이터를 몇 초 내에 애드혹 분석을 수행할 수 있는 기능이었습니다. 핵심 Tableau 플랫폼 기술인 Hyper는 자체적인 동적 코드 생성 및 최첨단 병렬 처리 기술을 사용하여 추출 생성 및 쿼리 실행에서 빠른 성과를 낼 수 있습니다.

Hyper

Hyper는 고객이 트랜잭션 데이터베이스에서 바로 분석 쿼리를 효율적으로 평가함으로써 크고 복잡한 데이터 집합을 더 빠르게 분석할 수 있게 도와주는 고성능 인메모리 데이터 엔진 기술입니다. 핵심 Tableau 플랫폼 기술인 Hyper는 자체적인 동적 코드 생성 및 최첨단 병렬 처리 기술을 사용하여 추출 생성 및 쿼리 실행에서 빠른 성과를 낼 수 있습니다.

Hyper의 고유한 설계

지난 10년 동안 인메모리 데이터 엔진 및 분석 데이터베이스 기술은 샘플링, 요약과 같은 기술을 통해 놀라운 쿼리 성능을 제공했습니다. 그러나 이러한 성능 개선은 대가가 따릅니다. 많은 시스템에서 분석 워크로드 성능의 최적화를 위해 빠른 추출 만들기와 새로 고침 성능에 필수적인 쓰기 성능을 포기하기도 합니다. 하지만 쓰기 속도가 떨어지면 데이터 처리가 지연되거나 데이터 연결이 차단됩니다. 결과는 어떨까요? 사람과 분석할 데이터 사이에 지연 시간이 발생합니다. Hyper를 통해 Tableau가 이루고자 하는 사명은 빠른 쓰기 속도와 빠른 분석 워크로드 성능을 제공하여 사람이 데이터에 더 가까이 다가가도록 만드는 것입니다. 간단히 말해서 Hyper는 최신 데이터를 더욱 빠르게 제공하므로 더 크고 복잡한 데이터를 효율적으로 분석할 수 있습니다.

시스템 아키텍처: 트랜잭션 및 분석 쿼리에 대한 단일 상태

Hyper를 사용하면 트랜잭션 및 분석 쿼리가 동일한 열 저장소에서 처리되며, 데이터를 활용한 이후에 후처리가 필요하지 않습니다. 이렇게 하면 오래된 데이터를 줄이고 시스템 간의 연결 지연을 최소화합니다. Hyper의 독창적인 접근 방식은 단일 시스템에서 읽기 및 쓰기가 많은 워크로드의 진정한 결합을 가능하게 합니다. 이는 빠른 쿼리 성능에 영향이 없이 신속하게 추출 만들기가 가능하다는 것을 의미합니다. (우리는 이를 윈윈이라고 부릅니다.)

쿼리 실행에 대한 새로운 접근 방식: 동적 코드 생성

Hyper는 새로운 적시(JIT) 컴파일 실행 모델을 사용합니다. 다른 많은 시스템에서는 최신 멀티코어 하드웨어를 최대한 활용할 수 없는 전통적인 쿼리 실행 모델을 사용합니다. 반면에, Hyper는 쿼리를 최적화하고 맞춤형 기계어 코드로 컴파일하여 기본 하드웨어를 보다 효율적으로 활용합니다. Hyper는 쿼리를 받으면 트리를 만들고, 트리를 논리적으로 최적화하며, 이를 기본으로 사용하여 고유한 프로그램을 만든 다음 실행합니다. 결국, 최신 하드웨어를 보다 잘 활용하여 빠르게 쿼리를 실행하게 됩니다.

더 효율적인 하드웨어 활용: Morsel-Driven Parallelism(모셀 기반 병렬 처리)

Tableau는 시작 단계부터 대형, 멀티코어 환경을 염두에 두고 Hyper를 설계했습니다. Tableau의 병렬 처리 모델은 매우 작은 작업 단위(모셀)에 기반을 둡니다. 이러한 모셀은 사용 가능한 모든 코어에 걸쳐 효율적으로 할당되므로, Hyper에 코어 속도의 차이를 더 실감나게 느낄 수 있습니다. 이는 보다 효율적인 하드웨어 활용과 더 빠른 성능을 의미합니다.

Hyper는 2010년 뮌헨 공과 대학(TUM)에서 학술 연구 프로젝트로 시작되었습니다. Hyper를 업계에 소개하고 상업용 기술 버전을 제공한다는 목표로 2015년 독립 조직으로 분사했습니다. Hyper는 2016년에 Tableau에 인수되었으며, 이의 핵심 기술이 현재 Tableau 데이터 엔진에 힘을 실어주고 있습니다.

VizQL™

시각적 기반이기 때문에 더욱 빠름

Tableau의 핵심은 대화형 데이터 비주얼리제이션을 데이터 이해 과정의 필수 요소로 만들어 주는 특허 기술입니다. 기존의 분석 도구를 사용하면 데이터를 행과 열로 분석하고, 표시할 하위 데이터 집합을 선택하고, 해당 데이터를 표로 구성한 다음, 해당 테이블에서 차트를 생성해야 했습니다. VizQL에서는 이러한 단계를 거치지 않고 데이터에 대한 시각적 자료를 즉시 만들어, 분석할 때 시각적 피드백을 제공합니다. 따라서 데이터를 더욱 자세히 이해할 수 있으며, 기존 방법보다 최대 100배 더 빠르게 작업할 수 있습니다.

VizQL을 통해 다양한 비주얼리제이션 제작 가능

새로운 데이터 언어로 더욱 많은 정보 전달

기반이 완전히 다른 이 아키텍처는 SQL이 텍스트 형식으로 데이터 상호 작용을 지원하는 것과 유사하게 시각적인 형식으로 데이터의 상호 작용을 지원합니다. VizQL 문을 통해 정교한 다차원 비주얼리제이션을 무제한으로 만들고, 단일 분석 인터페이스 및 데이터베이스 시각화 도구로 그래픽을 이용한 광범위한 요약 자료 생성이 가능합니다. Tableau에서는 막대 및 선형 그래프부터 지도 및 복잡한 링크 뷰까지 놀라울 정도로 광범위한 시각화 자료를 만들 수 있습니다. 이러한 유연성을 활용해 완전히 새로운 방법으로 데이터를 이해할 수 있습니다. Tableau를 사용하면 데이터를 경직된 도표 서식에 끼워 맞추는 경우에 놓칠 수 있는 인사이트를 발견할 수 있습니다.

자연스러운 사고의 흐름 지원

사고 과정은 점진적으로 진행하며 새로운 정보를 고려하는 질문과 답변이 자연스럽게 이어지는 패턴입니다. 분석을 시작하는 시점에 정확하게 어떤 결과를 향해 가고 있는지 예측하기는 어렵습니다. 그럼에도 불구하고 기존 BI 도구에서는 이러한 예측이 필요합니다. 하지만 이제 다른 방법을 사용할 수 있습니다. VizQL을 사용하면 데이터를 시각적으로 탐색하고 가장 효율적으로 표현할 수 있는 방법을 찾을 수 있습니다. 작업을 진행하면서 학습하고, 필요하면 데이터를 추가하고, 궁극적으로 더욱 깊이 있는 인사이트를 발견할 수 있습니다. 우리는 이 과정을 시각적 분석 주기라고 부릅니다. 이 주기를 끝까지 수행하면 데이터를 더욱 효율적인 스토리로 전달할 수 있습니다.

세계 어느 곳에도 찾아보기 힘든 혁신적인 솔루션입니다.

VizQL로 인해 빠른 분석 및 시각화가 현실적으로 가능해졌습니다. 교육을 받지 않거나 조금만 받은 사람들도 이전과 전혀 다른 방법으로 데이터를 더욱 빠르게 확인하고 이해할 수 있습니다. 이것이 가장 큰 차이점입니다.