Tecnologia Tableau

O Hyper é uma tecnologia de processamento de dados na memória de alto desempenho que ajuda os clientes a analisar conjuntos de dados grandes ou complexos de forma mais rápida, avaliando com eficácia as consultas analíticas diretamente no banco de dados transacional. Como tecnologia básica da plataforma Tableau, o Hyper usa técnicas patenteadas de geração de código dinâmico e paralelismo de ponta a fim de obter um rápido desempenho para a criação de extrações e a execução de consultas.

O design exclusivo do Hyper

Na última década, os processadores de dados na memória e as tecnologias de banco de dados analíticas proporcionaram melhorias incríveis no desempenho de consultas, por meio de técnicas como amostragem e sumarização. No entanto, essas melhorias de desempenho tiveram um preço. Muitos sistemas sacrificam o desempenho de gravação, que é fundamental para a rápida criação de extrações e o desempenho de atualização, em favor da otimização do desempenho da carga de trabalho analítica. Baixas velocidades de gravação resultam em dados obsoletos e desconectados. O resultado? Uma defasagem entre as pessoas e os dados que elas querem analisar. Nossa missão com o Hyper é aproximar as pessoas dos seus dados, proporcionando rápida velocidade de gravação e alto desempenho da carga de trabalho analítica. Em resumo, o Hyper fornece dados atualizados de maneira muito mais rápida, para que você possa analisar uma exibição maior e mais completa dos seus dados.

Repensando a arquitetura do sistema: um único estado para transações e consultas analíticas

Com o Hyper, as transações e as consultas analíticas são processadas no mesmo repositório de colunas, sem exigir pós-processamento após a ingestão dos dados. Isso reduz os dados obsoletos e minimiza a defasagem de conexão entre sistemas especializados. A abordagem única do Hyper permite uma verdadeira combinação de cargas de trabalho com operações intensas de leitura e gravação em um único sistema. Isso significa que você pode ter a criação rápida de extrações sem sacrificar a velocidade de desempenho das consultas. (Ou seja, todos saem ganhando.)

Uma nova abordagem para a execução de consultas: geração de código dinâmico

O Hyper usa um modelo original de execução de compilação just-in-time. Muitos outros sistemas usam um modelo de execução de consultas tradicional que não é capaz de tirar o máximo proveito de componentes de hardware modernos com vários núcleos. Em vez disso, o Hyper otimiza e compila consultas em um código de máquina personalizado para fazer melhor uso dos componentes de hardware subjacentes. Quando o Hyper recebe uma consulta, ele cria uma árvore, otimiza logicamente essa árvore e depois a utiliza como modelo para criar um programa exclusivo, que então é executado. O resultado final é uma utilização aprimorada de componentes de hardware modernos para que as consultas sejam executadas com mais rapidez.

Aproveitando mais do seu hardware: paralelização com base em fragmentos

Desenvolvemos o Hyper do zero com ambientes grandes e de vários núcleos em mente. Nosso modelo de paralelização é baseado em unidades de trabalho muito pequenas (fragmentos). Esses fragmentos são atribuídos de forma eficiente em todos os núcleos disponíveis, permitindo que o Hyper responda de forma mais eficiente às diferenças na velocidade dos núcleos. Isso se converte em uma utilização de hardware mais eficiente e em um desempenho mais rápido.

O Hyper começou como um projeto de pesquisa acadêmica na Universidade Técnica de Munique (TUM) em 2010. Em 2015, uma organização independente foi criada com o objetivo de trazer o Hyper para a indústria e disponibilizar uma versão comercial da tecnologia. O Hyper foi adquirido pela Tableau em 2016. Agora, ele é a tecnologia básica que compõe o processador de dados do Tableau.