Pular para o conteúdo principal

(E) Revendo conceitos e quebrando paradigmas com o QlikView - Parte 2

  • Núcleo da tecnologia:
O segundo principal fator que diferencia o QlikView é o núcleo da nossa tecnologia. O QlikView é conhecido como pioneiro do BI em memory. A tecnologia in memory é importante por questões de desempenho. Mas apenas o in memory não basta para fornecer uma plataforma de Business Discovery. Alguns fornecedores que oferecem soluções tradicionais de BI que utilizam como base tecnológica queries e cubos estão trabalhando na reengenharia de suas ofertas para a execução in memory. Essas soluções podem melhorar o tempo de resposta para o usuário. Porém, enquanto elas tiverem por base queries e cubos, a manutenção das associações nos dados exigirá a codificação manual e, portanto, muito tempo e dinheiro. O que faz a diferença é o que o QlikView faz com a tecnologia in memory. A plataforma de Business Discovery QlikView:
  • Mantém os dados em memória para o acesso de vários usuários e deste modo proporcionar uma experiência de uso extremamente rápida. O QlikView mantém todos os dados necessários para a análise em memória, onde ficam disponíveis para exploração imediata pelos usuários. Os usuários recebem respostas de forma imediata, enquanto o QlikView realiza os cálculos necessários para fornecer o resultado das agregações solicitadas. O “pulo do gato” está na rapidez com que os cálculos são executados. O QlikView trabalha em ambiente distribuído multi-usuário; ele armazena cálculos comuns e os compartilha entre os usuários, de forma que os cálculos não necessitem ser refeitos sempre que alguém precisar deles.
  • Mantém associações entre os dados automaticamente. O mecanismo de inferência do QlikView permite a experiência associativa através das cores verde/branco/cinza. Esse mecanismo mantém automaticamente as associações entre cada dado e todo o conjunto dos dados existentes em um aplicativo, desta forma, desenvolvedores e os usuários não têm que efetuar essas associações. Como resultado, os usuários não ficam limitados a relatórios estáticos, caminhos predefinidos ou painéis pré-configurados. Em vez disso, eles podem navegar pelos seus dados em qualquer sentido, explorando-os da forma que desejarem.
  • Calcula agregações de forma dinâmica conforme necessário. O mecanismo de inferência do QlikView calcula agregações de forma dinâmica com base nas seleções feitas pelo usuário (o que chamamos de “estado” do aplicativo). Como resultado, os usuários não ficam limitados aos cálculos predefinidos (e, portanto, às percepções pré-concebidas baseadas em agrupamentos de dados feitos pela equipe de TI). Os usuários podem definir qualquer visão ou tipo de percepção que desejarem, e o QlikView calcula a resposta de forma dinâmica. O QlikView calcula apenas as agregações solicitadas pelo usuário; ele não pré-calcula agregações da mesma forma antiga que tem por base em queries e cubos. Ele processa os cálculos instantaneamente, conforme eles são necessários.
  • Compacta os dados a 10% de seu tamanho original. O QlikView atinge uma redução significativa no tamanho dos dados usados para análise com a utilização de um dicionário de dados (uma tabela de hash) e por usar apenas o número de bits necessário. Por exemplo, o campo “dia da semana” tem apenas sete valores de campo possíveis, e esses valores são armazenados em memória apenas uma vez, independentemente de quantos registros cada valor contém. Assim, o QlikView pode ser dimensionado para lidar com conjuntos de dados muito grandes, sem elevar os custos de investimentos em hardware apenas para colocar um conjunto de dados inteiro para ser executado in memory.
  • Otimiza a capacidade do processador. O QlikView distribui os cálculos por todos os núcleos disponíveis a fim de maximizar o seu desempenho para o usuário. Diferentemente das tecnologias que simplesmente “suportam” ao hardware com vários processadores, o QlikView é otimizado para tirar máximo proveito de toda a capacidade do hardware com múltiplos processadores, maximizando assim o desempenho e o investimento em hardware.

Comentários

Postagens mais visitadas deste blog

(T) Como indexar uma tabela Fato - (Best Practice)

A base de qualquer projeto de bi é ter um bom dw/data mart. Podemos falar em modelagem star-schema durante dias, sem falar nas variações do snowflake, mas o objetivo principal deste artigo é apontar algumas negligências que tenho percebido no tratamento da tabela fato. Tabela esta que é o principal pilar da casa que reside um modelo star-schema.

Ouço muitas vezes os clientes reclamando do desempenho das consultas enviadas contra o seu dw/data mart, ou do tempo de resposta das análises solicitadas ao bi. Isto é realmente inaceitável, não só numa perspectiva de implantação do projeto, mas também de desempenho da entrega das informações.

Como eu mencionei anteriormente o meu objetivo neste artigo, é alertar sobre a importância da indexação da tabela fato: o que deveria ser, porque é necessário, porque chaves compostas são boas e más, e porque você deveria se preocupar com isso.

Então, vejamos:

|a| Indexação padrão (default):
De forma rápida, todas as colunas de chave estrangeira (FK) devem …

(A) Data Science in Practice with Python - Sample 2

In this post I'll explain what is a recommender system, how work it and show you some code examples. In my previous post I did a quick introduction:

Sample 2 - Recommender System

WHAT IS A RECOMMENDER SYSTEM? A model that filters information to present users with a curated subset of options they’re likely to find appealing.
HOW DOES IT WORK? Generally via a collaborative approach (considering user’s previous behavior) or content based approach (based on discrete assigned characteristics).

Now I'll get into in some concepts very important about recommender systems.

Recommender System in Details:

We can say that the goal of a recommender system is to make product or service recommendations to people. Of course, these recommendations should be for products or services they’re more likely to want buy or consume.

Recommender systems are active information filtering systems which personalize the information coming to a user based on his interests, relevance of the information etc.…

(T) Verificando a consistência de um repositório ou um Business Model no Oracle BI