Pular para o conteúdo principal

(E) O que entra no Data Warehouse?

Muitos projetistas de data warehouse iniciantes veem o warehouse como o repositório final de todos os dados da empresa. Eles farão declarações ingênuas, como "Toda a produção de relatórios da empresa será feita a partir do warehouse". Geralmente, essa não é uma estratégia viável. Conforme já mencionei, o warehouse é apenas um componente de uma estratégia de produção de relatórios empresarial, eu diria até um importante componente.

Outro motivo pelo qual é importante "posicionar" o warehouse na arquitetura de produção de relatórios corporativa é para proteger o projeto de uma construção grande demais. No desenvolvimento de sistemas, aumentos no tamanho aumentam o risco. Cada nova tabela, cada nova coluna, cada nova restrição, aumenta o volume de trabalho de desenvolvimento que deve ser estimado, agregado e executado. Eles também aumentam a possibilidade de que um objeto na arquitetura venha a falhar. Assim, posicionar o warehouse efetivamente é uma ferramenta para o gerenciamento de sua abrangência e para ajudar a garantir seu sucesso.

Dessa forma, recomendo que, ao projetar um warehouse, você faça uma declaração (uma espécie de missão do projeto), explícita quanto ao lugar que este sistema vai se encaixar no processo de produção de relatórios na sua organização. Essa declaração deve pormenorizar as regras que serão usadas para determinar quais dados serão armazenados e quais serão excluídos. Um exemplo de declaração: "O warehouse vai focalizar a entrega de dados em um formato agregado dos principais relatórios disponibilizados atualmente para a alta direção cujo seu acompanhamento e monitoramento é diário e possuem impacto financeiro."

Declarações como esta (talvez com um pouco mais de detalhes) proporcionam aos desenvolvedores de warehouse uma base para decidir o que será incluído e o que será excluído do warehouse. Essa declaração de posição do warehouse deve ser desenvolvida enquanto se estiver reunindo os requisitos da empresa e de usuário.

A comunidade de usuários deve indicar seu entendimento e concordar com a declaração de posição do warehouse. Isso não apenas os ajuda a entender o papel do warehouse, mas também proporciona a eles outra maneira de fazer planos para sua utilização.

Comentários

Postagens mais visitadas deste blog

(A) Data Science in Practice with Python

The top trending in Twitter or other social network is the term “data science”. But ...
What’s the data science? How do real companies use data science to make products, services and operations better? How does it work? What does the data science lifecycle look like?  This is the buzzword at the moment. A lot of people ask me about it. Are many questions. I’ll try answer all of these questions through of some samples.

Sample 1 - Regression

WHAT IS A REGRESSION? This is the better definition what I found [Source: Wikipedia] - Regression analysis is widely used for prediction and forecasting, where its use has substantial overlap with the field of machine learning.
HOW DOES IT WORK? Regression analysis is also used to understand which among the independent variables are related to the dependent variable, and to explore the forms of these relationships. In restricted circumstances, regression analysis can be used to infer causal relationships between the independent and dependent variable…

(A) Tucson Best Buy Analysis

“Data! Data! Data!” he cried impatiently.  “I can’t make bricks without clay.” —Arthur Conan Doyle
The Ascendance of Data

We live in a world that’s drowning in data. Websites track every user’s every click. Your smartphone is building up a record of your location and speed every second of every day. “Quantified selfers” wear pedometers-on-steroids that are ever recording their heart rates, movement habits, diet, and sleep patterns. Smart cars collect driving habits, smart homes collect living habits, and smart marketers collect purchasing habits. The Internet itself represents a huge graph of knowledge that contains (among other things) an enormous cross-referenced encyclopedia; domain-specific databases about movies, music, sports results, pinball machines, memes, and cocktails; and too many government statistics (some of them nearly true!) from too many governments to wrap your head around.
Buried in these data are answers to countless questions that no one’s ever thought to ask. In…

(A) Data Science in Practice with Python - Sample 2

In this post I'll explain what is a recommender system, how work it and show you some code examples. In my previous post I did a quick introduction:

Sample 2 - Recommender System

WHAT IS A RECOMMENDER SYSTEM? A model that filters information to present users with a curated subset of options they’re likely to find appealing.
HOW DOES IT WORK? Generally via a collaborative approach (considering user’s previous behavior) or content based approach (based on discrete assigned characteristics).

Now I'll get into in some concepts very important about recommender systems.

Recommender System in Details:

We can say that the goal of a recommender system is to make product or service recommendations to people. Of course, these recommendations should be for products or services they’re more likely to want buy or consume.

Recommender systems are active information filtering systems which personalize the information coming to a user based on his interests, relevance of the information etc.…