Os lagos e armazéns dos dados

As empresas sempre trabalharam com dados. Mesmo nos tempos mais antigos, qualquer tipo de negócio precisava de dados para saber o que fazer, o que comprar ou o que os seus clientes procuravam.

Agora, no século XXI, os dados são muito, muito mais do que nesses tempos mais antigos. Conseguir esses dados também é mais fácil. Existem várias fontes – internas e externas à organização – que permitem recolher dados e, daí, produzir insights sobre os mais relevantes temas para uma determinada organização.

Os data lakes e os data warehouses estão na ordem do dia para as organizações que mais dados procuram para tomar decisões informadas. Permitem não só recolher dados de um grande número de fontes, como também permite reduzir o custo e o tempo necessário para encontrar e analisar os dados críticos.

Evolução dos data lakes e data warehouses

Por esta altura, já todas as organizações com alguma dimensão iniciaram o seu processo de transformação digital; de uma forma ou de outra, as organizações já utilizam a cloud nas operações do seu dia-a-dia.

	Luís Laginha, Chief Growth Officer da BI4All

Os data warehouses foram criados em 1980 “com o objetivo de organizar os dados e de trazer consistência e rapidez de acesso”, relembra Luís Laginha, Chief Growth Officer da BI4All. Depois, com “o aumento da quantidade e variabilidade de dados foram criados os data lakes, já depois do ano 2000, para armazenar volume e diferentes tipos de dados a baixo custo”.

Para o representante da BI4All, o que se tem visto é a evolução para data lakehouses “que combina os dois métodos com o objetivo de ter as vantagens dos dois”. Luís Laginha diz, também, que, assim, é “possível processar diferentes tipos e volumes de dados mantendo o custo baixo, uma performance alta e a facilidade de acesso” onde as ferramentas de inteligência artificial beneficiam “em muito” destas abordagens porque “têm a possibilidade de mudar modelos de aprendizagem em tempo real e podem olhar para os dados de várias formas até terem o melhor algoritmo de suporte à decisão”.

Luís Gonçalves, Data Analytics & AI Director na Noesis, refere que, hoje, “a tendência a que mais se assiste no mercado, é a migração dos ambientes on-premises para abordagens híbridas ou full cloud”. Uma das principais razões para esta migração prende-se com o custo, uma vez que “os data warehouses on-premises têm custos de manutenção associados muito superiores a uma solução full cloud”.

Ao mesmo tempo, e para além da questão da infraestrutura, indica Luís Gonçalves que se verifica “uma crescente valorização da qualidade de dados e à implementação de políticas de governance, prática esta crucial, quer para garantir a segurança dos dados, como também para que estes sejam utilizados de uma forma mais eficiente e com maior benefício para as organizações”.

Rui Miguel, Service Area Leader for Data&AI na Unipartner, ressalva que um data warehouse “está preparado para armazenar dados estruturados e otimizados para a componente analítica”. Por outro lado, um data lake pode ser definido “como um armazenamento centralizado, consolidado e persistente de dados brutos”.

No entanto, acrescenta Rui Miguel, face ao crescimento do volume de dados e a diversidade dos mesmos, o data lake “veio permitir o armazenamento de ficheiros mais complexos, como documentos, filmes, fotografias, entre outros”. Neste sentido, diz, os data lakes têm vindo “a ganhar cada vez mais popularidade por trazer uma nova conceção de armazenamento e processamento de dados” o que permite “responder às necessidades impostas pelo big data” e, ao mesmo tempo, “ao exponencial crescimento do volume de dados”.

Crescimento dos data warehouses

Luís Gonçalves, Data Analytics & AI Director na Noesis

Os data warehouses estão a ganhar cada vez mais importância no seio do negócio. Quem o diz é Luís Gonçalves, que complementa que “as constantes alterações e necessidades do negócio são incompatíveis com as noções tradicionais” de data warehouse, “tendencialmente imutáveis e pouco flexíveis”. “Existe uma procura e uma necessidade crescentes para adaptar os volumes de dados a métodos mais ágeis de desenvolvimento, utilizando técnicas de schema drifts, por exemplo. A utilização de API para uma arquitetura de consumo aberta possibilita, também, a abertura de portas a outros use cases passíveis de serem criados, o que permite uma maior sustentação do investimento”, afirma o representante da Noesis.

Para Rui Miguel, da Unipartner, o crescimento e proliferação dos dados provocam “naturalmente um crescimento cada vez maior dos data warehouses”. Este crescimento de dados exponencial, “aliado às cada vez mais potentes e baratas tecnologias de gestão, manipulação e computação de dados, coloca à disposição das empresas informação mais rica, inteligente, autónoma e orientada para a realidade e/ou necessidades de cada colaborador”, afirma o Service Area Leader for Data&AI da Unipartner, que acrescenta, ainda, que “o crescente volume de dados é um desafio, nomeadamente ao nível da privacidade e proteção dos dados”, mas, acima de tudo, “é uma oportunidade para os data warehouses evoluírem e crescerem”.

Luís Laginha defende que, “apesar da evolução na capacidade de processamento e do baixo custo de armazenagem, o mundo não está a conseguir processar todos os novos dados que está a gerar. Além do volume de dados a aumentar, o tipo de dados também tem mudado o que tem dificultado ainda mais a evolução. As empresas que mais dados conseguem processar para chegar a insights determinantes, que suportem as tomadas de decisão totalmente baseadas em dados, são as que estão mais preparadas para enfrentar o mundo atual, em rápida e constante mudança”.

Tirar partido dos dados

	Rui Miguel, Service Area Leader for Data&AI na Unipartner

Rui Miguel vê que, “felizmente”, as empresas nacionais, “independentemente da sua dimensão”, têm vindo a desenvolver uma “cultura de dados, cada vez mais data driven e data oriented”. Mesmo internamente, as organizações procuram implementar iniciativas de gestão e organização, tecnológicas e de exploração para que se utilizem mais dados.

“Esta cultura dos dados tem permitido às empresas conhecerem melhor os seus clientes e a sua concorrência. Com isto, conseguem criar valor nas suas ofertas; direcionar ações para o target correto; aplicar os investimentos suportados em dados e com previsões mais precisas; automatizar atividades, resolver problemas complexos em minutos”, explica o representante da Unipartner, que refere, ainda, que “as organizações estão cada vez mais preparadas e sensibilizadas para a importância dos dados” e “capacitam as suas equipas com conhecimento e competências em dados”.

Para o Chief Growth Officer da BI4All, recolher “o máximo de dados possível sobre o negócio é o primeiro passo” para tirar partido dos mesmos, “sendo essencial para abrir a porta para as várias possibilidades de como os usar”. Assim, atualmente, um dos principais objetivos é “conseguir perceber tendências e onde estão as correlações entre os dados, aparentemente não relacionadas. Estas coisas são impossíveis de ver por um humano em tempo útil”.

“O visível aumento da consciencialização das empresas para temas como a data literacy, por exemplo, tem incentivado muito o acesso e respetiva extração de valor dos dados”, explica Luís Gonçalves, da Noesis. “Cada vez mais os dados estão no centro da decisão e da definição das estratégias das organizações. Por outro lado, abordagens como Data-as-a-Product tem ajudado a garantir cada vez maior viabilidade aos dados, contribuindo para uma maior confiabilidade por parte dos decisores”.

A qualidade dos dados

Mais importante que a quantidade dos dados é a qualidade dos mesmos. De pouco ou nada vale ter muitos dados se a sua origem ou qualidade não for relevante para o tema que está a ser tratado.

Tal como diz Luís Laginha, uma das principais razões para a transição para data lakehouses prende- se com a segurança, a qualidade e a governança dos dados. “É essencial garantir o acesso simples e transparente aos dados, mas, como sabemos, é complexo contruir algo que seja simples de usar para o utilizador final. Para isso, nos ‘bastidores’, têm de existir processos para consolidar dados mestre garantindo que o cliente da fonte A é o mesmo da fonte B, que os dados são partilhados com as pessoas certas – internas ou externas – e que todo o fluxo de dados é mapeado de forma clara e simples para todos os que o precisam de utilizar”, esclarece.

Luís Gonçalves, da Noesis, tem a mesma opinião: “é crucial que as decisões [estratégicas] sejam suportadas em dados credíveis e com conceitos conhecidos por todos”. Assim, as organizações “estão, cada vez mais, a incorporar os dados nos seus processos de decisão e a suportar as principais decisões estratégicas na informação que obtêm dos seus dados”.

Para Rui Miguel, “a qualidade dos dados é a peça chave para a cultura de dados. Quanto mais puros e limpos, maior o valor que conseguem agregar para as organizações”. O Service Area Leader for Data&AI da Unipartner relembra que “a qualidade dos dados tem início nos sistemas operacionais e no quotidiano das organizações. Assim, aplica-se o conceito de garbage in/garbage out em que a qualidade do que sai é determinada pela qualidade do que entra. Temos assistido a uma maior extensão e aplicação dos modelos e políticas a estes sistemas base/core/fonte”.