Plataformas analíticas integradas: a nova linha de batalha contra a complexidade

O Fabric procura endereçar, numa plataforma única, as necessidades de utilizadores em diversas áreas, desde os que se focam nos aspetos técnicos de gestão da plataforma até a analistas que preparam relatórios e dashboards e prestam apoio à tomada de decisão de gestão.

Antes do anúncio do Fabric, a Microsoft já estava bem posicionada nesta área, assegurando, por exemplo, lugares cimeiros nos quadrantes da Gartner que se relacionavam com Business Intelligence e plataformas analíticas. Mas com o Fabric, a empresa levou as suas ofertas a um novo nível de integração que vai conduzir, decerto, a uma mudança significativa no posicionamento dos restantes intervenientes neste mercado.

Um novo ator: OneLake

Uma das vantagens da nova oferta da Microsoft é a forma como a empresa conseguiu unificar a sua arquitetura de dados com base num único data lake, chamado OneLake, que pode armazenar uma multiplicidade de dados de diferentes fontes e aplicações. A Microsoft dá o exemplo de OneDrive como local de armazenamento para os dados das várias aplicações do Office para criar um paralelismo, naturalmente acentuado pela raiz comum do nome.

Esta abordagem oferecerá benefícios significativos aos clientes em termos de economia de custos, transparência, flexibilidade, governança e qualidade de dados.

O OneLake foi projetado para ser o repositório central não apenas para os dados gerados pelos próprios serviços da Microsoft, mas para dados de fontes externas, sejam estruturados, sejam não estruturados. Proporciona também uma experiência consistente e uma interface para o utilizador independente do tipo ou formato dos dados. Isto pode parecer uma ideia óbvia, mas tem sido de difícil concretização para a maioria dos fornecedores de cloud, incluindo Microsoft, Amazon e Google.

O caminho da integração

Ao longo dos anos, as empresas tecnológicas adquiriram ou desenvolveram dezenas de componentes de software para várias tarefas relacionadas com processamento de dados, mas juntaram essas ferramentas de forma fragmentada, sem criar uma plataforma coesa.

Como resultado disso, os clientes têm tido que lidar com um cenário complexo e fragmentado de ferramentas e repositórios de dados, cada um com os seus próprios sistemas de aprovisionamento, preços e modelos de armazenamento. Isto tem sido tradicionalmente uma fonte de frustração e de ineficiência para os clientes, que precisam investir mais tempo e dinheiro na gestão da sua infraestrutura de dados. Na prática, isto traduz-se no que alguns analistas designam por "imposto de integração", que é cobrado separadamente aos clientes pelos recursos de computação e armazenamento de cada serviço.

A promessa do Fabric é eliminar esta complexidade, oferecendo uma verdadeira integração — incluindo apenas uma cópia dos dados, uma experiência e uma interface. É, inclusivamente, possível aceder ao OneLake usando o File Manager do Windows. Uma das chaves para a simplificação é o OneLake armazenar uma única cópia de todos os dados dos vários serviços num formato comum, designado Delta Parquet. Este é um formato de armazenamento de código aberto, amplamente utilizado na indústria.

Sempre que os clientes adicionam ou atualizam quaisquer dados aos seus sistemas, o Fabric guarda- os no OneLake em formato Delta Parquet, independentemente do seu formato original. Isso significa que os clientes podem aceder e consultar os seus dados diretamente a partir do OneLake, sem ter que passar por várias fontes ou serviços. O anúncio do Fabric foi o resultado de, pelo menos, quatro anos de trabalho da empresa para quebrar silos internos e integrar os seus próprios serviços de dados. Um dos marcos neste caminho foi o Azure Synapse Analytics, que combinou vários serviços, como data lake e data warehouse, numa única plataforma. Mas o Fabric alarga esta integração, reunindo Synapse, Power BI e outros serviços de dados numa única oferta SaaS.

O despoletar de uma nova abordagem

Os data lakes disseminaram-se devido ao aparecimento de aplicações que geram e/ou exigem grandes quantidades de dados. Uma empresa em particular, a Databricks, foi pioneira na criação de um protocolo para data lake seguro e aberto que muitos analistas consideram líder do setor, Delta Lake, disponível em código aberto e passível de ser acedido em Azure. Outra concorrente, a Snowflake, também oferece abordagem integrada para data lakes.

As ofertas da Microsoft nesta área, no âmbito do Azure Sinapse Analytics, tiveram um arranque mais lento, e a empresa compensou isso formando uma parceria estreita com a Databricks. Portanto, não é surpreendente que o Fabric da Microsoft também tenha adotado o protocolo definido por aquela empresa, o Delta Lake, para criação e gestão de tabelas em data lakes. Os clientes que usam Databricks poderão continuar a usá-lo com o Fabric da Microsoft.

Mas o Fabric também reduz a distância competitiva da Microsoft com a Databricks e com a Snowflake. Estas não ficarão, obviamente, paradas, tal como a Google, a Amazon e, possivelmente, a Oracle, também não. O Fabric é a confirmação de que plataformas integradas de dados vieram para ficar.