Plataformas convergentes de dados e a democratização da analítica

Cada vez mais negócios procuram usar os dados para otimizar os seus processos, serviços e tomada de decisões através de aplicações de analítica avançada e inteligência artificial. 

Contudo, o mesmo volume, variedade e complexidade de dados que possibilitam estas aplicações tornam extremamente difícil para as empresas extrair insights e criar valor a partir dos dados. Isto porque o esquema tradicional de gestão de dados dentro das empresas carece da agilidade necessária, o que se prende maioritariamente com três fatores: as fontes dos dados, a sua natureza e as suas aplicações. Tradicionalmente, o fluxo de dados dentro das empresas é comparativamente simples e estruturado. 

Dados provenientes dos sistemas internos como CRM e ERP são armazenados em data warehouses, e posteriormente usados para analítica. 

Neste modelo, os dados estão estruturados, provêm de um número reduzido de fontes internas de natureza semelhante, e são pré-estruturados para análise. A aplicação de analítica em si é, também, comparativamente estruturada: maioritariamente analítica descritiva e avaliação de resultados para suportar futuras decisões. 

Como tal, o isolamento dos dados pode ser considerado coerente com este modelo: cada departamento ou equipa precisa apenas de acesso aos dados que lhes competem e, caso haja necessidade de dados de outras fontes – para apresentar relatórios ou para contextualizar decisões em departamentos sinergéticos como o marketing e as vendas –, não há necessidade de elevados níveis de agilidade e automação.

Partindo do princípio que tudo o que a empresa precisa para manter a competitividade é a análise periódica de KPI para suportar decisões com base em instinto e experiência, este fluxo é adequado. 

Contudo, no momento em que saímos destas aplicações tradicionais e passamos a incluir analítica avançada, IoT, big data e inteligência artificial, os paradigmas da gestão e processamento de dados tornam-se completamente diferentes. Em primeiro lugar, as fontes de dados são muito mais variadas; para além dos sistemas da empresa, incluem também novas fontes como sensores de IoT, dados internos anteriormente não utilizados como documentação e emails, 

dados externos provenientes da Internet e de parceiros, etc..
Assim, onde antes tínhamos pequenos ou médios volumes de dados altamente estruturados passamos a ter grandes volumes de dados pouco estruturados, provenientes de fontes dispersas que, em termos de IT, estão totalmente isoladas entre si. 

Por fim, existe também uma enorme diversificação da aplicação destes dados. Onde antes havia apenas aplicações de analítica descritiva, as empresas estão a adotar cada vez mais funcionalidades preditivas e prescritivas. Onde antes se atuava ao nível do mês, trimestre ou ano, cada vez mais aplicações requerem analítica em tempo real ou quase real. Aplicações cada vez mais diversas e sofisticadas, de motores de recomendação à geração de alertas, têm requisitos específicos de gestão de dados e ciclo de vida analítico. Mesmo as simples decisões de negócio requerem mais agilidade e adaptabilidade de forma a que a empresa possa ser competitiva no mercado em que se insere. 

Como tal, o armazenamento dos dados em silos deixa de ser sustentável: as aplicações de analítica e inteligência artificial necessitam de todos os dados relativos à empresa para contextualizar as suas conclusões e decisões e a rapidez de resposta exigida requer que o fluxo e gestão dos dados sejam feitos de forma automática e eficiente. 

Isto constitui um enorme obstáculo à adoção da analítica avançada e inteligência artificial, uma vez que requerem um forte investimento não só na solução propriamente dita, como também na reestruturação dos processos e infraestrutura de IT, deixando estas tecnologias fora do alcance da maioria do tecido empresarial e reduzindo o apelo do investimento por parte das empresas que podem de facto comportar estes custos. 

A capacidade de unificar todo o processo de gestão e análise de dados dentro das empresas, seja ao nível do armazenamento, gestão da analítica ou aplicações específicas, sem os custos e riscos associados à reestruturação do IT, vem potenciar a adoção e a democratizar o acesso a tecnologias de analítica, IoT, big data e inteligência artificial. Plataformas convergentes de dados permitem agregar dados armazenados em silos, unidades de negócio e equipas diferentes, oferecendo a todos uma visão global e holística do negócio de forma a suportar decisões informadas. 

O processo de preparação dos dados para análise é complexo – as organizações passam uma quantidade significativa de tempo a preparar e a contextualizar dados antes mesmo de estes serem processados. Quanto mais avançada a analítica, maior é a importância da qualidade dos dados e, simultaneamente, o volume de dados necessário. Para além de facilitar a criação de pipelines de dados entre vários sistemas de armazenamento de dados, plataformas de analítica unificada vão mais além ao automatizar a gestão dos dados através de machine learning, aumentando a eficiência da implementação e manutenção – por exemplo, ao permitir usar o mesmo algoritmo em datasets diferentes em vez de desenvolver modelos individuais. 

Cloud e Platform-as-a-Service 

Outra das grandes vantagens das plataformas unificadas é a simplificação da infraestrutura através de serviços cloud. Mais uma vez, a infraestrutura é um dos grandes investimentos e condicionantes destas tecnologias. Ao oferecer serviços cloud de armazenamento e processamento, as plataformas de analítica unificada facilitam a adoção destas tecnologias ao reduzir o CapEx incial. A tendência é que ao longo do tempo as empresas vão formando um mix de multicloud e cloud híbrida consoante as suas necessidades, ecossistema pré-existente e “vendor lock-in” – pelo menos nas grandes empresas, nas quais o poder de escolha e a necessidade de personalização são maiores. 

Soluções cloud, por outro lado, permitem reduzir a complexidade operacional e os requisitos de infraestrutura, proporcionando uma escalabilidade praticamente ilimitada. A adoção de soluções em cloud pública como, por exemplo, as que fazem parte da oferta da Amazon, da Google ou da Microsoft, são um dos principais fatores de democratização da IA e da analítica. 

A escolha certa 

Ao considerar a adoção de uma plataforma dados, a prioridade deve ser as necessidades do negócio – as soluções devem ser escolhidas com base nos resultados pretendidos, não na tecnologia aplicada. A escalabilidade e a integração são, assim, prioritárias, de forma a que a solução se possa adaptar à evolução da empresa e do mercado. 

“Recomendaria que, em vez de procurar uma solução que resolve tudo agora, garantam que há sempre um futuro”, refere Nuno Barreto, Partner & Big Data Lead da Xpand IT. “A melhor abordagem é apostar, primeiro, num conjunto de soluções contido que resolve 80% dos problemas, e a partir daí, ambicionar reduzir o gap dos restantes 20%”. 

Diferentes plataformas permitem endereçar diferentes níveis deste processo. Algumas, como o Databricks, atuam ao nível da analítica, outras ao nível do armazenamento. Algumas, como o PowerBI da Microsoft, são indicadas para reporting e exploração de dados por parte de utilizadores das áreas de negócio, outras são mais adequadas a utilizadores das áreas tecnológicas. Alguns fornecedores, como o SAS, procuram abranger todo um espetro de aplicações com uma única plataforma, enquanto outros se especializam. 

“Cada organização deverá procurar o melhor equilíbrio, dentro até da capacidade de gestão operacional que tem em cada momento, entre funcionalidade, limitações e vendor lock-in”, explica Nuno Barreto. 

O último ponto é particularmente importante para questões de escalabilidade. Se uma empresa escolher, por exemplo, uma plataforma de dados que atua apenas ao nível do armazenamento, mas mais à frente começar a investir mais em analítica, é determinante que as duas plataformas sejam integráveis, especialmente se o fabricante da primeira solução não tiver uma oferta de analítica adequada às necessidades específicas do negócio. 

A integração e o ecossistema de parceiros do fornecedor são, assim, fatores a ter em conta na escolha de uma solução. É também importante que esta ofereça uma boa integração com o restante ecossistema: plataformas de suporte a armazenamento devem integrar-se bem com os sistemas de segurança da empresa, soluções de exploração de dados devem-se integrar com os motores de query existentes, etc.. 

“Diria que, numa solução completa de analytics, a componente que beneficia da consolidação/ integração é a fonte de dados sobre o qual a top layer da solução assenta, ou seja, é necessário que os dados potencialmente utilizáveis estejam disponíveis, securizados e governados”, refere.