Big Data: o estado da arte

Para a Xpand IT não é possível definir o estado da arte de Big Data sem antes refletir sobre a enorme evolução que, anualmente, verificamos na adoção de tecnologias Big Data, das quais destacamos as plataformas Confluent e Cloudera.

A nossa história em Big Data começou em 2013, o “nosso” ano zero na adoção do ecossistema Hadoop. No ano seguinte, sentimos que o Big Data poderia ser, de facto, uma trend extremamente importante e, mesmo com o risco que essa decisão acarretava, formalizámos a unidade de Big Data na Xpand IT. Desde cedo pautámos a nossa atuação nesta área pela adoção de tecnologias de vanguarda, inovadoras e disruptivas, que nos permitissem cumprir a promessa que o tema de Big Data encerrava.

Adotámos, por exemplo, Spark, Kafka ou Kudu logo no início da sua disponibilização e hoje estas tecnologias, em particular Spark e Kafka, deverão representar cerca de 80% do nosso esforço de desenvolvimento de soluções de software.

O mercado português tem apresentado uma boa permeabilidade a projetos de Big Data. A Xpand IT está já presente em praticamente todos os setores de atividade: retalho, utilities, telecomunicações, saúde, banca, mobilidade e transportes, entre outros. Com o paradigma da Transformação Digital, assistimos à disseminação de casos de uso adaptáveis à tecnologia Big Data, tanto de natureza analítca como de natureza operacional.

A pressão existente no time-to-data aumentou, o que implica uma redução substancial do tempo disponível para processar os dados e extrair informação – a era do real time analytics. Associadas a Big Data coexistem três grandes tendências: Data Science, Fast Data e Cloud.

1. Data science

Conceitos como Customer Segmentation, Anomaly Detection ou Predictive Analytics não são novos. Felizmente, apesar de haver ainda um longo caminho a precorrer, muitas empresas já apostam numa estratégia data-driven. No entanto, a crescente quantidade de dados faz com que seja necessário agir de uma outra forma.

Por exemplo, as alterações às estratégias de segmentação de clientes acontecem porque, até agora, os clientes eram divididos em buckets limitados, com definições de segmentos baseados em critérios racionalizáveis.

Agora, com a quantidade de fatores que sabemos influenciar/definir o nosso padrão de compra ou de adoção de um serviço, só com recurso a técnicas de data science é possível segmentar com mais eficácia a base de clientes. No fundo, o grande objetivo é o segment of one: conseguir o produto certo para o cliente certo.

2. Fast data

Para desmistificar: quando falamos em fast data não falamos, propriamente, em dados rápidos ou lentos. Falamos na necessidade de processar um número considerável de pequenos data-points muito rapidamente – é esta a tendência.

A trabalhar precisamente dentro da plataforma Hadoop encontram-se os componentes de fast data como Spark, Kafka e Kudu, que, ao mesmo tempo que permitem o desenvolvimento de aplicações orientadas a baixa latência de processamento e disponibilização de informação, são também capazes de escalar, de forma eficiente e significativa.

3. Cloud

Um dos benefícios mais mencionados na utilização de cloud é a redução de custos pela eliminação de data centers. No entanto, a verdadeira vantagem está na elasticidade que a cloud oferece. A cloud dá a possibilidade de adaptar a infraestrutura às necessidades existentes em cada momento, sejam de processamento ou storage. Hoje, mesmo com tecnologia Hadoop, é já possível fazer deployment de clusters com compute e storage desacopulado, fazendo com que seja fácil escalar/reduzir estes dois fatores de forma independente, algo que antes, mesmo com utilização de Cloud, não era possível.

No fundo e de forma muito resumida, todo este processo de Transformação Digital assenta em três pontos chave: não existe transformação digital sem dados; Data Science é necessário para conseguir dar sentido aos dados e para conseguir extrair valor efetivo; a cloud é extremamente importante porque confere a agilidade necessária para a adoção dos princípios e tecnologia Big Data.

Branded Content