Sociedade Portuguesa de Autores agiliza processos com ajuda da SAS

A SPA, Sociedade Portuguesa de Autores, é uma cooperativa de responsabilidade limitada, fundada em 1925 para a Gestão do Direito de Autor. Entre as várias funções que desempenha, destaca-se a autorização da utilização das obras dos titulares de direitos de autor que representa (nacionais e estrangeiros, quer sejam autores, seus sucessores ou cessionários), a determinação das condições dessa utilização e a cobrança dos direitos a ela correspondentes, entre outras coisas.

A SPA representa os autores portugueses de todas as disciplinas literárias e artísticas, seus sucessores e cessionários, que nela estejam inscritos, cujo número hoje ultrapassa já os cerca de 25.000. A SPA representa ainda os autores, sucessores e cessionários inscritos em quase 200 sociedades congéneres existentes em aproximadamente 90 países, de todos os continentes.

Até aqui, a SPA processava em plataformas tradicionais toda a informação que recebia dos diversos autores. Esta informação chegava, tal como acontece agora, em diferentes formatos (XML, arquivos de texto, etc.) e, por vezes muito pesados. Ora, para fazer este trabalho de introdução de dados nos devidos relatórios, os responsáveis pela recolha dos direitos de autores chegavam a demorar vários dias, comprometendo desta forma os prazos em que os autores deveriam receber os seus direitos.  

A par deste grande volume de dados, Big Data, nos últimos tempos, com o aumento do uso de plataformas online de streaming, a nível mundial, o consequente aumento do número de relatórios de vendas gerados por cada prestador de serviço digital e com o constante aparecimento de novas plataformas com relatórios de vendas acrescidos, a recolha dos direitos de autores tem vindo a tornar-se cada vez mais difícil.

Nesse sentido, a SPA procurou ajuda para agilizar os seus processos junto da SAS.

“Vivemos numa realidade altamente tecnológica, onde diariamente é partilhada muita informação e dados. E o que aconteceu foi que começámos a perceber que, com o sistema tradicional, demorávamos muitos dias na recolha e processamento dos direitos de autores. Resolvemos, por isso, adotar uma solução aberta que nos ajudasse a processar todos os dados, de forma eficiente”, explica Cláudia Moreira, coordenadora do Núcleo de Projetos e Desenvolvimento Tecnológico na SPA. 

O desafio estava lançado e, olhando para os números, percebe-se de facto a necessidade de implementação de ferramentas flexíveis e eficazes: só em cinco anos a SPA recebeu 1440 ficheiros e 83500 relatórios de vendas.    

Assim, a SPA optou pela implementação do SAS Data Quality, para uma visualização, exploração e análise dos dados, e do SAS Data Loader para Hadoop, que procura garantir o acesso, integração de dados simplificada e qualidade na informação a analisar.

Foi implementado um cluster Hadoop, gerido pelo software Cloudera, que é escalável e flexível o suficiente para crescer, tendo em conta as necessidades de processamento. O SAS Data Loader, com uma interface  baseada em aplicações gráficas, permitiu à SPA, de forma simples, carregar e tratar grandes volumes de dados; estabelecer correspondência entre os dados recebidos e aqueles já existentes na sua base de dados; calcular a representatividade das gravações e o valor final a cobrar; gerar detalhes da fatura, ficheiros de distribuição, auditoria dos dados, etc. Sendo de referir que o processo de implementação destas duas ferramentas foi acompanhado pela Timestamp, que como parceiro ajudou na integração do sistema na SPA.  

“Com o antigo sistema, cada relatório de vendas demorava 15 dias até ficar pronto, agora com a implementação do Cluster Hadoop demora duas horas. Estas ferramentas aceleram a entrega de dados fiáveis e vão precisamente ao encontro das necessidades do nosso negócio.” refere Cláudia Moreira.

Quanto às vantagens, destaca-se o facto de o Hadoop ser uma plataforma de armazenamento altamente escalável e rápida; ser um sistema de baixo custo de manutenção e permitir aceder facilmente a novas fontes de dados e em diferentes tipos de dados, sejam eles estruturados ou não. Por sua vez, o SAS Data Loader permite que os utilizadores funcionais utilizem o Hadoop de forma simplificada e reduz o tempo de execução dos processos de dias para horas, o que se traduz numa maior capacidade de processamento a baixo custo e/ou disponibilidade para colmatar os atrasos.  

“Os benefícios são na verdade muitos, sendo de referir a alta capacidade de processamento a baixo custo que se conseguiu e o tempo de processamento que, tal como já referi anteriormente, baixou consideravelmente. Para se ter uma ideia, antigamente eram processados por ano 24 relatórios de vendas, sendo que atualmente, para o mesmo número de dias, temos previsto processar 4368 relatórios", conclui Cláudia Moreira.