Aplicações generative AI: da experimentação à produção

A Inteligência Artificial generativa (Generative AI), particularmente no contexto de Large Language Models (LLMs), tornou-se um tópico de relevo não só no domínio tecnológico, mas também em áreas como ciência e sociologia, devido ao seu potencial disruptivo nas nossas vidas.

No mercado empresarial assistimos atualmente a um investimento na exploração de LLMs para a automatização de diversos processos, compreendendo desde tarefas criativas a tarefas de otimização. Aqui, as áreas de aplicabilidade de LLMs mais comuns são as vendas e marketing, o desenvolvimento de produto e I&D, bem como as operações e o apoio ao cliente.

Contudo, a transição da fase de desenvolvimento de aplicações LLM para a produção apresenta desafios consideráveis, em certa medida similares aos que se verificaram nas várias tentativas frustradas de implementação de algoritmos de Machine Learning em produção, no passado.

O ciclo de vida de aplicações LLM

Podemos dividir o ciclo de vida de uma aplicação LLM em quatro fases: Conceção, Experimentação, Consolidação e Produção.

Na etapa de Conceção identifica-se a necessidade, analisam-se os dados disponíveis e testam-se os primeiros prompts em serviços LLM SaaS através das suas interfaces Web, com o objetivo de obter uma visão inicial do potencial do conceito.

Na fase de Experimentação, os modelos LLM são instanciados – habitualmente em hyperscalers –, concretiza-se a primeira integração com as fontes de dados e obtêm-se os primeiros resultados. Caso sejam promissores, o processo avança para a etapa de Consolidação, onde se aprimora a arquitetura, as configurações e as integrações de dados, tornando o processo globalmente mais robusto e eficiente.

Por fim, na fase de Produção, a aplicação LLM é disponibilizada para usufruto dos utilizadores, monitorizada e o feedback é recolhido, de modo a garantir a performance e segurança do modelo LLM em tempo real.

Fatores críticos para a transição de aplicaçoes LLM em produção

Para se implementar uma aplicação LLM com sucesso em produção, tanto a nível funcional, como de desempenho e segurança, é fundamental dominar pelo menos quatro áreas relacionadas com LLMs: avaliação dos modelos, Retrieval Augmented Generation (RAG), fine-tuning e Observabilidade.

A avaliação dos modelos, também conhecida por Eval, mede o desempenho dos LLM e identifica possíveis regressões ao longo do tempo. Utilizam-se frequentemente métricas como BLEU, ROUGE ou BERTScore, sendo fundamental adaptá-las aos diversos contextos e tarefas para garantir uma avaliação precisa e eficaz.

A RAG permite enriquecer os LLM com dados das empresas relevantes para o objetivo que se pretende alcançar ou resolver. As implementações RAG contribuem igualmente para a redução do problema comum de “alucinação”, isto é, a produção de informações factualmente incorretas, mas gramaticalmente e linguisticamente certas.

O fine-tuning é o processo de ajuste de LLM pré-treinados para uma tarefa específica, por meio dos dados reais das empresas relacionados com o caso de uso em questão. Isto potencia o desempenho pré-definido do modelo face ao objetivo pretendido.

Os métodos habitualmente utlizados são o LoRA (Low-Rank Adaptation of Large Language Models), P-Tuning, Prompt Tuning e Few-Shot Parameter- Efficient Fine-Tuning.

A Observabilidade dos LLM contempla mecanismos permanentemente ativos de validação das respostas, garantindo que estas são corretas, factuais e sem conteúdo prejudicial. Para tal, é preciso analisar sinais como Data Drift, Prediction Drift, Data Quality e Feature Attribution Drift. Estes ajudam a identificar mudanças nas distribuições dos dados de entrada e saída do modelo, a integridade dos dados, bem como a importância das features para as previsões.

Ao aplicar adequadamente estes domínios de LLMs, as empresas potenciarão o sucesso das suas aplicações LLM em produção, o que resultará em processos de maior eficácia operacional, gerando assim um impacto positivo e mensurável no negócio.

Conteúdo co-produzido pela MediaNext e pela Securnet