Microsoft anuncia família de pequenos modelos de linguagem

Os avanços da Inteligência Artificial (IA) continuam a chegar e a Microsoft anunciou um marco significativo no desenvolvimento de pequenos modelos de linguagem com o lançamento da família Phi-3.

Nos últimos anos, os grandes modelos de linguagem (LLM) têm crescido exponencialmente, tendo atingido centenas de milhares de milhões ou mesmo biliões de parâmetros. No entanto, os investigadores da Microsoft questionaram-se: “quantos parâmetros são realmente necessários para construir um modelo com raciocínio de senso comum?”.

Como resposta, a família de pequenos modelos de linguagem Phi-3 foi concebida para oferecer desempenho excecional com uma fração do tamanho dos LLM tradicionais. O primeiro membro desta família, o Phi-3-mini, que está agora disponível através do Azure, HuggingFace e Ollama, possui apenas 3,8 mil milhões de parâmetros, mas oferece resultados impressionantes, afirma a empresa em comunicado.

Segundo a Microsoft, o Phi-3 prova que dados sintéticos de alta qualidade são uma opção viável para treinar modelos de linguagem e cria oportunidades únicas para mais inovação e que esta inovação nasceu nos laboratórios de Research da Microsoft e foi impulsionada pela mais recente equipa de GenAI da empresa.

Além de todas as outras medidas de Responsible AI desenvolvidas antes de lançar um modelo, o treino com dados sintéticos permitiu à Microsoft adicionar uma camada extra de segurança e mitigar problemas comuns com linguagem prejudicial exibida por modelos treinados com dados da internet.

A família de modelos Phi-3 pode ajudar a derrubar barreiras associadas ao custo e à eficiência. O Phi-3-mini possui 3.8 mil milhões de parâmetros e ainda supera concorrentes de maior dimensão. Isso significa que tarefas que normalmente seriam encaminhadas para um modelo maior podem ser tratadas por um modelo menor. Devido à sua dimensão, será mais fácil e acessível ajustar o Phi-3 para use cases personalizados.

O Phi-3-mini permitirá aos utilizadores executar o modelo no equipamento sem ser necessária uma ligação à internet ou acesso à cloud, ampliando o acesso à IA em locais sem a infraestrutura necessária para aproveitar os LLM.