Imagine que você está dirigindo tranquilamente pela cidade quando, de repente, surge uma situação inusitada na sua frente: uma bicicleta de cabeça para baixo no meio da rua. Você para, pensa, analisa a situação e toma uma decisão. Agora imagine um carro autônomo na mesma situação. Se o sistema que roda neste veículo não for treinado com cenas bizarras como esta, as chances de ele cometer um erro desastroso são altas. Sem governança adequada e sem ter sido treinado para lidar com eventos fora do padrão, um agente de IA pode interpretar o cenário de forma limitada e tomar uma decisão equivocada.

Essa diferença fundamental entre a adaptabilidade humana e a rigidez algorítmica é exatamente o que separa um simples algoritmo de um agente de inteligência artificial (IA). E este é o ponto que precisamos discutir quando se fala da próxima fronteira da IA. Os agentes de IA não são só algoritmos melhorados, mas sim algo completamente diferente.

O agente de IA é uma mescla complexa de várias etapas, composto por diversos elementos, grandes modelos de linguagem (LLMs) que conversam entre si até entregar uma resposta que pode ser uma decisão ou um apoio para tomar uma decisão. A grande diferença está na complexidade – são vários os "nós" que interagem para gerar um apoio, uma decisão, uma resposta.

Precisão versus adaptabilidade

Com uma capacidade impressionante de simular e buscar respostas, um agente de IA é apoiado por uma computação robusta que pode processar milhares de cenários. Quando bem treinada para um contexto específico, esta ferramenta será muito mais precisa e rápida que um humano. Mas existe um "porém": se um agente não tem o treino adequado ou a construção apropriada, não tem a mesma capacidade de improviso de um humano.

É como no exemplo do carro autônomo. O veículo reage perfeitamente a tudo que foi treinado para enfrentar, seja uma criança correndo ou uma bicicleta passando na frente. Mas se acontece um imprevisto totalmente fora da base de treino, como uma bicicleta de cabeça para baixo, ele pode cometer um equívoco desastroso. O humano, por outro lado, pesaria a situação, pararia e analisaria, mesmo diante do inesperado.

Às vezes, o agente é tão firme na resposta que alucina, inventa informações. E o pior, quem está do outro lado, sem discernimento adequado, pode tomar uma decisão equivocada baseada em algo que simplesmente não existe.

A verdade é que todo processo de construção de um agente de IA é complexo, cheio de armadilhas invisíveis e não limitado apenas a melhorar respostas de prompts. No contexto de uma organização, esta construção também é composta por modelos, análise de sentimentos, algoritmos de decisão que podem optar por uma resposta mais econômica, ou que tenha melhor perfil de retenção de clientes de alto valor.

Tais decisões passam por vários caminhos no agente que podem, inclusive, conter elementos de viés e preconceito caso não tenha sido adequadamente treinado. Além disso, se uma empresa não tem processos de governança maduros e eficientes, com ferramentas que possibilitem testes com diversos eventos e hipóteses, a chance de ter algum impacto negativo na marca é alta.

Por isso, é sempre bom lembrar: podemos falar sobre tecnologia, mas no fim, quem responde pelos desdobramentos são os humanos que a usam. Por isso, é fundamental ter processos de desenvolvimento de IA com governança sustentável.

Por exemplo, para que vieses não aconteçam na sua empresa, é importante considerar a maturidade do seu processo de criação do agente desde o fundamento. Se o agente vai utilizar um modelo de LLM ou modelagem analítica específica, você deve usar dados representativos na criação. Caso não tenha este tipo de dados naquele momento, utilize técnicas para gerar dados sintéticos que deem essa representatividade e identifique o viés já na produção do modelo.

Depois que o agente entrar em produção, é bom continuar fazendo verificações das entregas em tempo real para identificar quando (e se) ele começar a entregar algo que não deveria. Seja porque não está treinado para aquela situação ou porque o contexto mudou.

Isso acontece muito: o agente funciona muito bem para responder a um determinado contexto, mas surge uma mudança econômica (como altas no câmbio ou na taxa Selic) e o agente pode começar a ter interpretações que não se comportam adequadamente no novo cenário. Neste caso, é preciso empregar rapidamente ferramentas que identifiquem isso e substituam o agente por algo mais treinado e que entregue valor.

O desafio da explicabilidade

Explicar as decisões de agentes complexos para stakeholders sem conhecimento técnico é um dos grandes pontos de atenção desta nova fronteira do desenvolvimento da tecnologia. Quando usamos machine learning ou automação de máquina, temos conjuntos de milhares de decisões cujo resultado final é tão complexo, que é difícil transformar aquele modelo em uma explicação simples.

Porém, o mundo da análise avançada de dados possui técnicas descritivas, usando modelagens mais simples e explicáveis para ajudar a entender aquele resultado. Se uma pessoa usar um artifício inteligente como machine learning, pode não entender imediatamente por que parou de vender refrigerante para determinado público. Mas usando outras técnicas e metodologias, consegue extrair essa explicação e descobrir peculiaridades referentes à localização, por exemplo.

Por isso, é importante ter ferramentas para guardar o que foi colocado como contexto para aquela decisão e ter ferramentas que ajudem a traduzir o que é complexo em regras de negócio, através de gráficos ou metodologias analíticas mais exploratórias.

Os agentes de IA representam um salto qualitativo em relação aos algoritmos tradicionais, mas essa complexidade adicional traz responsabilidades proporcionais. A diferença entre sucesso e fracasso está na maturidade dos processos de governança, na qualidade dos dados de treino e na capacidade de monitoramento contínuo.

O importante é entender que estamos lidando com sistemas tecnológicos complexos que tomam decisões impactantes. Se não tivermos processos e ferramentas adequadas para controlá-los, é bem provável que iremos incorrer em problemas que podem prejudicar marcas e resultados.

A revolução dos agentes de IA já começou, mas o sucesso depende da capacidade das organizações de equilibrar a complexidade tecnológica com governança responsável. E este processo está apenas começando.

Bruno Maia, head de Inovação no SAS.