Red flags de fornecedor de IA

A resposta curta

Nenhum desses prova que o fornecedor é ruim. Cada um é um ponto em que um bom fornecedor tem resposta específica e um fraco muda de assunto. Essa diferença é o sinal de verdade.

Observe o formato da resposta, não o conteúdo. Times que operaram sistema em produção respondem isso rápido e com detalhe, porque viveram aquilo.

A demo roda com o dado deles

Toda demo impressiona sobre dado escolhido para impressionar. Se eles não rodam sobre uma amostra do seu, mesmo pequena e anonimizada, isso é uma declaração sobre o quanto aquilo generaliza.

A pergunta de acompanhamento que vale: que tipo de entrada faz o sistema ir pior. Fornecedor com experiência de produção responde na hora, porque sabe. Quem não tem vai dizer que lida com tudo, o que não é propriedade que sistema nenhum tem.

Nenhuma resposta real sobre avaliação

Pergunte como eles vão saber que está funcionando e escute se a resposta contém método ou apenas conforto. Monitorar disponibilidade não é avaliar corretude, e os dois são confundidos de propósito.

Como soa uma resposta boa: conjunto de referência, rubrica, quem escreveu, com que frequência roda, o que acontece quando cai. Esse vocabulário está em evals de LLM. A ausência dele significa que qualidade será avaliada por quem reclamar mais alto.

Acurácia citada como número único

Noventa e cinco por cento de acurácia não é uma afirmação, é o formato de uma afirmação. Sobre qual dado, medido como, em qual tarefa, comparado a que linha de base, e como são os cinco por cento restantes.

A última parte é a que mais importa. Cinco por cento educadamente inúteis, tudo bem. Cinco por cento confiantemente errados numa decisão de crédito não é o mesmo produto, e um número único esconde qual dos dois você está comprando.

Vago sobre integração

Integração é onde mora a maior parte do cronograma e do risco. Fornecedor que já fez faz perguntas pontudas cedo: quais sistemas, têm API, existe ambiente de homologação, quem aprova mudança, quanto tempo leva a aprovação.

Fornecedor que trata integração como detalhe posterior ou é inexperiente ou pretende reprecificar depois que você estiver comprometido. Os dois terminam igual.

Você não consegue conhecer os engenheiros

Se todos na sala são comerciais, pergunte quando você conhece o time de entrega. Resistência aqui prevê a troca que vem depois: time sênior vende, time júnior entrega.

Você não precisa entrevistá-los. Precisa confirmar que existem, que estarão no seu projeto, e que participaram de algo comparável.

Preço que não combina com o trabalho

Preço por assento para um sistema que toma decisão em vez de servir usuário normalmente significa que aquilo foi construído para outro problema. Preço por hora numa construção coloca vocês em lados opostos de todo atraso.

E cuidado quando discovery é o maior número da proposta sem terminar num preço de produção. Discovery que não precifica produção é exploração paga. Abrimos quais são os blocos reais de custo em quanto custa um agente de IA.

Nenhum caminho para você ser dono

Pergunte o que fica com você se sair no mês três. Se a resposta envolve a plataforma deles, o ambiente deles ou uma licença, você está alugando capacidade em vez de construir uma.

Isso pode ser uma boa escolha, se for deliberada. É uma escolha ruim quando é acidental, que é o que acontece quando ninguém pergunta. A versão camada por camada dessa decisão está em construir ou comprar.

Sinais verdes que valem pagar

Eles perguntam qual decisão você quer melhorar antes de descrever o que constroem. Oferecem espontaneamente um case que deu errado e o que mudou. Dizem quando o seu problema não precisa de IA, que é o sinal mais forte desta lista.

Colocam data para algo estar no ar diante de um usuário real. Precificam por resultado. E são específicos sobre guardrails e avaliação sem serem perguntados, porque essas são as partes com que você só se importa depois de ter se queimado. É o padrão que cobramos de nós mesmos quando construímos IA em produção, ponta a ponta.