Checklist de RFP de IA

A resposta curta

Especifique a decisão que você quer melhorar e o número que ela deve mover. Não especifique a tecnologia. No momento em que uma RFP nomeia modelo, framework ou arquitetura, você restringiu a solução ao que já imaginou e convidou todo mundo a concordar com você.

O objetivo do documento é produzir propostas que você consiga comparar. A maioria produz oito folhetos que não se comparam de jeito nenhum.

Por que o modelo padrão de TI falha aqui

Compras tradicional assume que você consegue especificar a entrega de antemão: estas funcionalidades, esta integração, este SLA. Isso funciona quando o resultado é determinístico.

Com IA, a resposta honesta sobre o que aquilo vai fazer é uma faixa que estreita conforme você aprende o que o dado sustenta. Uma RFP que exige certeza na largada recebe certeza de volta, e ela será fictícia, porque os fornecedores dispostos a prometer isso são os que não pensaram no assunto.

Então peça o método e a evidência, não garantia que ninguém pode dar.

Especifique a decisão, não a tecnologia

Escreva onde a decisão acontece hoje, quem toma, com que frequência, que informação usa, e quanto custa errar. Esse é o briefing.

Depois declare o número que quer mover, o valor atual, e como é medido hoje. Se você não consegue fornecer isso, diga explicitamente, porque muda a primeira fase para todo mundo que está concorrendo, e esconder só produz propostas incomparáveis.

Avaliação e aceite

Pergunte como corretude será medida, quem define o que é uma boa resposta, e o que acontece quando o número cai depois do lançamento. Exija método específico em vez de compromisso com qualidade. O vocabulário de uma resposta real está em evals de LLM.

Defina aceite em termos da métrica de resultado e de um limiar de avaliação, não em termos de funcionalidade entregue. Aceite por funcionalidade é como se acaba homologando um sistema que funciona exatamente como especificado e não ajuda ninguém.

Dado e acesso

Pergunte de que dado precisam, em que formato, e o que farão se ele estiver incompleto ou contraditório, porque estará. Pergunte como tratam permissão, e especificamente se o direito do usuário solicitante é levado até a recuperação.

Declare suas próprias restrições com honestidade: o que não pode sair do seu ambiente, o que é regulado, quais sistemas não têm API. Esconder isso até a contratação é a forma mais confiável de produzir uma conversa de reprecificação no mês dois.

Propriedade e saída

Exija que o código seja entregue nos seus repositórios continuamente, não no fim. Pergunte o que você retém se encerrar antes. Pergunte quais componentes são proprietários e o que acontece com eles.

E peça o plano de transferência explicitamente: quem no seu time vai conseguir operar isso, e o que torna isso verdade. Um sistema que sua gente não consegue rodar é uma assinatura que você não sabia que estava assinando.

Estrutura de preço a solicitar

Peça preço por fase e por caso de uso em vez de por hora, com a fase de discovery precificada em separado e obrigada a terminar num preço de produção. Peça o custo mensal esperado de operação no seu volume, não no volume de demo, e pergunte o que dirige esse número. Os blocos estão em quanto custa.

Pergunte o que está excluído. A diferença entre o que é cotado e o que é necessário é onde mora a maioria dos estouros de orçamento, e a pergunta traz isso à tona antes de assinar, não depois.

Perguntas que separam o campo

Adicione estas literalmente. O que vocês têm rodando em produção hoje que construíram para um cliente, e há quanto tempo. Descrevam um trabalho em que o resultado foi pior que o esperado e o que mudaram. Quem especificamente vai fazer o trabalho e estará aqui no mês quatro. O que faria vocês nos dizerem para não fazer este projeto.

Essa última é a pergunta mais útil de qualquer RFP de IA. Fornecedor disposto a descrever quando você não deveria comprar está demonstrando exatamente o julgamento que você está contratando.

Uma rubrica de pontuação

Pontue cada resposta de um a cinco em: evidência de trabalho comparável em produção, clareza do método de avaliação, realismo sobre integração, termos de propriedade e saída, estrutura de preço alinhada a resultado, qualidade das perguntas que eles fizeram a você, e uma data específica de algo no ar.

Dê peso dobrado às três primeiras. Qualidade de apresentação não se correlaciona com nada, e o maior previsor de um bom trabalho é a precisão com que um fornecedor fala das partes difíceis. É o padrão que cobramos de nós mesmos quando construímos IA em produção, ponta a ponta.