Seu dado está pronto para IA?

A resposta curta

Pronto não significa limpo. Significa que você consegue alcançar o dado certo no momento em que a decisão acontece, com as permissões junto, e que ele representa as situações que o sistema vai de fato encontrar.

A maioria dos times falha no primeiro teste e gasta o orçamento no terceiro. Limpar um warehouse que você não consegue consultar em tempo real é preparação cara para um sistema que mesmo assim não vai funcionar.

O que pronto significa de fato

Três propriedades, na ordem em que travam projeto. Alcançável: disponível no momento da decisão, não de madrugada. Governado: você sabe quem é dono, quem pode ver, e de onde veio. Representativo: contém os casos que o sistema vai encontrar, inclusive os incômodos.

Dado perfeitamente limpo não está nessa lista. Dado de produção nunca é limpo, e sistema que exige isso é sistema que quebra na primeira semana.

As quatro perguntas

Consigo isso no momento da decisão, ou só num lote noturno. Sei quem tem permissão de ver cada registro. Esse dado inclui os casos difíceis, ou só os que deram certo. E existe uma fonte de verdade, ou três sistemas que discordam.

Responda antes de escopar qualquer coisa. A primeira decide se o projeto é primeiro um projeto de pipeline de dado, que cobrimos em integração com legado.

Alcançabilidade é o bloqueio usual

Uma decisão que acontece enquanto o usuário espera precisa de dado disponível enquanto ele espera. Se sua única interface é exportação em lote, o desenho está restringido por mais que você faça depois.

Existem contornos, e são projetos de engenharia: réplica de leitura, stream de evento, cache com estratégia de invalidação. Todos legítimos. Nenhum de graça, e todos pertencem à estimativa, não à coluna das surpresas.

Permissão e linhagem

Se você não consegue dizer quem pode ver um registro, não consegue colocá-lo com segurança atrás de um sistema que responde perguntas sobre ele. É essa a falha que aparece numa revisão de segurança e congela o projeto depois de construído.

Leve permissão para dentro da recuperação em vez de filtrar depois, e mantenha linhagem para conseguir dizer de onde veio uma resposta. É a mesma exigência descrita em guardrails, e sai muito mais barato desenhada do que remendada.

Representatividade

Dado coletado de um processo que funciona codifica aquele processo, inclusive os pontos cegos dele. Se uma categoria nunca foi bem tratada, o registro dela é ralo, e um sistema treinado ou ancorado nisso será pior exatamente onde o risco é maior.

Procure especificamente o raro e o escalado. Um conjunto feito de sucessos limpos ensina o sistema a ser confiante em todo lugar, que é o modo de falha mais caro.

A armadilha da limpeza

O instinto é consertar tudo primeiro. Isso é um programa de vários anos que não entrega nada até terminar, e não vai terminar.

Limpe a fatia que a decisão toca, no padrão que aquela decisão exige. Uma fatia estreita, bem governada e atual vence um warehouse amplo, imaculado e desatualizado sempre, e permite aprender o que importa antes de gastar.

Quando a resposta é não

Diga isso e remodele o projeto. Uma fase de pipeline de dado com entrega clara é um primeiro passo legítimo, e enquadrar com honestidade é muito melhor que começar uma construção de IA que vai travar no mês três por motivos que todos viam na semana um.

O movimento errado é seguir numa cópia e descobrir a restrição na integração, que é exatamente como piloto acaba não atravessando.

Sequenciar dado junto com a construção

Não serialize. Estabeleça alcançabilidade e permissão primeiro, na fatia estreita, e construa contra isso enquanto o trabalho mais amplo continua.

E instrumente desde o começo: se você não consegue ver que dado foi usado numa resposta, não consegue depurar qualidade depois. É esse o ponto de observabilidade, e faz parte de como construímos IA em produção, ponta a ponta.