Como avaliar vieses da IA antes de implantar.

Faltava decidir como o score de risco vira decisão: ponto de corte do alerta, grau de automação, aviso ao segurado, contestação e governança. O modelo aprende padrões dos dados históricos. Alguns descrevem fraude; outros descrevem uma doença crônica, uma mudança de vida, uma idade ou um jeito de preencher formulários. Quando o ponto de corte faz desse sinal um controle, a questão passa a ser uma decisão sobre uma pessoa.

O modelo é o mesmo nas 11 configurações; mudam seis pontos em volta dele.

1. Ponto de corte do alerta: único para todos, ou diferente por perfil de segurado.
2. Grau de automação: o alerta resolvido automaticamente, ou um analista sempre na decisão.
3. Aviso ao segurado: nenhum, um aviso de controle de rotina, ou a explicação do sistema e do motivo.
4. Contestação: nenhuma, ou revisão formal por um analista em até 15 dias, com resposta fundamentada.
5. Governança ética: comitê criado depois das primeiras crises, ou antes da implantação, com compromissos publicados e auditoria externa.
6. Reavaliação do modelo: implantado uma vez, ou com revisão trimestral dos indicadores de viés e retreinamento com dados recentes.

A simulação fazia novas perguntas a cada segurado sintético sobre a percepção do controle, a sensação de suspeita injusta e a contestação.

• Simulação3 perfis concentravam 62% dos falsos positivos, os alertas de fraude indevidos, e somavam 8% dos segurados. Eram eles: doença crônica rara com tratamento fora do padrão, mudança de situação profissional ou familiar e idosos com uso intenso de serviços de saúde.
• Simulaçãoo controle sem aviso teve 34% de satisfação com o pedido aprovado e 12% com o pedido negado. Explicado, com o motivo e o direito de contestar, teve 72% e 51%.
• Simulaçãocom a mesma precisão do modelo, a satisfação média foi de 24% sem revisão por um analista. Com contestação formal em até 15 dias, foi de 68%.
• Simulaçãopontos de corte por perfil, mais tolerantes nos três perfis sensíveis e mais rígidos nos outros, reduziram os falsos positivos em 62%. A detecção de fraude não piorou, e o custo da análise humana caiu 34%.
• Projeçãocom os pontos de corte por perfil, risco de reputação 78% menor.

O comitê de ética da seguradora escolheu a configuração que se saiu melhor na comparação. Ela combina pontos de corte por perfil, aviso com explicação e contestação revista por um analista em até 15 dias. A governança veio antes da implantação: um comitê permanente com associações de usuários, compromissos publicados e auditoria externa anual. O modelo passou a ser reavaliado de forma contínua. A condição para implantar era o sistema ser auditável, com relatório público dos indicadores de viés e de falsos positivos.

O case não traz resultado medido depois da implantação.

Com a mesma precisão, o que mudou a experiência dos segurados foi a decisão em volta do modelo: ponto de corte, explicação, contestação e governança.

Quero fazer um piloto

A população foi calibrada com dados públicos franceses, de estatística, de saúde e do setor de seguros, e com dados da seguradora. Entraram perfis de segurado, histórico de uso de serviços de saúde e de fraude documentada e estrutura demográfica. Segundo a Imagine All The People, nenhum dado que identifique uma pessoa entrou no sistema, e os resultados detalhados são da seguradora. As comparações publicadas são qualitativas e não são auditoria do algoritmo nem avaliação de compliance. A simulação torna as configurações comparáveis; a escolha é da seguradora.