Um modelo pode ter uma métrica de acurácia excelente no conjunto de teste e ainda assim ser injusto com um grupo específico de pessoas. Um modelo de aprovação de crédito pode rejeitar candidatos qualificados de determinada faixa etária com frequência maior do que deveria. Um modelo de triagem de currículos pode favorecer perfis de um único tipo de formação. Essas situações não são hipóteses de laboratório, já aconteceram em produção em empresas grandes, e o problema raramente é visível olhando apenas para a métrica de acurácia geral.
O Amazon SageMaker Clarify existe para tornar esse tipo de viés visível e mensurável, em vez de invisível até que alguém reclame.
O que o Clarify faz
O Clarify atua em três momentos do ciclo de vida de um modelo:
- Antes do treinamento, analisando o conjunto de dados em busca de desequilíbrios que podem gerar viés no modelo treinado.
- Depois do treinamento, avaliando se as previsões do modelo tratam grupos diferentes de forma desigual.
- Em produção, monitorando continuamente se a importância das variáveis de entrada muda ao longo do tempo, o que pode indicar que o comportamento do modelo está se deslocando.
Além da detecção de viés, o Clarify oferece explicabilidade usando valores SHAP (SHapley Additive exPlanations), uma técnica que atribui a cada variável de entrada uma contribuição numérica para a previsão final, tanto no agregado quanto para uma previsão individual.
Detecção de viés pré treinamento
Antes mesmo de treinar um modelo, você pode apontar o Clarify para o seu conjunto de dados e indicar quais colunas representam atributos sensíveis, como faixa etária, gênero ou região geográfica. O Clarify roda um job de análise e retorna métricas como diferença de representação entre grupos e desequilíbrio de rótulos positivos.
Se o resultado apontar um desequilíbrio relevante, o SageMaker Data Wrangler oferece operadores de balanceamento como undersampling aleatório, oversampling aleatório e SMOTE, que podem ser aplicados antes de seguir para o treinamento.
Detecção de viés pós treinamento
Depois que o modelo está treinado, o Clarify calcula métricas de equidade sobre as previsões reais, comparando, por exemplo, a taxa de aprovação entre dois grupos definidos por um atributo sensível. Essa etapa roda integrada ao SageMaker Experiments, o que permite comparar diferentes versões de um modelo lado a lado e escolher não apenas pela acurácia, mas também pelo comportamento de equidade.
Explicabilidade com SHAP
A parte de explicabilidade responde a uma pergunta diferente: por que o modelo tomou essa decisão específica. O Clarify calcula, para cada previsão individual, quanto cada variável de entrada contribuiu para o resultado final, positiva ou negativamente.
Um exemplo prático: em um modelo de score de crédito, o Clarify pode mostrar que, para um cliente específico, a variável “tempo de relacionamento com o banco” puxou o score para cima, enquanto “número de consultas recentes ao CPF” puxou para baixo, com o peso exato de cada uma. Isso é especialmente relevante em setores regulados, onde é preciso justificar uma decisão automatizada para um órgão fiscalizador ou para o próprio cliente.
Quando não existe um dataset de referência (baseline) definido manualmente, o Clarify calcula um automaticamente usando K means ou K prototypes, o que reduz a barreira de entrada para times que ainda não têm essa prática madura.
Monitoramento contínuo em produção
Viés e importância de variáveis não são propriedades fixas de um modelo, elas mudam junto com os dados. Um modelo de risco de crédito treinado com dados de uma região pode se comportar de forma diferente quando aplicado a outra região, mesmo sem re treinamento.
O Clarify se integra ao SageMaker Model Monitor para acompanhar continuamente se a importância das variáveis está mudando, e pode disparar alertas via CloudWatch quando esse deslocamento ultrapassa um limite configurado. Isso transforma a checagem de viés de um evento pontual, feito uma vez antes do lançamento, em um processo contínuo.
Quando vale a pena investir tempo nisso
Vale priorizar Clarify quando:
- O modelo influencia decisões que afetam pessoas diretamente, como crédito, contratação, seguro ou saúde.
- Existe exigência regulatória de explicar decisões automatizadas.
- O time de dados quer comparar não só acurácia, mas também equidade, entre versões de um mesmo modelo.
Pode ser dispensável, ao menos como prioridade inicial, quando o modelo não usa nenhum atributo sensível ou proxy de atributo sensível, e o impacto de uma previsão errada é baixo.
Conclusão
O Clarify não elimina viés automaticamente, e essa não é a proposta dele. A proposta é tornar o viés visível e mensurável, para que o time responsável possa decidir o que fazer a respeito, seja rebalancear dados, ajustar o modelo ou documentar uma limitação conhecida. Combinado com SageMaker Pipelines, dá para transformar a checagem de viés em um portão obrigatório antes de qualquer deploy, o que evita que um modelo problemático chegue a produção só porque a métrica de acurácia estava boa.
