Uma IA deveria reprovar candidatos sozinha?

Não. Para decidir quem vai dar certo numa vaga, um modelo precisa aprender com um rótulo (quem acabou sendo uma boa contratação) que é medido tarde, contaminado por time, gestor e sorte, e enviesado por sobrevivência, porque você nunca observa como os candidatos reprovados teriam performado. Um modelo treinado nesse rótulo aprende basicamente a imitar os porteiros anteriores, viés incluído. O papel defensável do software é apresentar evidência para um humano que decide e pode ser responsabilizado, não decidir sozinho.

Humanos são menos enviesados que a IA na contratação?

Nem sempre. A entrevista humana solta costuma ser pior que um modelo razoável: a primeira impressão se forma em menos de cinco minutos e contamina o resto, e a intuição humana para detectar quem está blefando acerta cerca de 54% das vezes. Mas a correção não é remover o humano, é estruturar o humano: critérios fixos definidos antes de conhecer qualquer candidato, a mesma evidência colhida de todo mundo, avaliar o que foi demonstrado em vez da impressão. Estrutura reduz viés sem tirar a pessoa responsável do circuito.

Por que manter um humano no circuito da contratação?

Porque a decisão é tomada sobre uma pessoa específica, e essa pessoa merece alguém que tomou a decisão, sabe dizer por quê, e pode estar errado e responder por isso. Um modelo autônomo remove justamente quem poderia ser questionado e então escala a decisão atrás de uma API. Humano no circuito é necessário, ainda que não suficiente: é o piso de uma decisão defensável e contestável.

Entrevistas preveem desempenho de verdade?

O melhor preditor validado na literatura de seleção, a entrevista estruturada, se correlaciona com desempenho no trabalho em torno de r .51, contra cerca de r .38 para uma entrevista não estruturada (Schmidt e Hunter, 1998). Esse .51 é o teto depois de um século de pesquisa, longe da certeza que justificaria uma reprovação automática, silenciosa e sem direito a recurso.

IA não deveria decidir contratação sozinha: o porquê

Resumo rápido: uma IA que reprova candidatos sozinha decide com confiança sobre um dado que mal existe. “Boa contratação” é medida tarde, é contaminada e é enviesada por sobrevivência, então um modelo treinado para prevê-la aprende sobretudo a imitar os porteiros anteriores, viés incluído. A correção não é um modelo melhor decidindo sozinho. É estruturar o humano que decide, e mantê-lo responsável.

Eu construo IA para recrutamento, e quero argumentar contra exatamente aquilo que o meu setor inteiro está correndo para fazer: um software que decide, sozinho, que você não vale o tempo de um humano.

Se você procurou emprego recentemente, já encontrou isso. Você se candidatou, um sistema leu o seu currículo, deu uma nota e reprovou você em milissegundos. Nenhuma pessoa leu. Não havia ninguém para perguntar o motivo, e nada para recorrer. A máquina estava confiante, e a máquina era o fim da conversa.

A defesa padrão disso é que os humanos são piores. E, sendo honesto, essa defesa está meio certa, o que é justamente o que a torna perigosa.

O argumento a favor de deixar a máquina decidir

Leve a sério, porque ele não é bobo. Entrevistadores humanos são enviesados, inconsistentes e lentos. A primeira impressão se forma em bem menos de cinco minutos e contamina silenciosamente tudo que vem depois: as perguntas ficam mais fáceis ou mais difíceis, a mesma resposta é lida como confiante ou evasiva, e o entrevistador sai dali convicto de que “sentiu” alguma coisa sobre o candidato.¹ Nosso instinto para detectar quem está blefando funciona com cerca de 54% de acerto, ou seja, uma moeda quase empata, e profissionais treinados não vão melhor que qualquer outra pessoa.² Diante disso, um modelo que aplica a mesma função a todo candidato parece um avanço. Consistente ganha de inconstante.

Então, se a comparação fosse “a intuição de um humano enviesado” contra “um modelo consistente”, o modelo venceria com frequência. Mas essa não é a comparação real, e é exatamente nesse deslize entre os dois enquadramentos que o argumento inteiro desanda.

O problema é o rótulo, não a conta

Para decidir quem vai ter sucesso numa vaga, um modelo precisa aprender com exemplos de pessoas que tiveram ou não tiveram sucesso. Esse rótulo é a base de tudo. E, na contratação, o rótulo é podre.

“Boa contratação” é medida tarde, quando é medida. É contaminada pelo time, pelo gestor, pelo mercado e pela sorte. E, pior de tudo, é enviesada por sobrevivência: você só observa o resultado das pessoas que contratou. Você não faz ideia de como os milhares que reprovou teriam performado, porque nunca deixou tentarem. O sinal de treino é construído quase inteiramente a partir das decisões dos porteiros anteriores, o que significa que um modelo treinado para prever “boa contratação” está, na prática, treinado para prever “quem os humanos anteriores teriam contratado e mantido”. Ele aprende a imitar o porteiro, viés do porteiro incluído, e chamamos a imitação de objetividade.

Isso não é um problema de ajuste que se resolve com mais dados. É estrutural. O melhor preditor validado em toda a literatura de seleção de pessoas, a entrevista estruturada, se correlaciona com desempenho no trabalho em torno de r .51, contra r .38 para uma não estruturada.³ Esse .51 é o teto depois de um século de pesquisa, e está muito longe do tipo de certeza que justificaria uma reprovação silenciosa e sem recurso. Quem te vende decisão de contratação autônoma está alegando uma confiança que a ciência não tem.

O que a automação de fato faz com um rótulo ruim

Aqui está a parte que deveria incomodar especialmente quem é de engenharia. Se o seu rótulo carrega viés, automatizar a decisão não remove o viés. Ele o lava e o escala. Um humano enviesado reprova algumas centenas de pessoas por ano e pode, ao menos em princípio, ser questionado. Um modelo enviesado reprova algumas centenas de milhares, de forma consistente, atrás de uma API, e “consistente” é precisamente o que o faz parecer justo. Você pegou um julgamento falho, removeu o único humano que poderia ser cobrado por ele, e o colocou em escala populacional com uma interface bonita por cima.

Os reguladores começaram a perceber. A legislação de seleção dos EUA exige há décadas que ferramentas de contratação sejam validadas e relevantes para a vaga antes de você confiar nelas.⁴ Quando uma empresa construiu uma IA voltada ao candidato que pontuava as pessoas em parte por expressões faciais, ela virou alvo de uma denúncia federal e abandonou discretamente a análise facial.⁵ A direção é clara: decisões automatizadas de emprego estão sendo tratadas como alto risco, porque são.

A lacuna do recurso

Mesmo que um modelo fosse mais justo na média, “mais justo na média” não é a mesma coisa que “defensável para esta pessoa”. Médias não se aplicam a uma vaga. Um humano específico é reprovado, e ele merece aquilo que uma média não consegue dar: alguém que tomou a decisão, que sabe dizer por quê, que pode estar errado e responder por isso. Tire isso e você não tem só uma possível injustiça, você tem uma injustiça sem endereço para onde mandar o recurso. Isso não é uma falha de usabilidade. É o centro moral da coisa.

E qual é a alternativa, se os humanos também são ruins?

Essa é a objeção mais forte, e quero encará-la de frente em vez de fingir que ela não existe. Se o julgamento humano solto é tão pouco confiável, por que devolver a decisão a um humano?

Porque a correção para um processo humano ruim não é “remover o humano”, é “estruturar o humano”. A mesma pesquisa que condena a entrevista de intuição diz o que funciona: critérios fixos definidos antes de conhecer qualquer pessoa, a mesma evidência colhida de todo mundo, avaliar o que o candidato de fato demonstrou em vez de como ele te fez sentir. Estruture assim e a diferença de nota entre gêneros na entrevista praticamente some, enquanto entrevistas não estruturadas mostram uma diferença real.⁶ Estrutura é a intervenção documentada que torna humanos menos enviesados, e funciona sem remover do circuito a pessoa responsável.

Repare no que isso significa para o trabalho da máquina. O papel útil do software não é decidir. É ajudar o humano a decidir bem: trazer a evidência à tona, manter os critérios firmes para que a régua não mude entre candidatos, e sinalizar onde uma resposta ficou rasa para que uma pessoa possa aprofundar, no momento, enquanto ainda importa. A máquina cuida de consistência e memória, que é onde máquinas são boas. O humano cuida de julgamento e responsabilidade, que é o que não dá para delegar. (Essa é a aposta por trás do que eu construo, então pondere com esse desconto: apoiar o entrevistador, nunca substituí-lo.)

E, para ser honesto sobre os limites: manter um humano no circuito é mais caro e mais lento do que reprovar no automático, e um humano preguiçoso com uma ferramenta ainda consegue carimbar o que a ferramenta sugerir. Humano no circuito é necessário, não suficiente. É o piso, não o teto.

Mas o piso importa. O problema da IA de contratação autônoma nunca foi ser artificial. É que ela é confiante sem fundamento, e não responde à pessoa que julga. Passamos uma década deixando essa máquina mais rápida. O projeto mais difícil e mais honesto é fazê-la responder a um humano, toda vez que ela decide que uma pessoa não vale um.

Ambady, N., & Rosenthal, R. (1992). Thin slices of expressive behavior as predictors of interpersonal consequences: A meta-analysis. Psychological Bulletin, 111(2), 256-274. DOI ↩
Bond, C. F., & DePaulo, B. M. (2006). Accuracy of deception judgments. Personality and Social Psychology Review, 10(3), 214-234. Cerca de 54% de acerto entre 24.483 juízes; profissionais não vão melhor que leigos. DOI ↩
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology. Psychological Bulletin, 124(2), 262-274. Entrevista estruturada r .51 vs não estruturada r .38. DOI ↩
Uniform Guidelines on Employee Selection Procedures (1978), 43 FR 38290. O padrão federal dos EUA que exige que procedimentos de seleção sejam validados e relevantes para a vaga. ↩
Em novembro de 2019, a EPIC apresentou uma denúncia à Federal Trade Commission dos EUA sobre a avaliação em vídeo por IA da HireVue, que, pela própria descrição da empresa, pontuava candidatos em parte (entre 10% e 30%, segundo relatos) por expressões faciais. A HireVue descontinuou o componente de análise facial em janeiro de 2021. EPIC ↩
Huffcutt, A. I., Conway, J. M., Roth, P. L., & Stone, N. J. (2001). Identification and meta-analytic assessment of psychological constructs measured in employment interviews. Journal of Applied Psychology, 86(5), 897-913. Entrevistas estruturadas mostram diferença de gênero próxima de zero (d 0,06) vs não estruturadas. ↩