Contra a métrica do mundo

Os algoritmos carregam em seu código heranças históricas de exclusão e reproduzem, em velocidade digital, estruturas de desigualdade racial. O desafio vai além de corrigir vieses estatísticos: exige reinventar princípios, processos e narrativas que sustentam a tecnologia. Construir uma IA antirracista significa libertar o futuro das amarras do passado e criar caminhos de emancipação coletiva
Image: Kelly Boesch

Escrevo de um lugar peculiar e, por vezes, desconfortável. Sou cientista da computação – formada para otimizar, tornar eficiente, abstrair. Cada vez mais, no entanto, habito as fronteiras entre a Ciência Computacional Social e os Estudos de Ciência e Tecnologia, espaço onde código encontra contexto, onde algoritmo encontra história, onde otimização encontra opressão.

Este ensaio nasce de inquietações que venho elaborando ao longo do meu mestrado em Inteligência Artificial na Universidade Estadual de Campinas (Unicamp), em diálogo constante com epistemologias negras, crítica técnica e os fundamentos matemáticos da computação. A construção do conceito de epistemicídio computacional emerge desse processo de pesquisa, que busca não apenas descrever os mecanismos algorítmicos de exclusão, mas desvelar as escolhas políticas, históricas e técnicas que os sustentam. Trabalho a partir da elaboração original do conceito de epistemicídio por Boaventura de Sousa Santos, e sobretudo da extensão crítica proposta por Sueli Carneiro e Angela Figueiredo, que o vinculam diretamente à lógica constitutiva do racismo estrutural. Ao habitar as bordas entre teoria crítica e formalização matemática, proponho uma leitura que reconhece a computação como campo de disputa ontológica e epistêmica – e, por isso mesmo, como espaço possível de reinvenção.

A estatística e o aprendizado de máquina não emergem em um vácuo: como mostram as genealogias de Francis Galton, Karl Pearson e Ronald Fisher, suas origens estão entrelaçadas com projetos eugenistas de classificação racial. Essa lógica se perpetua na obsessão contemporânea com classificar, prever e otimizar. Quando transformamos pessoas em vetores e realidades sociais em funções de perda, reafirmamos estruturas que desautorizam saberes não alinhados à racionalidade dominante.

O epistemicídio computacional opera em quatro camadas principais:

Coleta e ontologia de dados: quem define o que será coletado, como e com que categorias? A ausência ou redução de experiências negras, periféricas, femininas, comunitárias às vezes nem é um erro, mas um design.

Modelagem e representação: transformar uma pessoa em vetor é um ato de violência epistêmica. Características como escolaridade formal, CEP ou histórico de crédito são consideradas relevantes, enquanto redes de solidariedade, inteligências marginais e formas coletivas de resistência são descartadas.

Métricas e otimização: a função objetivo decide o que é erro e o que é acerto. Ao minimizar o desvio da norma estatística, sistemas computacionais penalizam o desvio epistêmico. Otimizar, nesse contexto, é excluir.

Governança e infraestrutura: quem tem acesso aos dados? Quem os armazena? Quem lucra com eles? A colonialidade do saber se atualiza na concentração de poder computacional, no apagamento de regulações comunitárias e na mercantilização de populações inteiras como fonte de dado.

A chamada transparência algorítmica pouco resolve se não vier acompanhada de uma redistribuição da autoridade epistêmica. Tornar o sistema “explicável” sem questionar os paradigmas que o informam apenas transforma a exclusão em algo mais fácil de aceitar.

Por isso, é urgente pensar em chaves abolicionistas. Inspirada em Ruha Benjamin, Kim TallBear e no pensamento negro brasileiro, defendo o direito de não ser computada. De construir sistemas que não partam da escassez, da vigia ou da predição, mas da abundância, da escuta e da autonomia coletiva. A luta contra o epistemicídio computacional é, em essência, uma luta pela possibilidade de futuros que escapem à colonialidade da inteligência de máquina.

Não se trata de melhorar a acurácia dos modelos, mas de redefinir as perguntas. Não de ajustar métricas, mas de recusar que a justiça seja um problema de otimização. Vivemos um momento histórico particular em que a tecnologia digital deixou de ser ferramenta para tornar-se ambiente. Não usamos algoritmos – vivemos dentro deles. Como argumenta Wendy Chun, o código se torna habitual e invisível na vida cotidiana; uma forma de habitarmos o mundo que exige atenção crítica aos mecanismos que nos moldam. Eles mediam nossas relações, filtram nossas percepções, moldam nossas possibilidades. E nesse ambiente algorítmico, padrões antigos de dominação encontram novos mecanismos de reprodução. A supremacia branca se atualiza em conjuntos de dados (datasets). O patriarcado se otimiza em redes neurais. O capitalismo racial se escala em infraestruturas de computação em nuvem. Esse processo remete ao que Ruha Benjamin denomina “New Jim Code” – estruturas tecnológicas que reproduzem códigos sociais de exclusão com aparência de neutralidade técnica.

Mas – e este “mas” é fundamental – também vivemos um momento de possibilidades abertas. Porque a tecnologia, ao contrário do que certa narrativa determinista quer fazer crer, não tem essência fixa. Código é texto e, como todo texto, pode ser reescrito. Arquiteturas são escolhas, e escolhas podem ser refeitas.

Conheço, trabalho e conspiro com pessoas dentro da computação que recusam a inevitabilidade do tecnoautoritarismo. Que hackeiam não apenas sistemas, mas imaginários. Entendem que a questão não é se podemos construir uma inteligência artificial (IA) diferente, mas como e para quem. São pessoas que levam a sério tanto o rigor técnico como a imaginação política, que não veem contradição entre elegância matemática e justiça social.

Este ensaio parte desta dupla convicção: de que precisamos entender profundamente como chegamos até aqui – as rotas históricas pelas quais projetos eugenistas se inscreveram em arquiteturas computacionais – e de que esse entendimento não é fim em si mesmo, mas condição para imaginar e construir alternativas. Não se trata de destruir a computação, mas de libertá-la das amarras de seu passado colonial-eugenista para que possa servir a futuros plurais e emancipatórios.

Quando falo em examinar raízes eugenistas, não estou fazendo afirmação hiperbólica. Os mesmos estatísticos que desenvolveram técnicas fundamentais para aprendizado de máquina – Pearson, Fisher, Galton – eram eugenistas comprometidos. As mesmas técnicas de classificação e otimização que hoje movem nossos sistemas de IA foram desenvolvidas para quantificar e hierarquizar diferenças humanas. As mesmas noções de “normalidade” e “desvio” que estruturam análise estatística emergiram de projetos de purificação racial.

Essa herança não é uma mancha superficial que pode ser limpa com uma correção pontual de um patch de diversidade. Está inscrita na própria lógica de como concebemos problemas computacionais: a obsessão com classificação, a busca por populações “normais”, a eliminação de “outliers” (ou aqueles distantes da média), a otimização de “fitness functions” (mecanismos definidos para avaliar características específicas de uma arquitetura de software, garantindo que ela permaneça alinhada com os objetivos de negócios e técnicos ao longo do seu ciclo de vida). O vocabulário mesmo denuncia as origens.

Mas aqui está a questão crucial: reconhecer essas origens não é admitir derrota. É condição para superação. Só podemos construir computação antirracista se entendermos como o racismo se inscreveu em suas fundações. Só podemos imaginar IA para libertação se compreendermos como ela tem servido à dominação.

Eis o espírito que anima este trabalho: reconhecimento sóbrio de onde estamos, análise rigorosa de como chegamos até aqui e compromisso inabalável com a possibilidade de futuros diferentes. Porque, no fim, esta é a aposta que fazemos: que mundos são bugs, não features. Que realidades podem ser refatoradas. Que outros algoritmos são possíveis.”

O nascimento político da estatística

A estatística nunca foi neutra. Nasceu como ferramenta de Estado, literalmente, “ciência do Estado”  para contar, classificar e controlar populações. O inglês Francis Galton, considerado um dos pais da estatística moderna, não desenvolveu conceitos como “regressão” e “correlação” em busca abstrata de conhecimento, mas como parte de seu projeto eugênico de quantificar e hierarquizar diferenças humanas. 

Em “Viés algorítmico – um balanço provisório”, Letícia Simões-Gomes, Enrico Roberto e Jônatas Mendonça traçam precisamente essas conexões históricas, demonstrando como as ferramentas estatísticas foram desenvolvidas em contextos específicos de poder. Galton via na matemática um instrumento para “melhorar” a espécie humana por meio da quantificação de características consideradas desejáveis ou indesejáveis. A própria regressão, conceito fundamental no aprendizado de máquina atual, foi introduzida por Galton ao estudar hereditariedade, com o objetivo explícito de fundamentar matematicamente teorias de superioridade racial.

A questão da aparente neutralidade dos números é essencial aqui. A estatística oferecia uma linguagem universal na aparência que mascarava escolhas profundamente políticas sobre o que medir, como categorizar e quais distinções importavam. No contexto colonial brasileiro, essa suposta neutralidade legitimava sistemas de classificação racial complexos transformando a diversidade da experiência humana em categorias discretas como “branco”, “pardo”, “preto”, “caboclo”, que operacionalizam hierarquias sociais rígidas.

Essa origem marca de maneira indelével o que fazemos atualmente com aprendizado de máquina. Quando aplicamos técnicas de otimização estatística a problemas sociais, carregamos não apenas métodos matemáticos, mas toda uma genealogia de poder. Os algoritmos que hoje decidem quem recebe crédito ou quem é considerado “risco” para o sistema de justiça criminal são descendentes diretos das tabelas coloniais que classificavam humanidade por “graus de pureza”.

Ilustração de Kelly Boesch

A mudança é superficial, os mecanismos profundos permanecem. Onde Galton usava estatística para identificar “degenerados” para exclusão reprodutiva, algoritmos modernos identificam “alto risco” para exclusão econômica e social. A matemática continua servindo como tecnologia de legitimação para decisões fundamentalmente políticas sobre quem merece oportunidade e quem deve ser controlado.

O aprendizado de máquina, em sua formulação dominante (peço licença para utilizar rapidamente a linguagem matemática aqui), opera através de um processo que podemos descrever com precisão técnica: dada uma função de perda L, um conjunto de dados D = {(x₁, y₁), …, (xn, yn)}, e um espaço de hipóteses H, encontrar h* ∈ H que minimize o risco empírico. Essa formulação, aparentemente abstrata e neutra, esconde pressupostos profundos sobre a natureza da realidade social e do conhecimento.

Como propõe Denise Ferreira da Silva, o paradigma da transparência e da separabilidade, pilares da razão moderna, sustenta o próprio regime de inteligibilidade que autoriza o algoritmo como mediador neutro do mundo. A racialidade não é um erro no sistema: é sua gramática fundacional.

Primeiro, pressupõe que experiências humanas complexas podem ser representadas como vetores em espaços de alta dimensão. Essa não é uma necessidade matemática – é uma escolha epistemológica. Quando transformamos uma pessoa em um vetor, realizamos um ato de violência simbólica. Decidimos que certas características são relevantes (escolaridade formal, CEP, histórico de crédito), enquanto outras são irrelevantes (criatividade na adversidade, redes de solidariedade comunitária, formas não capitalistas de confiabilidade).

Segundo, a própria noção de “otimização” carrega uma teleologia específica. Otimizar significa pressupor que existe um estado “melhor” mensurável por uma métrica única. Mas melhor para quem? Segundo quais valores? A função objetivo que minimizamos – seja erro de classificação, seja desvio quadrático – codifica julgamentos sobre o que importa e o que pode ser sacrificado.

Há uma crença generalizada de que o problema do viés algorítmico – quando algoritmos produzem resultados injustos ou discriminatórios devido a erros sistemáticos em seu design ou dados de treinamento – pode ser resolvido com “dados mais representativos”. Essa visão tecnocrática falha em compreender que o problema não é de amostragem estatística, mas da forma como o mundo é observado, classificado, quantificado e interpretado. Ou seja, de poder epistêmico. Não existem dados “crus” ou “neutros”  – todo dado é produzido através de aparatos específicos de observação, categorização e registro.

Consideremos dados policiais sobre criminalidade. Estes não representam “crime” como fenômeno objetivo, mas sim o resultado de decisões complexas sobre: onde posicionar patrulhas, quais comportamentos criminalizar, quem abordar, quem prender versus advertir, quem processar versus liberar. Cada uma dessas decisões é permeada por racismo estrutural. O dataset resultante é um arquivo de práticas racistas sistematizadas.

Quando treinamos algoritmos preditivos nesses dados, não estamos criando sistemas que preveem crime, estamos criando sistemas que preveem onde o aparato policial racista provavelmente atuará. A otimização estatística, nesse contexto, torna-se um mecanismo de amplificação e legitimação da violência racial.

A alquimia da transmutação matemática

Existe um processo quase alquímico pelo qual o preconceito social se transmuta em verdade matemática por meio do aprendizado de máquina. O processo funciona assim:

Extração: práticas discriminatórias históricas geram padrões nos dados.

Abstração: esses padrões são codificados como correlações estatísticas.

Otimização: algoritmos descobrem e exploram essas correlações para minimizar erro.

Naturalização: as predições resultantes são apresentadas como descobertas objetivas.

Legitimação: decisões baseadas nessas predições ganham autoridade científica.

Esse processo é particularmente insidioso porque remove a agência humana da narrativa. Ninguém “decidiu” discriminar, o algoritmo “descobriu” padrões nos dados. A responsabilidade moral se dissolve na complexidade técnica.

O aprendizado de máquina parte de uma premissa temporal específica: o futuro será estatisticamente similar ao passado. Quando essa lógica é aplicada a sistemas sociais, torna-se profundamente conservadora. Ela assume que padrões históricos de exclusão, discriminação e violência são features estáveis do mundo, não construções políticas que podem e devem ser transformadas.

De forma ainda mais perversa, ao gerar predições baseadas em padrões históricos – usar essas predições para alocar recursos e oportunidades –, os algoritmos passam a construir futuros que confirmam suas premissas. É a profecia autorrealizável em escala industrial. Um jovem negro a quem se nega crédito educacional por um algoritmo tem menos chances de escapar da pobreza, “confirmando” assim a classificação de alto risco que o sistema lhe atribuiu.

A colonialidade do saber algorítmico

A hegemonia global de frameworks (estruturas) de aprendizado de máquina desenvolvidos em contextos específicos – sobretudo em departamentos de ciência da computação de universidades de elite nos Estados Unidos e em laboratórios de grandes corporações – representa uma forma de colonialidade do saber. Essas ferramentas não carregam apenas técnicas matemáticas, mas visões de mundo, valores e premissas sobre natureza humana e como a sociedade deve ser organizada.

Como propõem Deivison Faustino e Walter Lippold, essa lógica pode ser entendida como “colonialismo digital” – uma forma de dominação que se atualiza na extração de dados, na vigilância e na reprodução de hierarquias raciais por meio das tecnologias digitais, perpetuando estruturas coloniais sob a aparência de inovação técnica.

Quando importamos tais ferramentas para contextos como o brasileiro, não estamos apenas transferindo tecnologia neutra. Estamos também importando:

Concepções individualistas de sujeito: pessoa como conjunto de características (features) independentes.

Lógicas meritocráticas: sucesso como função de características individuais.

Ontologias capitalistas: valor humano medido por produtividade econômica.

Epistemologias positivistas: realidade social como objetivamente mensurável.

Há uma indústria em expansão de “IA ética” e “justiça algorítmica” que promete resolver esses problemas por meio de ajustes técnicos. Novas métricas de fairness (justiça) são propostas, técnicas de redução de viés (debiasing) são desenvolvidas, diretrizes éticas são publicadas. Mas essa abordagem reformista ignora o essencial: o problema não está na implementação, mas na própria concepção do projeto.

Não se pode “consertar” um sistema cujo propósito fundamental é prever e perpetuar padrões existentes de distribuição de poder e recursos. As múltiplas definições técnicas de fairness (paridade demográfica, equalização de odds, calibração por grupos) muitas vezes são incompatíveis entre si. Além disso, todas falham em questionar a premissa fundamental: por que estamos usando sistemas preditivos para decidir quem terá acesso a oportunidades de vida?

O paradoxo da transparência

As demandas por “transparência algorítmica” e “explicabilidade” partem do pressuposto de que o problema é a falta de compreensão sobre como os sistemas funcionam. Mas transparência pode ser uma forma de legitimação. Quando tornamos visível que um algoritmo usa CEP como forte preditor de risco de crédito, e mostramos matematicamente como chegou a essa conclusão, estamos tornando o sistema mais justo? Ou apenas mais fácil de defender?

A transparência técnica pode obscurecer opacidades mais profundas: por que aceitamos que local de moradia determine acesso a crédito? Como se construíram historicamente as segregações espaciais que o algoritmo agora “descobre”? Tornar glass box (compreensível) um sistema black box (opaco) não resolve a questão mais fundamental: será que deveríamos estar usando essas “caixas” para tomar decisões sobre vidas?

As análises técnicas de viés (bias) frequentemente ignoram a dimensão afetiva e psicológica da discriminação algorítmica. Ser rejeitado por um algoritmo não é experiência neutra – é um encontro com uma forma particularmente desumana de exclusão. Não há a quem apelar, não há reconhecimento de circunstâncias particulares, não há possibilidade de diálogo.

Essa frieza não é bug, é feature. A despersonalização promovida pela mediação algorítmica cumpre funções estratégicas para sistemas de poder:

• Isenta os operadores humanos de culpa individual.

• Torna socialmente mais aceitável a discriminação.

• Dificulta organização e resistência coletivas.

• Apresenta exclusão como resultado técnico inevitável.

É fundamental entender que sistemas discriminatórios não persistem apenas por inércia ou ignorância – eles geram valor. A reprodução do racismo em diversas esferas é lucrativo. Quando um banco usa algoritmos que sistematicamente negam crédito a populações negras e periféricas, isso não é “erro” do ponto de vista do capital – é uma forma de maximizar lucros no curto prazo, reduzindo o risco percebido.

Mas a lógica do lucro vai além. Dados sobre populações marginalizadas se tornam commodity valiosa. Quanto mais precária e vigiada uma população, mais dados ela gera. Esses dados alimentam sistemas de predição e controle que, por sua vez, aprofundam ainda mais a precarização. É um ciclo extrativo que converte sofrimento humano em valor acionário.

Sistemas de aprendizado de máquina operam através de infraestruturas que embaralham distinções tradicionais entre público e privado. Dados coletados por empresas privadas informam decisões governamentais. Algoritmos desenvolvidos com fundos públicos em universidades são privatizados por corporações. Decisões sobre acesso a direitos básicos são delegadas a sistemas proprietários.

Esse embaralhamento não é acidental. Ele permite que Estados terceirizem discriminação para atores privados; que corporações exerçam poder governamental sem accountability democrática; que responsabilidades sejam difusas a ponto da inexistência e, por fim, que a resistência seja fragmentada entre diferentes jurisdições e domínios.

Um dos aspectos mais perversos do uso do aprendizado de máquina em sistemas sociais é como ele nega agência histórica. Pessoas são transformadas em pontos de dados e seus futuros passam a ser definidos probabilisticamente com base em seus passados – e nos passados de outros “semelhantes”. Não há espaço no modelo para ruptura, transformação, redenção.

O poder da reprodução do racismo reside em sua aparência de inevitabilidade técnica. Expor sua construção histórica e política é o primeiro passo para imaginar futuros plurais, não computáveis por máquinas treinadas em passados de dominação

A negação de agência é particularmente violenta quando recai sobre populações que, historicamente, precisaram mobilizar formas extraordinárias de ação apenas para sobreviver. A criatividade, resiliência e resistência de comunidades marginalizadas são precisamente aquilo que escapa aos modelos baseados na ideia de continuidade estatística.

 Até aqui, estabelecemos os fundamentos críticos para entender a interseção entre justiça algorítmica, aprendizado de máquina e racismo estrutural. Vimos que: a estatística e o aprendizado de máquina têm genealogias intrinsecamente ligadas a projetos de dominação; a aparente neutralidade matemática é uma forma de legitimação de violências históricas; problemas de bias não são técnicos, mas políticos e epistemológicos; reformas técnicas são insuficientes diante da magnitude do problema.

Passamos agora à análise dos mecanismos específicos pelos quais o racismo se inscreve nas arquiteturas computacionais e suas implicações para projetos de justiça e libertação. Nesse percurso, é fundamental recuperar a contribuição de Sueli Carneiro, que define o epistemicídio como a negação sistemática dos saberes produzidos por populações negras. O racismo estrutural, nesse sentido, não opera apenas pela exclusão material, mas também pela desautorização epistêmica. O viés algorítmico, portanto, não inaugura uma nova forma de opressão – ele atualiza tecnicamente uma lógica histórica que define o que pode ser considerado conhecimento legítimo e quem tem o direito de produzi-lo.


O impacto real dos algoritmos

Embora muitas vezes apresentados como ferramentas neutras e eficientes, os algoritmos têm reproduzido – e até intensificado – desigualdades históricas. Quando aplicados a contextos sociais, especialmente em sociedades marcadas por racismo estrutural, essas tecnologias podem legitimar exclusões com aparência de precisão técnica. A seguir, alguns dos efeitos concretos dos sistemas algorítmicos já em operação no mundo real:

• Negação de crédito e hipoteca a pessoas negras e periféricas com base em variáveis como CEP, escolaridade ou histórico profissional – perpetuando exclusões econômicas.

• Previsão de reincidência criminal com base em dados preconceituosos, reproduzindo práticas racistas do sistema penal.

• Impossibilidade de acesso a benefícios sociais, educação ou oportunidades de emprego, a partir de decisões automatizadas tomadas sem transparência ou possibilidade de contestação.

• Transformação de dados policiais enviesados em sistemas preditivos que reforçam o policiamento seletivo – algoritmos que não preveem o crime, mas a atuação do aparato policial.

• Rotulagem de indivíduos como “alto risco”, o que desencadeia exclusões cumulativas – menos crédito, menos emprego, mais vigilância –, formando ciclos viciosos autorreforçantes.

• Despersonalização da decisão algorítmica, em que pessoas são tratadas como vetores ou lotes processáveis, sem reconhecimento de suas histórias, contextos e singularidades. 

• Concentração de poder computacional nas mãos de grandes corporações que tomam decisões de impacto público sem responsabilização democrática.


A materialidade do código racista

E importante começar com uma afirmação central: código é material. Não apenas porque roda em hardware físico, mas porque produz efeitos concretos na vida das pessoas. Quando um algoritmo nega uma hipoteca, não se trata de um cálculo abstrato – trata-se de decidir onde uma família poderá viver, que escolas seus filhos frequentarão, que tipo de riqueza geracional poderá ou não ser construída.

A materialidade do código torna urgente examinar os mecanismos específicos através dos quais estruturas de supremacia racial se inscrevem em sistemas computacionais. Não como metáfora ou analogia, mas como processos concretos de reprodução de poder.

As redes neurais profundas – base dos avanços mais recentes em inteligência artificial – funcionam por meio de camadas sucessivas de transformação não linear. Cada camada aprende representações cada vez mais abstratas dos dados de entrada. Esse processo de abstração hierárquica espelha, de maneira perturbadora, como hierarquias raciais se organizam socialmente.

Nas primeiras camadas, características aparentemente neutras são processadas – pixels de uma imagem, palavras de um texto, campos numéricos de um formulário. Mas conforme a informação flui através da rede, elas se combinam de formas complexas. O que começou como CEP, profissão e histórico educacional se transforma, através de milhões de operações matemáticas, em uma pontuação de “risco” ou “adequação”.

O paralelo com a construção social de raça é evidente. Características fenotípicas superficiais (cor de pele, textura de cabelo) são socialmente processadas por camadas sucessivas de significação até resultarem em categorias raciais com profundas consequências materiais. A rede neural não “aprende” sobre raça no sentido biológico – aprende sobre raça como construção social, como padrão de exclusão, como marcador de destino provável.

Em redes neurais modernas, informação não é armazenada em locais específicos, mas distribuída por meio de milhões de conexões. Isso torna impossível apontar onde exatamente o “racismo” está no modelo. Não há um neurônio racista, uma conexão preconceituosa. O viés se espalha por toda a arquitetura e só se revela no comportamento agregado do sistema.

Essa distribuição torna o problema muito difícil de enfrentar. Não é possível simplesmente “remover” o racismo de uma rede neural como se remove uma linha de código. O preconceito está entranhado na própria estrutura de pesos e conexões que define o modelo. Retreinar com dados “limpos” (se tal coisa existisse) significaria criar um modelo fundamentalmente diferente.

A questão da interpolação e extrapolação

O aprendizado de máquina funciona bem em regime de interpolação – ou seja, ao prever casos que se situam dentro da distribuição dos dados usados no treinamento. Mas a vida social, muitas vezes, requer extrapolação: imaginar futuros que rompem com padrões históricos. Essa limitação técnica se converte em limitação política quando aplicada a questões de justiça social.

Um algoritmo treinado em dados históricos de sucesso profissional é incapaz de imaginar formas de excelência que não existiram antes. Ele não pode reconhecer o gênio de alguém cujo percurso não se encaixa em padrões estabelecidos. Tal incapacidade de extrapolação torna os sistemas de aprendizado da máquina inerentemente conservadores – podem apenas reproduzir e refinar o que já existe, sem conseguir imaginar o que poderia existir.

O algoritmo de otimização mais comum em aprendizado profundo (deep learning), o gradient descent, opera por ajustes incrementais na direção que reduz erro. Essa temporalidade – baseada em mudanças graduais e contínuas – é incompatível com transformações sociais radicais, que frequentemente exigem rupturas, saltos, reconfigurações abruptas. 

A justiça racial muitas vezes não exige uma descida gradual, mas saltos descontínuos. Ela demanda não a minimização de erro segundo métricas existentes, mas a redefinição do que entendemos fundamental, do que entendemos por sucesso. O próprio paradigma de otimização contínua é incompatível com projetos de ruptura e reconstrução.

Os sistemas de aprendizado de máquina processam pessoas em batches – grupos analisados simultaneamente para ganho de eficiência computacional. Essa arquitetura técnica materializa uma visão específica de humanidade – pessoas como unidades intercambiáveis a serem processadas em massa.

O processamento em grupos elimina a temporalidade individual, o contexto específico, a narrativa única. Todos no batch são processados pelo mesmo modelo, no mesmo momento, segundo os mesmos parâmetros. É a industrialização definitiva do julgamento humano, transformando decisões sobre vidas em operações matriciais paralelas.

O fetichismo da acurácia

A obsessão com métricas de acurácia em aprendizado de máquina revela um tipo particular de fetichismo: a crença de que predição precisa equivale a justiça. Mas o que significa um algoritmo ser 95% “preciso” em prever reincidência criminal? Significa que ele reproduz com 95% de fidelidade os padrões históricos de policiamento seletivo e encarceramento racial que estruturaram os dados de treinamento. 

Ter alta acurácia em um sistema injusto significa, na prática, tornar a injustiça ainda mais eficiente. É perfeitamente possível – na verdade, é o resultado padrão – ter sistemas altamente precisos que são profundamente discriminatórios. O problema não está no erro dos algoritmos, mas no fato de que eles acertam demais ao replicar opressões sistêmicas.

O racismo opera através de múltiplas temporalidades que se entrelaçam em sistemas de aprendizado da máquina:

Tempo geológico: segregações espaciais sedimentadas ao longo de séculos se cristalizam em variáveis como CEP.

Tempo histórico: exclusões educacionais e profissionais acumuladas aparecem como “gaps de qualificação”.

Tempo biográfico: traumas e violências individuais se codificam em “fatores de risco”.

Tempo real: decisões algorítmicas instantâneas perpetuam e aprofundam todas as temporalidades anteriores.

Essa multiplicidade temporal torna inadequadas soluções que operam em uma única escala de tempo. Não basta corrigir dados recentes se estruturas seculares permanecem codificadas no sistema.

Há um tipo particular de violência que podemos chamar de “despersonalização algorítmica” – o processo pelo qual indivíduos são convertidos em não pessoas por meio de classificação computacional. Quando alguém é rotulado como “alto risco” por múltiplos sistemas, começa a perder acesso a possibilidades de vida até tornar-se efetivamente uma não pessoa do ponto de vista social.

Esse processo é particularmente violento porque é cumulativo e autorreforçante. A negação de crédito leva as pessoas a viverem em áreas de maior vigilância policial. A exposição ampliada ao policiamento aumenta a chance de envolvimento com o sistema criminal. Um registro criminal diminui as oportunidades de conseguir emprego. O desemprego, por sua vez, piora o score de risco de crédito. O ciclo se fecha e se aperta.

As legislações de proteção de dados frequentemente se apoiam em noções de consentimento. Mas o que significa, de fato, consentir com processamento algorítmico quando:

• A alternativa é a exclusão de serviços essenciais?

• A complexidade técnica torna a compreensão impossível?

• Efeitos emergentes são imprevisíveis?

• Dados são combinados de formas não antecipáveis?

Consentir em contextos de assimetria radical de poder e conhecimento não é consentir – é capitular. A própria ideia de escolha individual é inadequada diante de sistemas que operam em escala populacional.

Quando tentamos fazer sistemas “justos”, imediatamente confrontamos o problema de otimização multiobjetivo. Maximizar acurácia, equidade entre grupos, privacidade individual, utilidade social – tais objetivos frequentemente conflitam. Soluções técnicas propõem várias formas de “balanceamento”, mas isso apenas desloca o problema.

Quem decide os pesos relativos de cada objetivo? Segundo quais valores? Com que autoridade? O problema político não desaparece quando é traduzido em linguagem técnica – apenas se desloca. Ele se esconde nos hiperparâmetros, nas funções de custo, nas decisões de arquitetura.

Não se trata de tornar predições mais acuradas, mas de recusar que algoritmos decidam sobre liberdade, dignidade e oportunidade. A justiça que buscamos não cabe em função objetivo. A libertação que imaginamos não é otimizável

Quando sistemas de aprendizado de máquina tomam decisões sobre vidas, exercem uma forma de soberania – o poder de determinar destinos. Mas é uma soberania sem sujeito, sem responsabilidade (accountability), sem possibilidade de contestação. É o que podemos chamar de soberania algorítmica – poder supremo exercido através de cálculo probabilístico.

Essa soberania é particularmente perigosa porque se apresenta como técnica, não política. Decisões soberanas tradicionais (decretar guerra, conceder perdão) são reconhecidas como políticas. Decisões algorítmicas (negar liberdade condicional, bloquear benefício social) se disfarçam de determinações técnicas neutras.

As infraestruturas da discriminação

O epistemicídio computacional não existe em vácuo – depende de vastas infraestruturas técnicas e sociais: fazendas de servidores que consomem mais energia do que países inteiros; cabos submarinos que carregam dados através de rotas coloniais; trabalho precarizado de anotadores de dados no Sul Global; regimes de propriedade intelectual que privatizam conhecimento; sistemas educacionais que produzem “talentos” específicos.

Enfrentar a discriminação algorítmica requer muito mais que ajustar modelos. Exige confrontar essas infraestruturas.

Se levarmos a sério a crítica desenvolvida até aqui, reformas incrementais são insuficientes. Precisamos imaginar não apenas algoritmos “melhores”, mas futuros em que certas decisões não sejam delegadas a sistemas com algoritmos. Isso requer desenvolver o que podemos chamar de imaginação abolicionista algorítmica. Inspirando-se na imaginação abolicionista de autoras como Ruha Benjamin e Kim TallBear, é possível conceber futuros tecnológicos que não dependam da lógica da predição, mas da escuta e da relacionalidade.

Abolir algoritmos, nesse contexto, não é rejeitar a computação em si, mas recusar: predição probabilística de futuros humanos baseada em passados opressivos; automatização de decisões sobre liberdade, dignidade e oportunidade; concentração de poder computacional em poucas mãos; tratamento de pessoas como processamento em batch; fetichização de eficiência sobre justiça.

A crítica é necessária, mas sozinha não basta. Precisamos também imaginar e construir alternativas. Não se trata apenas de promover uma “IA ética” que mantém estruturas fundamentais intactas. Trata-se de criar formas radicalmente diferentes de organizar tanto a computação como a vida em sociedade:

Computação comunitária: sistemas controlados por – e responsáveis perante – comunidades afetadas.

Algoritmos de abundância: em vez de prever escassez, algoritmos que assumem e criam abundância.

Temporalidades transformadoras: sistemas que facilitem ruptura, não reprodução.

Soberania de dados: comunidades controlando dados sobre si mesmas.

Recusa estratégica: o direito de não ser computado, predito, otimizado.

A política do possível

Terminar com esperança não é ingenuidade – é um gesto político. O poder do colonialismo de dados está, em parte, em sua aparente inviabilidade técnica. Demonstrar sua contingência histórica, sua construção política, sua mutabilidade fundamental é o primeiro passo para a transformação. 

Jovens de periferias globais hackeando sistemas, pesquisadoras desenvolvendo frameworks críticos, comunidades recusando vigilância, trabalhadores organizando resistência – tudo isso são sementes de futuros possíveis. Não há futuros nos quais algoritmos sejam “justos”, mas em que justiça não seja reduzida a problema de cálculo. A escrita de autoras como Cidinha da Silva nos lembra que também é possível hackear com palavras. Ao torcer a linguagem, ela desprograma sentidos fixos, desautoriza a neutralidade e reinscreve a subjetividade negra em mundos algoritmicamente silenciados.

Ao longo do texto, vimos que o epistemicídio computacional não é um defeito corrigível, mas característica fundamental de sistemas de aprendizado de máquina aplicados em sociedades estruturalmente desiguais. A interseção entre justiça algorítmica e otimização estatística escancara limites que não são apenas técnicos ou matemáticos – são, em essência, contradições políticas.

O aprendizado da máquina, tal como é constituído hoje, é máquina de reprodução de padrões históricos. Em sociedades atravessadas por séculos de supremacia racial, isso equivale à reprodução sistemática de racismo. Ajustes técnicos, métricas de fairness, diversidade em datasets – essas reformas não enfrentam o problema na raiz. A questão não é como fazer algoritmos mais justos, mas como criar formas de organização social em que a justiça não dependa de cálculo probabilístico. Não se trata de melhorar a precisão das predições, mas de imaginar futuros que não sejam determinados por passados opressivos. Não é sobre otimizar o que existe, mas sobre lutar por mundos radicalmente diferentes.

Tal é o desafio que enfrentamos: não apenas criticar o que está posto, mas ousar imaginar e construir alternativas. Em um momento em que futuros algorítmicos parecem inevitáveis, insistir na possibilidade de outros futuros é ato de resistência fundamental. A luta contra o epistemicídio computacional é, no fundo, uma luta pelo próprio futuro – por futuros plurais, abertos, não computáveis por máquinas treinadas em histórias de dominação.

A justiça que buscamos não cabe em função objetivo. A libertação que imaginamos não se otimiza com gradient descent. São projetos que exigem não apenas crítica técnica, mas imaginação política radical e luta coletiva transformadora.

Leia também: Como parcerias podem ajudar ONGs a trabalhar com IA

Autor(a)

Nina da Hora

Nina da Hora é formada em ciências da computação pela Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio). Diretora-executiva do Instituto da Hora, é mestranda no Programa de pós-graduação em inteligência artificial e também no departamento de política científica e tecnológica (DPCT), ambos na Universidade Estadual de Campinas (Unicamp). É autora do livro My News explica! Algoritmos.

Relacionados

O direito à realidade

A própria humanidade precisa ser o centro da transformação digital que vivemos. Ressignificar os territórios, unir arte, cultura e educação e promover o pensamento crítico, adaptativo, criativo e analítico: essas serão as saídas para transformar a IA numa janela de oportunidade para os novos tempos

Últimas