Acessibilidade / Reportar erro

Necropolítica algorítmica1 1 Traducido del portugués de Silva, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc, 2022. Capítulo 4 (n/p). Los organizadores de este dossier agradecen al autor y al editor por su generosa autorización para publicar esta versión.

Necropolítica algorítmica

Resumen

Este capítulo del libro Racismo algorítmico: inteligência artificial e discriminação nas redes digitais (Racismo algorítmico: inteligencia artificial y discriminación en redes digitales), publicado por el autor en 2022, demuestra el racismo codificado en la inteligencia artificial. Aborda la violencia material y simbólica, a menudo letal, infligida a personas y poblaciones negras y pobres mediante el despliegue de sistemas predictivos construidos y retroalimentados a partir de conjuntos de datos que reflejan una historia de explotación y segregación. Comienza con un panorama histórico de la normalización de la hipervigilancia y el control violento sobre poblaciones racializadas en Estados Unidos y Brasil. Luego muestra la continuidad de ese control por parte de los sistemas de clasificación algorítmicos contemporáneos, como el reconocimiento facial, la vigilancia predictiva y las puntuaciones de riesgo en seguridad y salud. Alineados con las narrativas oficiales de armonía racial y la justificación meritocrática de la política daltónica, sus desarrolladores, las empresas privadas e instituciones públicas que los emplean los consideran neutrales e ignoran insidiosamente sus prejuicios.

Palabras clave:
necropolítica; raza y tecnología; vigilancia; reconocimiento facial; inteligencia artificial

Resumo

Este capítulo do livro Racismo algorítmico: inteligência artificial e discriminação nas redes digitalis, publicado pelo autor em 2022, demonstra o racismo codificado na inteligência artificial. Aborda a violência material e simbólica, muitas vezes letal, infligida a indivíduos e populações negras e pobres, através da implementação de sistemas preditivos baseados e realimentados a partir de conjuntos de dados que refletem uma história de exploração e segregação. Começa com um panorama histórico da normalização da hipervigilância e do controle violento sobre populações racializadas nos Estados Unidos e no Brasil. Em seguida, mostra a continuidade desse controle por sistemas contemporâneos de classificação algorítmica, como o reconhecimento facial, a vigilância preditiva e as escalas de risco em segurança e saúde. Alinhados com narrativas oficiais de harmonia racial e com a justificativa meritocrática da política daltônica, seus desenvolvedores, as empresas privadas e as instituições públicas que os empregam, consideram-nos neutros e ignoram insidiosamente os seus preconceitos.

Palavras-chave:
necropolítica; raça e tecnologia; vigilância; reconhecimento facial; inteligência artificial

Abstract

This chapter of the author’s 2022 book Racismo algorítmico: inteligência artificial e discriminação nas redes digitais (Algorithmic racism: artificial intelligence and discrimination in digital networks) demonstrates the racism encoded in artificial intelligence. It addresses the material and symbolic, often lethal, violence inflicted upon Black and poor individuals and populations by the deployment of predictive systems built and backfed from datasets that reflect a history of exploitation and segregation. It begins with a historical overview of the normalisation of hypervigilance and violent control over racialized populations in the United States and in Brazil. It then shows the continuity of that control by contemporary algorithmic classification systems such as facial recognition, predictive policing, and health and security risk scores. Aligned with official narratives of racial harmony and the meritocratic justification of colour-blind policy, they are deemed neutral by their developers, private enterprises and the public institutions that employ them, who insidiously ignore their bias.

Keywords:
necropolitics; race and technology; surveillance; facial recognition; artificial intelligence

“¿Mamá, no vieron que estaba con la ropa del colegio?” La frase fue una de las últimas que dijo Marco Vinícius, de 14 años, residente en el Complexo da Maré, en Río de Janeiro. Baleado por agentes de policía durante una operación, Marcus murió en los brazos de su madre, que también evocó la escuela para defender a su hijo de las acusaciones de criminalidad que, sabía, vendrían a continuación: “Los bandidos no llevan mochilas”, dijo Bruna da Silva, mientras mostraba a los periodistas la mochila y los cuadernos de su hijo (v. Barbon, 2018BARBON, Júlia. 2018. “‘Bandido não carrega mochila’, diz mãe de aluno de 14 anos morto no Rio”. Folha de S. Paulo. 21 de junio de 2018.).

Toda la complejidad simbólica de las personas negras fue negada sumariamente en el caso citado -y lo es en cientos de otros anualmente- por las herramientas ideológicas del genocidio negro (Flausina, 2014FLAUZINA, Ana Pinheiro. 2014. “As fronteiras raciais do genocídio”. Direito.UnB. Vol. 1, nº. 1, p. 119-146.). No podemos entender los meandros de la necropolítica y el genocidio negro en Brasil sin tener en cuenta con toda franqueza el abismo de comprensión de la realidad social y política promovido por la cultura hegemónica que, con el impulso de la supremacía blanca, cuenta una única historia.

A finales del siglo XIX, el sociólogo W. E. B. Du Bois propuso el concepto de “líneas de color”, basándose en Frederick Douglass. Dicho concepto se elaboró para entender los Estados Unidos, pero puede extrapolarse fácilmente a gran parte de la realidad afrodiaspórica del continente. La permanente y relativa opacidad pública de la opresión física, política y económica en el período posterior a la abolición se tornó posible, en un país dividido en contrastes, gracias al control del conocimiento formal, de las representaciones oficiales y de los programas escolares a manos de la blanquitud. Sin embargo, la peculiar situación de las poblaciones afrodiaspóricas les permitiría desarrollar, en ocasiones, una doble conciencia.

Un mundo que no le permite producir una verdadera conciencia de sí mismos, que sólo les asegura descubrirse a través de la revelación del otro. Es una sensación peculiar, esta doble conciencia. Esta sensación de mirarse siempre a través de los ojos de los demás, de medir un sentimiento a través de las medidas de un mundo que lo contempla con desprecio y lástima (Du Bois, 2018DU BOIS, W. E. B. 2018. The Souls of Black Folk. Oxford: Oxford University Press., p. 8).

En países como Brasil, la creencia en la existencia de la igualdad y el Estado de derecho, por parte de los individuos negros y las minorías políticas sólo es posible gracias al control de las interpretaciones y representaciones de la realidad social. Diferentes marcos clasificatorios sobre los cuerpos “matables” actúan de forma aparentemente paradójica. Al mismo tiempo que la ideología de instituciones como la policía militar condicionan a sus miembros a deshumanizar a los negros, el poder hegemónico borra datos, informaciones y, principalmente, la posibilidad de reflexionar crítica y propositivamente sobre la desigualdad abismal que existe en el país.

A la mayoría se le niega el derecho a la defensa propia física, intelectual y política. Creer que el uniforme escolar sería un marcador de inocencia y respeto por las normas sociales no le permitió a Marco Vinícius comprender que, el ser un joven negro habitante de una favela, desde el vamos, en un objetivo de la policía, por la heurística de raza y de la espacialización. En palabras de Beatriz Nascimento, se trata de la existencia de una sociedad doble o triple en términos de derechos, de respeto por la humanidad y por el marco de la representación social hegemónica. Esta disonancia llevaría a los negros brasileños a una mayor carga de esfuerzo social: en “una sociedad blanca, en la que su comportamiento tiene que ser normalizado según los dictados de los blancos, usted, como negro, queda alunado, vive otra vida, flota sin una base en la que apoyarse, sin una referencia y sin un parámetro” (Nascimento, 2018NASCIMENTO, Beatriz. 2018. Beatriz Nascimento, quilombola e intelectual: possibilidades nos dias de destruição. São Paulo: Filhos da África., p. 249).

Las clasificaciones sociales se utilizan como un ejercicio de poder y un registro -o una negación o falsificación del registro- del impacto de las relaciones raciales. En una sociedad marcada por la imbricación del racismo en las tecnologías, el procesamiento de decisiones automatizadas sobre individuos y grupos a través del aprendizaje automático intensifica las tendencias de borramiento y opacidad de las desigualdades.

La génesis colonial de la necropolítica y la imaginación carcelaria

Para tratar las tecnologías de ordenación y clasificación de los individuos mediante lógicas racializantes, es necesario recuperar la historia de los procesos de normalización de la hipervigilancia y el control violento de ciertos grupos.

El proyecto colonial, especialmente a partir del siglo XVIII, transformó el rostro del mundo y de la humanidad, además de promover la deshumanización. Este proyecto, tal y como había sido llamada la “conquista” de regiones como América, comenzó con el genocidio de los pueblos originarios y llegó a la producción de tecnologías materiales y a la gestión de grandes poblaciones en favor de proyectos eurocéntricos. Durante este período, las prácticas de exterminio, expropiación, dominación, explotación, genocidio, tortura y violencia sexual se naturalizaron en una especie de jerarquía global en la que tales horrores (Maldonado-Torres, 2018MALDONADO-TORRES, Nelson. 2018. “Analítica da colonialidade e da decolonialidade - algumas dimensões básicas”. In: BERNARDINO-COSTA, Joaze; MALDONADO-TORRES, Nelson; GROSFOGUEL, Ramón (orgs.). Decolonialidade e pensamento afrodiaspórico. Belo Horizonte: Autêntica.) se estratificaron espacialmente.

Sin embargo, el “orden de las cosas en el mundo moderno/colonial es tal que las cuestiones sobre colonización y descolonización no pueden aparecer, salvo como una mera curiosidad histórica” (Maldonado-Torres, 2018MALDONADO-TORRES, Nelson. 2018. “Analítica da colonialidade e da decolonialidade - algumas dimensões básicas”. In: BERNARDINO-COSTA, Joaze; MALDONADO-TORRES, Nelson; GROSFOGUEL, Ramón (orgs.). Decolonialidade e pensamento afrodiaspórico. Belo Horizonte: Autêntica., p. 33), basándose en negaciones que reproducen la invisibilización del papel desempeñado por el proyecto colonial y por el supremacismo blanco en instituciones y constructos tales como la prisión, la ciudad y las leyes, además del aparato policial y sus prácticas. La vigilancia y la clasificación social jerárquicamente racializadas constituyen el núcleo de la asignación diferencial de la humanidad que permite el mantenimiento global del capitalismo (Almeida, 2018ALMEIDA, Silvio. 2018. Racismo estrutural. Belo Horizonte: Letramento., p. 56). El horror al otro y a la alteridad, sustentado por las ficciones de las “razas” fuera del patrón hegemónico eurocéntrico, posibilitó el desarrollo de tecnologías de disciplina, control y castigo perfeccionadas en las invasiones y extracciones coloniales.

En su revolucionaria obra Dark Matters: On the Surveillance of Blackness (Materia oscura: sobre la vigilancia de la negritud, en traducción libre)2 2 N.T.: el título “Dark Matters” puede ser leído también como “lo oscuro tiene importancia”. , Simone Browne devela la génesis de la vigilancia contemporánea, en particular de los siglos de esclavitud colonial en las Américas. Recordando el trabajo pionero de Frantz Fanon sobre el tema, Browne nos recuerda que el martiniqués propuso caracterizar la modernidad como el proceso de “clasificación” del hombre. Serían los “registros, expedientes, hojas de trabajo y documentos de identidad que, en conjunto, forman una biografía, y a veces una biografía no autorizada, del sujeto moderno” (Browne, 2015BROWNE, Simone. 2015. Dark Matters: On the Surveillance of Blackness. Londres: Duke University Press., p. 16), que se reflejan en las representaciones datificadas de los sujetos en las bases de datos contemporáneas.

Antes de la sistematización de la clasificación social mediante mecanismos estatales, el proyecto colonial-esclavista se enfrentó al reto de gestionar los horrores de la inmigración forzada de millones de africanos esclavizados. Lo hizo por medio de las tecnologías de transformación de lo humano en mercancía, de la deshumanización de los africanos sobre la base de la ideología cristiana y del racismo científico y de tácticas de control para evitar la huida y la insurrección.

Browne (2014BROWNE, Simone. 2015. Dark Matters: On the Surveillance of Blackness. Londres: Duke University Press., p. 44) sostiene que “la historia de la marca de hierro en la esclavitud transatlántica anticipa los proyectos de ‘clasificación social’ [...] en las prácticas contemporáneas de vigilancia” tales como pasaportes, documentos de identificación y bases de datos de crédito. Compartida a diferentes escalas por esclavistas ingleses, holandeses, españoles y portugueses, la práctica de la marca se adoptó a gran escala, y no sólo como instrumento de tortura y sometimiento de los esclavizados: también se utilizó para la gestión comercial e internacional de los cuerpos (algunas marcas distinguían, antes de la marca del esclavizador individual, qué nación imperial había secuestrado a los esclavizados) y la clasificación de los individuos aptos para la explotación. El marcado también se utilizó para imponer un carácter adicional de marginación, como en el caso del marcado de las letras como F de “fugitivo” (Oliveira Filho, 2009OLIVEIRA FILHO, Roque F. de. 2009. Crimes e perdões na ordem jurídica colonial: Bahia (1750/1808). Tese de doutorado, Universidade Federal da Bahia.), en Brasil.

Los proyectos coloniales basados en la fuerza de trabajo de las personas esclavizadas fueron similares en cuanto a la adaptación de tecnologías para el control y la criminalización de las poblaciones. El uso obligatorio de faroles por parte de los esclavos que necesitaban desplazarse por la ciudad sin levantar más sospechas ha sido registrado por historiadores estadounidenses y brasileños (Silva, 2008SILVA, Wellington Barbosa da. 2008. “Burlando a vigilância: repressão policial e resistência negra no Recife no século XIX (1830-1850)”. Revista África e Africanidades. Ano 1, nº. 1, 2008, p. 1-18.). Esta práctica era utilizada por esclavistas analfabetos, que no podían escribir la necesaria nota, con el nombre de la persona esclavizada, del “propietario” y la tarea en cuestión, para autorizar la circulación de sus esclavos por la ciudad después del toque de queda.

En la historia reciente, las manifestaciones de diferenciación racial persisten en la relación entre el individuo y los documentos de identificación en el contexto de la hipervigilancia en la vida cotidiana. Tal es el valor de portar una libreta de trabajo completa para no ser encuadrado en las leyes que desde el período imperial hasta el presente criminalizaron la “vagancia”, especialmente durante la dictadura (Pires, 2015PIRES, Thula Rafaela de Oliveira. 2015. Colorindo memórias e redefinindo olhares: ditadura militar e racismo no Rio de Janeiro. Relatório da Comissão da Verdade do Rio. Rio de Janeiro: Comissão Nacional da Verdade.); o de portar recibos de compra ante la sospecha generalizada a la que están sujetos los negros y los pobres al entrar a un comercio (Menezes, 2009MENEZES, Elisa Matos. 2009. O inimputável: crimes do Estado contra a juventude criminalizada. Monografia de graduação em Antropologia: Universidade de Brasília, 2009.).

La modernización del racismo científico-colonial en los campos de la frenología y la criminología dió continuidad a la praxis de perseguir a las personas negras y esclavizadas a través del ejercicio biométrico. Browne también llamó la atención sobre el papel de los anuncios de los periódicos en la persecución de personas esclavizadas en resistencia y en fuga. Se trata de un modo de consumo del sujeto negro por parte de un público presuntamente blanco, que comprende a los lectores de estos anuncios como una “comunidad imaginada de vigilancia: los ojos y los oídos del acecho, la observación y la regulación cara a cara” (Browne, 2015BROWNE, Simone. 2015. Dark Matters: On the Surveillance of Blackness. Londres: Duke University Press., p. 72). La táctica era común en varios lugares del mundo esclavista, donde el hombre negro, violado en sus derechos humanos, llegó a ser construido ideológicamente también en los periódicos como “contrario al trabajo y a la libertad, siendo necesaria una vigilancia constante” (Abreu, 2012ABREU, Tenner Inauhiny de. 2012. “Nascidos no grêmio da sociedade”: racialização e mestiçagem entre os trabalhadores na Província do Amazonas (1850-1889). Dissertação de mestrado, Universidade Federal do Amazonas., p. 95).

Las autoridades brasileñas, a través de su “recurso a la edición de códigos de posturas, intentaron a toda costa (y casi siempre sin el éxito esperado) controlar los pasos de la población africana y afrodescendiente” (Silva, 2008SILVA, Wellington Barbosa da. 2008. “Burlando a vigilância: repressão policial e resistência negra no Recife no século XIX (1830-1850)”. Revista África e Africanidades. Ano 1, nº. 1, 2008, p. 1-18., p. 2). Crearon instrumentos legales e infraestructura policial para promover la estratificación de la sociedad, definiendo qué grupos debían ser puestos bajo sospecha permanente y constantemente vigilados. Los medios de comunicación de masas de entonces se convirtieron en herramientas no sólo para apoyar la vigilancia, sino también para promover y normalizar la vigilancia distribuida llevada a cabo por los grupos hegemónicos, en consonancia con el Estado racista.

A finales del siglo XIX, en São Paulo, aunque el número de cautivos fuera siempre limitado, esto no dejó de justificar la adopción de estrictas medidas de control y vigilancia (Machado, 2004MACHADO, Maria Helena P. T. 2004. “Sendo cativo nas ruas: a escravidão urbana na cidade de São Paulo”, in: PORTA, Paula (org.). História da cidade de São Paulo. São Paulo: Paz e Terra., p. 85). Estas fueron intensificadas cuando la ciudad se convirtió en ruta y destino de flujos de esclavos fugitivos.

Entre el aparato policial militar de Brasil, que ya se desplegaba a principios del siglo XIX, y las “élites” esclavistas corruptas, se desarrolló una relación de mutua dependencia. El control y el genocidio de las poblaciones subalternas fue inculcando en las ideologías y prácticas policiales, especialmente frente a la amenaza de los movimientos abolicionistas.

Entre los innumerables casos registrados de naturalización del uso de la fuerza policial por parte de las clases medias blancas en defensa de los privilegios habituales, cabe mencionar la persecución de Joaquim Mina, un liberto, en Itu en 1856. Sanador y consejero de otros negros esclavizados, Joaquim fue perseguido por un grupo de ciudadanos esclavistas de la ciudad. Fue denunciado a la policía por supuestas prácticas de “brujería” y difusión de ideas de insubordinación que influirían a los esclavizados de la región. Entre los denunciantes se encontraba el médico Ricardo Gumbleton Daunt, que se presentó como el más airado, ya que alegó una especial ofensa a su profesión -algunos esclavistas preferían tratar la salud de sus víctimas con el curandero en lugar de buscar al médico diplomado y autorizado por el propio Emperador Pedro II.

El médico, esto ya a mediados del siglo XIX, no aceptaba la competencia de alguien que no consideraba humano, incluso porque él mismo era también un esclavista. ¿Cómo podía aceptar que “un negro revoltoso y vicioso echara a perder el único esclavo que había conseguido comprar en todo este tiempo?” (Lima, 2009LIMA, Adriano B. M., 2009. “Feitiço pega sempre: alforrias e curandeirismo no oeste paulista (século XIX)”. Anais do 4º Encontro Escravidão e Liberdade no Brasil Meridional. Curitiba, Universidade Federal do Paraná., s/p).

La permanencia e intensificación de la violencia racista en países como Brasil y Estados Unidos, incluso entre los blancos de clase económica más baja, implican, de manera estratificada, privilegios de la blanquitud en la distribución de diversos recursos. De todos modos, también es importante señalar dos aspectos que son esenciales para la gestión de la afiliación de la clase baja con aspectos del supremacismo blanco en términos económicos y políticos: la proyección individualista y neoliberal de la posibilidad de ascenso social en función del reflejo cultural hegemónico de la equivalencia entre blancura y éxito; y la introyección del conocimiento -a veces tácito, a veces explícito- de cuáles grupos son “matables” y susceptibles de exclusión.

W. E. B. Du Bois llamó “salario psicológico” a la forma en que algunas garantías de respeto a la humanidad y de acceso a los recursos públicos, por mínimas que fueran, motivaron al proletariado blanco estadounidense a priorizar el privilegio racial en detrimento del interés de clase, lo que habría impedido la asociación de amplias capas de la población contra la explotación por parte de los verdaderos dueños del poder y del capital (Nopper, 2016NOPPER, Tamara K. 2016. “Strangers to the Economy: Black Work and the Wages of Non-Blackness”. In: SAUCIER, P. Khalil; WOODS, Tryon P (eds.). Conceptual Aphasia in Black: Displacing Racial Formation. Lanham: Lexington Books.). Del mismo modo, en la década de 1960 Abdias Nascimento llamó la atención sobre la percepción racializada del poder coercitivo en manos de las clases dominantes, manipulado como “un instrumento capaz de conceder o negar al afrodescendiente el acceso y la movilidad a posiciones sociopolíticas y económicas” (Nascimento, 1978, p. xiii).

La evolución de los medios y las tecnologías de comunicación e información fue dirigida a través de ideologías afiliadas al supremacismo blanco, lo que da lugar a la incorporación de un “imaginario carcelario” en la cultura y los artefactos. El concepto de Ruha Benjamin (2020BENJAMIN, Ruha. 2020. “Retomando nosso fôlego: estudos de ciência e tecnologia, teoria racial crítica e a imaginação carcerária”. In: SILVA, Tarcízio. (Org). Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. São Paulo: LiteraRUA.) ofrece una lente a través de la cual entender este asunto.

Las visiones del desarrollo y el progreso se construyen a menudo sobre formas de subyugación social y política que requieren una actualización en forma de nuevas técnicas de clasificación y control. Cuando los investigadores se proponen estudiar los valores, las suposiciones y los deseos que dan forma a la ciencia y la tecnología, también debemos permanecer atentos a las ansiedades y los temores raciales que dan forma al diseño de la tecnociencia (Benjamin, 2020BENJAMIN, Ruha. 2020. “Retomando nosso fôlego: estudos de ciência e tecnologia, teoria racial crítica e a imaginação carcerária”. In: SILVA, Tarcízio. (Org). Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos. São Paulo: LiteraRUA., p. 19).

Entender las tecnologías algorítmicas carcelarias, como la distribución del reconocimiento facial, implica comprender que el “imaginario carcelario” imperante en los países moldeados por el colonialismo y el supremacismo blanco requiere entender “quién y qué está fijado en el mismo lugar -clasificado, acorralado y/o coaccionado-” (Ibidem, p. 20) y cómo se crean tecnologías e instituciones para el mantenimiento y la promoción de las jerarquías sociales de explotación.

Dicha dinámica, central en el racismo estructural en vista de la construcción y actualización constante del negro como representación del peligro y la alteridad, marida plenamente con la cultura del encarcelamiento como solución para los desviados en el país (Borges, 2019BORGES, Juliana. 2019. Encarceramento em massa. São Paulo: Pólen.). Si estamos de acuerdo con Achille Mbembe cuando afirma que “el racismo es ante todo una tecnología destinada a permitir el ejercicio del biopoder” y su función es “regular la distribución de la muerte y hacer posible las funciones asesinas del Estado” (Mbembe, 2018MBEMBE, Achille. 2018. Necropolítica. São Paulo: N-1 Edições., p. 18), el establecimiento de estructuras de casta racial más o menos difusas en países como Brasil y Estados Unidos (Alexander, 2018ALEXANDER, Michelle. 2012. A nova segregação: racismo e encarceramento em massa. São Paulo: Boitempo.) promovió la introyección diferencial de la relación con la policía y el encarcelamiento entre los distintos grupos que componentes dichos países.

Reconocimiento facial y tecnochauvinismo

En noviembre de 2019, la madre de un adolescente confundido con un narcotraficante fue entrevistada en un reportaje de la TV Itapoan, de Bahía. A partir de la identificación errónea en las imágenes de las cámaras de seguridad, fue abordado dentro del metro de Salvador y llevado a la comisaría. Según la mujer, que no ha sido identificada por su propia seguridad, el hijo llegó a casa conmocionado por la violencia policial y necesitó muchos minutos para calmarse y contar lo que había sucedido. Después, tenía “miedo de ir a la escuela, miedo de tomar el autobús, miedo de tomar el metro y su estado emocional se vio afectado” (v. Silva, 2019SILVA, Tarcízio. 2019. “Reconhecimento facial na Bahia: mais erros policiais contra negros e pobres”. Tarcízio Silva, (s/l). 21 de noviembre de 2019. Disponible en: https://tarciziosilva.com.br/blog/reconhecimento-facial-na-bahia-mais-erros-policiaiscontra-negros-e-pobres/. [Acceso Oct. 2021]
https://tarciziosilva.com.br/blog/reconh...
).

En enero de 2020, Robert Williams, de 42 años, fue abordado por agentes de policía en su casa, delante de su mujer y sus hijas de 2 y 5 años, acusado de robar en una relojería en Detroit, Estados Unidos. Los agentes dieron con su nombre y dirección, en una ciudad cercana, al contrastar una imagen de las cámaras de seguridad con la base de datos de reconocimiento facial del destacamento. Su mujer preguntó al agente adónde lo llevaban y recibió la dura respuesta de “búsquelo en Google”. En la comisaría, Williams tuvo que mostrar repetidamente a los policías cómo la foto del hombre en las imágenes de la cámara de seguridad no se parecía en nada a él ni a su foto en la base de datos. A pesar de ello, los agentes se mostraron reacios a cuestionar la autoridad del sistema informático. Después de permanecer encarcelado injustamente durante 30 horas, Williams aún tuvo que pagar fianza para salir en libertad y todavía enfrenta secuelas familiares, personales y psicológicas de lo sucedido (Hill, 2020HILL, Kashmir. 2020. “Wrongfully Accused by an Algorithm”. NY Times. 24 de junio de 2020. Disponible en: https://www.nytimes.com/2020/06/24/technology/facial-recognition-arrest.html. [Acceso Oct. 2021]
https://www.nytimes.com/2020/06/24/techn...
).

Ambos casos pueden sorprender, pero son cada vez más frecuentes, aunque no se denuncien. El reconocimiento facial con fines policiales existe desde hace más de veinte años, pero una combinación de abaratamiento de la tecnología, aumento de las bases de datos biométricas, indulgencia legislativa y presión de las empresas ha acelerado su adopción en los últimos tiempos. Hay otros casos de falsos positivos igual o más impactantes, pero estos dos tocan puntos esenciales para entender el problema del reconocimiento facial: su relación con la infraestructura de transporte público y el derecho a la ciudad; y la normalización de las decisiones computarizadas como modo de escapar de la individualización de la responsabilidad humana.

Al igual que ocurrió con el suministro de datos personales a las plataformas de las redes sociales, la normalización de la recopilación y el procesamiento de datos biométricos en el espacio urbano comienza con la extracción de beneficios aparentemente positivos o inofensivos. En la ciudad de São Paulo, por ejemplo, la primera línea de metro concesionada en 2018 al sector privado -ViaQuatro del grupo CCR- buscó enmarcar como una innovación positiva la instalación de carteles digitales de publicidad que contabilizaban a las personas que miraban las pantallas y supuestamente reconocían expresiones faciales. Por pedido de un organismo de defensa del consumidor, los tribunales de São Paulo ordenaron inicialmente retirar la tecnología (G1 São Paulo, 2018G1 SÃO PAULO. 2018. “Justiça de SP proíbe uso de câmeras de reconhecimento facial em painel do Metrô”.Disponible en: https://g1.globo.com/sp/saopaulo/noticia/2018/09/14/justica-de-sp-proibe-uso-de-cameras-de-reconhecimentofacial-em-painel-do-metro-de-sp.ghtml. [Acceso Oct. 2021]
https://g1.globo.com/sp/saopaulo/noticia...
).

La normalización pública de la tecnología en el país y en el estado ha avanzado a pasos agigantados desde que comenzó a ser usada en las redes de transporte. Un estudio exploratorio de los sistemas de reconocimiento facial adoptados por las autoridades públicas mostró que, del creciente número de casos denunciados, el 44% se encuentra en equipos e infraestructuras de transporte público3 3 Véase el infográfico producido por el Instituto Igarapé: https://igarape.org.br/infografico-reconhecimento-facial-no-brasil/. Acceso en octubre 2021. .

A principios de 2020, el gobierno de São Paulo inauguró el “Laboratorio de Identificación Biométrica - Facial y Digital” para establecer avances en la gestión de datos biométricos digitales y la promoción del uso y la estandarización del reconocimiento facial (São Paulo, 2020SÃO PAULO. 2020. “Governo inaugura laboratório de reconhecimento facial e digital da Polícia Civil”. Disponible en: https://www.saopaulo.sp.gov.br/spnoticias/governo-inaugura-laboratorio-dereconhecimento-facial-e-digital-da-policia-civil/. [Acceso Oct. 2021]
https://www.saopaulo.sp.gov.br/spnoticia...
). En la ocasión, el gobernador João Dória celebró de modo tecnicista la inauguración del laboratorio, que “localiza al bandido antes de que cometa el delito” (sic) mediante el uso de más de 30 millones de fotografías de los ciudadanos en la base de datos. Cerrando su discurso, felicitó al delegado general de la Policía Civil, “que nunca ha detenido tanto como en estos 13 meses” (São Paulo, 2020SÃO PAULO. 2020. “Discurso de João Doria na inauguração do Laboratório de Identificação Biométrica em 28 de janeiro”. Disponible en: https://soundcloud.com/governosp/discurso-de-joao-504599548. [Acceso Oct. 2021]
https://soundcloud.com/governosp/discurs...
). El laboratorio forma parte del Instituto de Identificación Ricardo Gumbleton Daunt, que recibe el nombre del innovador criminólogo y dactilógrafo quien, a su vez, llevaba el nombre de su abuelo, el médico esclavista mencionado en el apartado anterior.

El lobby de las empresas tecnológicas de inteligencia artificial y represión pública ha aprovechado la ola de proyectos políticos de extrema derecha en todo el mundo, desde Trump hasta Bolsonaro. Elegido por apoyar las ideas violentas y segregacionistas de Bolsonaro, el entonces candidato a gobernador de Río de Janeiro, Wilson Witzel, tenía como una de sus propuestas centrales el fortalecimiento de la seguridad pública con sistemas de vigilancia y reconocimiento facial. Adoptados con bombos y platillos durante el Carnaval de 2019, con el apoyo de las empresas colaboradoras del gobierno, los sistemas fueron desactivados al año siguiente por supuestos impactos de la pandemia (Heringer, 2020HERINGER, Carolina. 2019. “Uma das principais promessas de campanha de Witzel, câmeras de reconhecimento facial não funcionam mais desde o fim de 2019”. O Globo, Rio de Janeiro, 20 de julio de 2020.). Witzel sería destituido por el Tribunal Superior de Justicia en agosto de 2020 por corrupción y, en mayo de 2021, perdería el cargo, siendo el primer gobernador que sufre un juicio político en el país después de la dictadura de 1964-85.

El clima especialmente reaccionario abre un espacio para que las empresas tecnológicas promuevan sus productos junto a proyectos políticos represivos. La convergencia del miedo al espacio público con la creencia de que más policía y más dispositivos tecnológicos -ambos atravesados por el racismo- serían la solución, promueven lo que Meredith Broussard llamó tecnochauvinismo.

El tecnochauvinismo es la creencia de que la tecnología es siempre la solución. [...] [S]uele ir acompañado de creencias estrechamente relacionadas, como la meritocracia, en la línea de Ayn Rand; los valores políticos tecno-libertarios; la celebración de la libertad de expresión, hasta el punto de negar que el ciberacoso sea un problema; la idea de que las computadoras son más “objetivas” o “imparciales” porque destilan las preguntas y las respuestas a través de la evaluación matemática. (Broussard, 2018BROUSSARD, Meredith. 2018. Artificial (Un)intelligence: How Computers Misunderstand the World. Cambridge. MA: The MIT Press., p. 7-8).

El policía que confía más en el sistema algorítmico que en sus propios ojos al encontrarse cara a cara con un sospechoso que ha sido víctima de un falso positivo de reconocimiento facial representa una de las materializaciones más elocuentes de la interfaz entre racismo y tecnochauvinismo. La dilución de la responsabilidad que se produce al atribuir a la tecnología la agencia sobre las decisiones relacionadas con el acercamiento, la identificación, la tipificación o la condena, a través de dispositivos como el reconocimiento facial, la vigilancia policial predictiva y las puntuaciones de riesgo, es uno de los mayores peligros del racismo algorítmico.

Errores y aciertos del reconocimiento: selectividad penal

Las tecnologías de reconocimiento facial son increíblemente imprecisas y no se trata de errores desconocidos por el mundo académico, los activistas o las autoridades públicas. Un número creciente de informes estatales o independientes han demostrado las debilidades de la tecnología que, sin embargo, sigue expandiéndose. Además de los estudios más exhaustivos sobre la inexactitud de la visión por computadora citados anteriormente, hay dos casos que merecen atención.

Investigadores de la Universidad de Essex siguieron entre 2016 y 2019 la adopción de una serie de procedimientos exploratorios de reconocimiento facial por parte de la Policía Metropolitana de Londres, que instituyó una watchlist que rastreaba los rostros de miles de personas buscadas en diversos espacios públicos. Alrededor del 38% de las remisiones del programa fueron consideradas no creíbles por los policías, incluso antes del acercamiento. Aun con este filtro, las actuaciones realizadas tendían al error: alrededor del 63% de los individuos abordados eran “falsos positivos”: personas que no eran las buscadas.

No obstante, los responsables del estudio -Pete Fussey y Daragh Murray- también destacan un problema particular en cuanto a la rentabilidad del proyecto. Si se compara el número de personas buscadas incluidas en las listas de vigilancia con los procedimientos indicados y realizados, la disparidad es aún mayor: bases con más de 2.400 sospechosos generaron sólo ocho detenciones. Datos aún peores se registran en Brasil, donde se adoptó una gigantesca infraestructura de reconocimiento facial en la Micareta4 4 NT: la micareta es una fiesta que emula el carnaval, pero se realiza en una fecha diferente. La de Feira de Santana es una de las más renombradas. de Feira de Santana, en Bahía, que recolectó 1,3 millones de rostros y sólo ejecutó 18 órdenes judiciales (G1 Bahia, 2019G1 BAHIA. 2019. “Feira de Santana registra 33 prisões por reconhecimento facial durante micareta”. Disponible en: https://g1.globo.com/ba/bahia/noticia/2019/04/29/feira-de-santana-registra-33-prisoespor-reconhecimento-facial-durante-micareta.ghtml. [Acceso Oct. 2021]
https://g1.globo.com/ba/bahia/noticia/20...
).

También se observó el problema de que “los agentes de calle no esperan el proceso de decisión en la sala de control, un claro ejemplo de presunción a favor de la intervención” (Fussey y Murray, 2019FUSSEY, Pete; MURRAY, Daragh. 2019. “Independent Report on the London Metropolitan Police Service’s Trial of Live Facial Recognition Technology”. The Human Rights, Big Data and Technology Project. (s/l). Julio de 2019. Disponible en: https://www.essex.ac.uk/research/showcase/report-on-the-police-use-of-facial-recognition-technology-identifies-significant-concerns. [Acceso Oct. 2021]
https://www.essex.ac.uk/research/showcas...
, p. 125), lo que refuerza el peligro de la relación de estas tecnologías con la cultura policial, independientemente de la exactitud o imprecisión del análisis de reconocimiento.

Uno de los casos denunciados en el estudio londinense fue un abordaje violento contra un joven negro de 14 años, vestido con ropa escolar, también un “falso positivo”. A pesar de los errores, al año siguiente la policía de la ciudad declaró que quería ampliar el sistema. Un comisario de policía afirmó que la institución quiere “garantizar que estas implantaciones sean eficaces en la lucha contra la delincuencia, pero que también sean aceptadas por el público”. Los londinenses esperan que adoptemos esta tecnología de forma responsable” (Dearden, 2020DEARDEN, Lizzie. 2020. “Facial Recognition to Be Rolled Out Across London by Police, Despite Privacy Concerns”. Independent. 24 de enero de 2020. Disponible en:https://www.independent.co.uk/news/uk/crime/facial-recognition-london-met-policescotland-yard-privacy-a9299986.html. [Acceso Oct. 2021]
https://www.independent.co.uk/news/uk/cr...
). Sin embargo, una investigación del diario The Independent reveló que a las personas abordadas por la policía no se les explicaba los motivos ni la tecnología utilizada en las fases de prueba (Dearden, 2018DEARDEN, Lizzie. 2018. “Facial Recognition Cameras Scanning Unwitting Tourists and Christmas Shoppers in London’s West End”. Independent. 17 de diciembre de 2018. Disponible en: https://www.independent.co.uk/news/uk/home-news/facial-recognition-ameraslondon-met-police-suspects-arrests-identity-a8687481.html. [Acceso Oct. 2021]
https://www.independent.co.uk/news/uk/ho...
).

* * *

El Instituto Nacional de Estándares y Tecnología de los Estados Unidos examina las funciones de reconocimiento facial y biometría para la verificación e identificación desde 1994, con una cobertura cada vez mayor a medida que evoluciona el mercado. Algunas ediciones anteriores han incluido de manera inconsistente la medición de variables demográficas como la raza, el género y la edad. No obstante, en 2019, gracias a la presión pública sobre el tema, se publicó un informe detallado y específico sobre los efectos demográficos en 189 algoritmos analizados de países como Estados Unidos y China. El estudio señaló que los porcentajes de error relativos a los “falsos positivos” son de diez a cien veces mayores en el caso de las fotos de personas negras, asiáticas o de pueblos originarios. En el caso de la población negra, los errores fueron sistemáticamente mayores en los sistemas utilizados con fines policiales.

Es importante reconocer el punto de vista de los autores, implícito en los riesgos señalados en el informe. El documento se centra en el control estatal del acceso y la circulación de las personas. “En un control de acceso uno a uno, los falsos negativos se interponen en el camino de los usuarios legítimos y los falsos positivos debilitan los objetivos de las normas de seguridad de los gestores. Por el contrario, en un sistema de uno a muchos, un falso negativo presenta un problema de seguridad y un falso positivo discriminaría a los visitantes legítimos” (Gother et al., 2019, p. 6).

La capacidad de los proveedores de tecnología para auditar sus propios sistemas, la aceptación de los índices de error, la forma en que los instalan y venden y, por último, la forma en que los compradores gubernamentales evalúan o aceptan esos errores son tan o más importantes que las métricas de precisión o error.

En sociedades como la brasileña donde la selectividad penal racista es la norma, las tecnologías de detección sólo pueden servir para el encarcelamiento masivo de grupos específicos. Con más de 700.000 personas en prisión, Brasil es el tercer país del mundo con mayor población carcelaria, sólo por detrás de Estados Unidos y China. En el año 2000 la cifra era mucho menor, con un total de 232.000 personas. Las razones del aumento incluyen instrumentos de represión intensificada como la Ley 11.343 (“Ley Antidroga”). La desidia e inhumanidad del Poder Judicial también aceptó que 292.000 personas fueran encarceladas sin condena, de acuerdo con el relevamiento de 2016. Casi la mitad de los presos provisionales llevaban más de noventa días encarcelados sin juicio ni sentencia (Departamento Penitenciário Nacional, 2016DEPARTAMENTO PENITENCIÁRIO NACIONAL. 2017. Levantamento nacional de informações penitenciárias: Junho de 2016. Brasília-DF: Governo Federal.).

Entre las personas encarceladas, el 64% es de raza negra y el 75% no ha podido terminar la escuela secundaria. Cuando cruzamos estos datos con los motivos de la detención, nos enfrentamos a la criminalización de la negritud y la pobreza. Entre los hombres, el 26% está encarcelado por tráfico y el 12% por robo, mientras que el 62% de las mujeres responde por tráfico y el 11% por robo.

Estas disparidades han dado lugar a nuevas capas de discrepancias puntuales en la aplicación de las tecnologías penitenciarias algorítmicas. Un estudio pionero de la Rede de Observatórios de Segurança (Red de Observatorios de Seguridad) mostró que el 90,5% de los detenidos por reconocimiento facial eran personas de raza negra, siendo los estados de Bahía, Río de Janeiro y Santa Catarina los que lideran el uso de esta técnica (Nunes, 2019NUNES, Pablo. 2020. “Levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros”. The Intercept Brasil. 21 de noviembre de 2019. Disponible en: https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros. [Acceso Oct. 2021]
https://theintercept.com/2019/11/21/pres...
).

Los datos se recogieron a partir de la cobertura periodística de los planteamientos o de declaraciones espontáneas de las Secretarías de Seguridad Pública, pero la exactitud de la información y la transparencia de las iniciativas estatales siguen dejando que desear. Pablo Nunes sostiene que los sistemas de reconocimiento facial se presentan como formas de modernizar la práctica policial, “pero en realidad han representado un retroceso en relación con la eficacia, la transparencia, la responsabilidad y la protección de los datos personales de la población” (Barbon, 2019BARBON, Júlia. 2019. “151 pessoas são presas por reconhecimento facial no país; 90% são negras”. Folha de S. Paulo. 22 de noviembre de 2019.).

El mayor desprecio por los instrumentos de transparencia pública, como la Ley de Acceso a la Información, está relacionado con el incentivo social de estigmatizar a los ciudadanos que de alguna manera han entrado en contacto con el sistema penitenciario. Juristas observan que, sin la necesaria transparencia de los organismos públicos en cuanto a los sistemas adoptados, los índices de exactitud y la forma en que son preparados, es probable que “la política de encarcelamiento masivo se intensifique cada vez más y, principalmente, sobre la falsa identificación de sospechosos” (Silva; Silva, 2019SILVA, Rosane Leal; SILVA, Fernanda dos Santos Rodrigues. 2019. “Reconhecimento facial e segurança pública: os perigos da tecnologia no sistema penal seletivo brasileiro”. Anais do 5º Congresso Internacional de Direito e Contemporaneidade: mídias e direitos da sociedade em rede. Santa Maria: Universidade Federal de Santa Maria.). Los datos exploratorios apuntan a que se trata de una tendencia creciente y el reconocimiento facial es sólo la tecnología penitenciaria algorítmica más visible del proceso.

Los riesgos espacializados y corporificados

Los esfuerzos por restringir la circulación de personas en el espacio público segregado se desarrollan en diversos frentes tales como la planificación urbana, los medios de transporte y la vivienda. Para promover el encarcelamiento de grupos específicos, la actuación policial diferencial en regiones supuestamente más violentas o problemáticas -desde el punto de vista del Estado- se entrelaza con la historia de la propia institución. Sin embargo, bajo la égida de la eficacia, las prácticas policiales predictivas o las puntuaciones de riesgo sobre el espacio o las personas intensifican esta segregación.

Los mapas del crimen, o hot-spots, son recursos tradicionales, que en Brasil se remontan a la época del Imperio (Ferreira, 2022FERREIRA, Ricardo Alexandre. 2011. Crimes em comum: escravidão e liberdade sob a pena do Estado imperial brasileiro (1830-1888). São Paulo: Editora Unesp.), habiéndose transformado en las últimas décadas con la digitalización de los datos y la seducción de las potencialidades algorítmicas. La construcción de “centros de control” fortalece en la práctica policial una especie de normatividad empresarial (Cardoso, 2019CARDOSO, Bruno. 2019. “Estado, tecnologias de segurança e normatividade neoliberal”, in: BRUNO, Fernanda; CARDOSO, Bruno; KANASHIRO, Marta; GUILHON, Luciana; MELGAÇO, Lucas. (orgs.). Tecnopolíticas da vigilância: perspectivas da margem. São Paulo: Boitempo .) en el manejo de la información sobre el quehacer de la seguridad pública, priorizando indicadores y el alcance y reproducción de metas espacializadas.

El núcleo de la idea de la policía predictiva está en la asignación de recursos humanos -como el patrullaje y la búsqueda de comportamientos sospechosos- y materiales/tecnológicos, como las cámaras de vigilancia, para dirigir la vigilancia proactiva sobre espacios en los que se han medido determinados índices de delincuencia a partir de series históricas. Sin embargo, las prácticas selectivas de la policía en cuanto a sus imaginarios de quién es el delincuente y los tipos de delitos observados y registrados generan la retroalimentación criminalizadora de ciertas regiones y grupos de personas.

Como hemos visto, los tipos delictivos que suscitan tanto la intervención policial como las altas tasas de encarcelamiento están en gran medida relacionados con delitos como el tráfico de drogas o los delitos contra la propiedad, como el robo. Una encuesta coordinada por Jacqueline Sinhoretto sobre la desigualdad racial respecto a la letalidad policial y las prisiones en flagrancia, en São Paulo muestra que: “la vigilancia policial privilegia a los negros y los reconoce como sospechosos de delitos, captando sus conductas ilegales con mayor intensidad, mientras que los blancos, menos señalados por la vigilancia policial, gozan de menor visibilidad ante la policía, siendo sorprendidos con menor frecuencia en su práctica delictiva” (Sinhoretto et al., 2014SINHORETTO, Jacqueline; SILVESTRE, Giane; SCHLITTLER, Maria Carolina. 2014. Desigualdade racial e segurança pública em São Paulo: letalidade policial e prisões em flagrante. Relatório de pesquisa. São Carlos: Departamento de Sociologia da Universidade Federal de São Carlos., p. 27).

Uno de los índices más impactantes del estudio es el de la letalidad policial, siendo que el 61% de las víctimas de la encuesta son negras. Si se compara con la población total, esa cifra supone una tasa tres veces superior a la de los ciudadanos blancos.

Además, el 96% de las muertes perpetradas por la policía no generaron acusaciones o fueron archivadas.

Cuando las construcciones estructurales del racismo se suman a estas prácticas, al encuadre de las favelas y periferias como espacios criminalizados, y a la tipificación violenta de conductas como el tráfico de drogas, el poder policial se convierte, en realidad, en libre de matar de forma discrecional.

Desde el siglo XIX, la criminalización del consumo, el cultivo o la venta de sustancias como las derivadas del cannabis se llevó a cabo por temor a la subversión ideológica de las relaciones sociales o laborales. “Fumo de angola”, “planta africana” o incluso descaradamente “Fumo de negro” fueron términos utilizados a lo largo de los siglos XIX y XX para hablar de la marihuana, criminalizada inicialmente en Brasil, que tuvo un papel relevante en esta historia. Un médico de Sergipe, de inspiración lombrosiana, defendió la criminalización internacional desde una perspectiva descaradamente eugenista contra los negros. Con esta herencia ideológica, tanto en el ámbito institucional como en el social, los asesinatos de personas negras y/o pobres perpetrados por agentes de policía se justifican fácilmente, especialmente en las periferias y favelas, con frecuentes acusaciones de que la víctima estaba involucrada en el tráfico de drogas (Ribeiro Junior, 2016RIBEIRO JUNIOR, Antônio Carlos. 2016. “As drogas, os inimigos e a necropolítica”. Cadernos do CEAS . nº. 238, p. 596-610.).

A partir de un análisis de 4.000 sentencias por tráfico de drogas en São Paulo, los periodistas de la Pública identificaron que las personas de raza negra tienen más probabilidades de ser condenadas por este delito cuando llevan una cantidad menor de droga -en el caso de la marihuana, la media de las incautaciones varió de 136,5g (personas negras) a 482,4g (personas blancas) en el estudio. La discrepancia más marcada se produjo en la clasificación de los detenidos con cantidades de hasta 10 gramos de marihuana: el 68,4% de los ciudadanos negros detenidos fueron considerados traficantes de drogas frente al 18,1% de los ciudadanos blancos (Domenici et al, 2019DOMENICI, Thiago; BARCELOS, Iuri; FONSECA, Bruno. 2019. “Negros são mais condenados por tráfico e com menos drogas em São Paulo”. Pública, 6 de mayo de 2019. Disponible en: https://apublica.org/2019/05/negros-saomais-condenados-por-trafico-e-com-menos-drogas-em-sao-paulo. [Acceso Oct. 2021]
https://apublica.org/2019/05/negros-saom...
).

Incluso sin contar con el uso frecuente de los llamados “kits en flagrantes”,5 5 Cierta cantidad de drogas ilícitas en posesión de policías corruptos, que la transportan con el objetivo de incriminar a ciudadanos, “plantando” la droga como prueba de un delito que no cometieron. la aceptación acrítica del valor de las pruebas testimoniales por parte de los agentes de policía en la “guerra contra las drogas” es la primera herramienta utilizada por el racismo estatal en el establecimiento de criterios diferentes para el encarcelamiento de negros y pobres. Por lo tanto, no se puede naturalizar la alimentación de los sistemas algorítmicos con datos generados por las instituciones en los embudos de la seguridad pública que homologan los factores de negritud y pobreza a resultados como el encarcelamiento y la muerte.

Paradigmático, el caso de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) se ha convertido en sinónimo de evaluación algorítmica en la justicia penal, concretamente sobre las puntuaciones de riesgo de reincidencia. El producto principal de COMPAS es un conjunto de puntuaciones de riesgo basadas en 137 variables y preguntas relacionadas con los acusados. Al ofrecer una puntuación de riesgo de reincidencia que va de 1 a 10, ayudaría a los jueces y a las juntas de libertad condicional a decidir sobre la fianza, la sentencia y las posibilidades de penas alternativas, teniendo en cuenta la probable o posible reincidencia.

Los periodistas de ProPublica identificaron una asignación de riesgos desproporcionada para los acusados blancos y negros. En un caso, un hombre blanco, Vernon Prater, detenido por robo, pero con antecedentes de robo a mano armada y hurto mayor, recibió una puntuación de 3, que representa un riesgo bajo. Una joven negra, Brisha Borden, también detenida por robo, sólo tenía antecedentes de delitos juveniles, pero recibió una puntuación de reincidencia de 8, alta. Si la comparación de las infracciones con la puntuación es aterradora, también lo es su (in)capacidad de predicción: con una puntuación baja, Vernon reincidió, llevando a cabo un robo de grandes proporciones. Brisha, con una puntuación alta, no reincidió (Angwin et al., 2016ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. 2016. “Machine Bias”, ProPublica. 23 de mayo de 2016 . Disponible en: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. [Acceso Oct. 2021]
https://www.propublica.org/article/machi...
).

Sin embargo, las 137 variables sólo explican una parte del problema. He aquí algunas de ellas: ¿cuántos de tus amigos o conocidos han sido detenidos? ¿Cuántas veces te mudaste en el último año? ¿Tienes un apodo? ¿Tus amigos o vecinos han sido ya víctimas de un delito? ¿Cuántos de tus amigos consumen drogas ilegales? ¿Te han suspendido alguna vez en el colegio? ¿Con qué frecuencia te aburres? ¿Estás de acuerdo en que una persona hambrienta tiene derecho a robar? ¿Está de acuerdo en que la ley no ayuda al ciudadano medio?

Más allá de las cuestiones más obvias, como el tipo de delito y el historial de infracciones, las variables supuestamente predictivas también plantean las condiciones sociales, las relaciones e incluso la declaración de actitudes. La socióloga Ruha Benjamin señala que “todas estas variables están estructuradas por la dominación racial -desde la discriminación en el mercado de trabajo hasta la favelización- y la encuesta mide el grado en que las oportunidades de vida individuales han sido impactadas por el racismo, sin preguntar la raza del individuo” (Benjamin, 2019BENJAMIN, Ruha. 2019. “Assessing risk, automating racism”. Science. Vol. 366, nº. 6464, p. 421-422., p. 150).

Como resultado adicional de este proceso, la distribución de las puntuaciones de riesgo de reincidencia se volvió extremadamente sesgada y perjudicial para los estadounidenses de raza negra, que tenían las puntuaciones distribuidas de 1 a 10, con una alta concentración de riesgos elevados. En el caso de los estadounidenses blancos, la distribución fue favorable, con muchas puntuaciones mínimas (1) y pocas puntuaciones máximas (10).

El ordenamiento necropolítico del mundo implica una transformación constante de los mecanismos de violencia, castigo y clasificación de los individuos por parte de los poderes hegemónicos heredados del colonialismo. Las tecnologías algorítmicas y la definición de los límites aceptables de lo que se considera calidad y eficiencia en la inteligencia artificial están conformadas por ese estado de relaciones de poder. Como postula Achille Mbembe (2018MBEMBE, Achille. 2018. Necropolítica. São Paulo: N-1 Edições., p. 39):

[la necropolítica implica] la producción de fronteras y jerarquías, zonas y enclaves; la subversión de los regímenes de propiedad existentes; la clasificación de las personas según diferentes categorías; la extracción de recursos; y, por último, la producción de un gran conjunto de imaginarios culturales.

Los últimos siglos han hecho de la prisión uno de los rasgos más importantes de nuestro imaginario sobre la sociedad, haciendo que “demos por sentada su existencia [la de las prisiones]. La prisión se ha convertido en un ingrediente esencial de nuestro sentido común”, como señala Angela Davis (2018DAVIS, Angela. 2018. Estarão as prisões obsoletas? Rio de Janeiro: Difel.). Dichos imaginarios se presentan en instancias estructurales como la ideología y la cultura, que se vinculan al Estado en su condición de reproductor de la supremacía blanca, pero también en su retroalimentación a través de datos y producciones de imaginarios, estereotipos, visualidades y clasificaciones perversas sobre la vida, la muerte y la violencia.

Criminalización de visualidades y rostros racializados

Tamir Rice, de 12 años, al igual que Marcus Vinícius y miles de niños negros de todo el mundo, también creyó erróneamente que podía ejercer plenamente su infancia como lo hacen los niños blancos estadounidenses.

El niño estaba jugando en un parque con una pistola de juguete y otro residente del bloque llamó a la policía, afirmando que una persona -probablemente un adolescente- estaba amenazando a la gente con una pistola de juguete. Los agentes de policía enviados al lugar de los hechos recibieron información por radio de que había un hombre que llevaba una pistola de verdad. Llegaron al lugar de los hechos y asesinaron a Tamir inmediatamente, en un estado donde es legal llevar armas en el espacio público, siempre que estén a la vista.

La reproducción de inferencias racistas que sitúan a los negros y a otros grupos racializados como potencialmente violentos es uno de los pilares de la supremacía blanca, ya que justifica el control y la violencia e impide la solidaridad y el asociacionismo de clase. Confundir objetos rutinarios con armas, en aproximaciones de la policía que dispara antes de preguntar, es una práctica frecuente en Brasil. Entre los casos más recientes se encuentra el asesinato perpetrado por agentes de policía que alegaron confundir desde paraguas hasta taladros con armas (Notícia Preta, 2019NOTÍCIA PRETA. 2019. “Mais um jovem negro é morto ao ter furadeira confundida com arma no Rio”. Disponible en: https://noticiapreta.com.br/mais-um-jovem-negro-emorto-ao-ter-furadeira-confundida-com-arma-no-rio/. [Acceso Oct. 2021]
https://noticiapreta.com.br/mais-um-jove...
).

En un experimento publicado en Twitter, Nicolas Kayser-Bril, miembro de AlgorithmWatch, subió a Google Vision, un servicio de computación visual que etiqueta objetos y conceptos en las imágenes, dos fotos de personas sosteniendo un termómetro portátil -artefacto popularizado en la pandemia del covid-19. En la foto, en la que una mano blanca sostiene el termómetro, la etiqueta de mayor precisión para la imagen sería “tecnología”, con un 68% de precisión, y no aparece ninguna etiqueta de connotación negativa. En la foto que muestra la mano de una persona negra sosteniendo el termómetro, “pistola” está a la cabeza con un 88%, y “arma de fuego” aparece con un 65%.

Al haber sido publicado en Twitter, el experimento fue doblemente revelador acerca de la afiliación de una parte de la comunidad tecnocientífica a la creencia de neutralidad en la tecnología. Decenas de personas afirmaron inmediatamente que la posición del termómetro era la razón de la diferencia de calificaciones. En respuesta, el desarrollador Bart Nagel recortó la foto de la persona negra y la procesó de nuevo en Google Vision, comparándola con la misma foto y con una foto con la mano editada para que pareciera blanca. En la primera, la etiqueta “arma” aparece con un 61% de precisión, en la segunda la etiqueta no aparece.

En un comunicado dirigido a AlgorithmWatch, Google afirmó que no discrimina sistemáticamente. Pidió disculpas “a todos los que se hayan podido sentir ofendidos” y argumentó que no se trata de un sesgo consistente. Sin embargo, la empresa está de acuerdo en que “cuando alguien se queja, muchos ya se han visto afectados de forma desproporcionada por la actuación sesgada del modelo” (Kayser-Bril, 2020KAYSER-BRIL, Nicolas. 2020. “Google Apologizes After Its Vision AI Produced Racist Results”. AlgorithmWatch. 7 de abril de 2020. Disponible en: https://algorithmwatch.org/en/story/google-vision-racism/. [Acceso Oct. 2021]
https://algorithmwatch.org/en/story/goog...
). Esta declaración dice mucho de la postura de la empresa, que sólo reacciona ante los posibles daños, ya que la misma también ofrece productos y servicios a instituciones militares y policiales.

Con un impacto basado en el mismo fundamento, pero no tan inmediatamente desastroso, se han utilizado sistemas de restricción y moderación automatizada de contenidos en entornos como Facebook e Instagram para impedir la visibilidad o difusión de imágenes violentas. Entre los casos documentados de problemas de -al menos- precisión, tenemos el denunciado por el ilustrador Gabriel Jardim. En pleno 20 de noviembre, Día Nacional de la Conciencia Negra, se impidió que una ilustración del artista fuera divulgada en la plataforma.

Figura 1
Ilustración de Gabriel Jardim en homenaje al piloto Lewis Hamilton.

Se intentó impulsar la exposición de la ilustración a través del Servicio de publicidad en Facebook/Instagram para promocionar una tienda. Sin embargo, esto no fue posible porque la imagen incluiría “la venta de munición, armas de fuego, paintball, pistolas de plomo u otros tipos de armas”. En la evaluación del ilustrador, la prohibición se produjo porque “el dibujo está ambientado en una favela con personajes negros”. En la imagen, es posible reconocer los elementos visuales de las favelas o barrios de bajos ingresos, pero nada que indique violencia. Sin embargo, en Brasil la cultura iconográfica hegemónica privilegia la violencia en la cobertura informativa o en las narrativas de ficción ambientadas en esos espacios.

En ambos casos, la producción de sistemas automatizados de identificación de objetos o contextos se basa en la historia de representaciones, estereotipos y encuadres que producen visibilidades e invisibilidades de forma desproporcionada y vinculada a las asimetrías de las relaciones raciales y de poder. Los negros brasileños recibieron como legado espacios específicos, como “el espacio del trabajo mal pagado, del trabajo precario, del trabajo doméstico, de la favela, de la barriada y de las cárceles “ (Jardim, 2017JARDIM, Suzane. 2017. “A reconstrução do mínimo: falsa ordem democrática e extermínio”, in: BUENO, Winnie Bueno; PINHEIRO-MACHADO, Rosana; BURIGO, Joanna; SOLANO, Esther. (Orgs). Tem saída? Ensaios críticos sobre o Brasil. Porto Alegre: Zouk., p. 196), y no se permite ni se acepta la construcción colectiva y creativa de otros imaginarios relacionados con estos lugares.

Además de los escándalos de moderación ya citados, otra filtración de las reglas de moderación, esta vez de TikTok, está emparentada con el caso de criminalización o rechazo de las percepciones de pobreza que acabamos de señalar. Los documentos filtrados denuncian las normas de moderación humana contra los cuerpos gordos, los cuerpos considerados “anormales”, “viejos” o “feos”, y la exhibición de entornos depredados o viviendas subnormales, como los barrios marginales, que no se borran, sino que se ocultan intencionadamente (Biddle et al., 2020BIDDLE, Sam; RIBEIRO, Paulo Victor; DIAS, Tatiana. 2020. “Censura invisível”. The Intercept Brasil. 16 de marzo de 2020. Disponible en: https://theintercept.com/2020/03/16/tiktok-censurourostos-feios-e-favelas-para-atrair-novos-usuarios. [Acceso Oct. 2021]
https://theintercept.com/2020/03/16/tikt...
).

* * *

Más allá de los objetos y contextos, se observa que se está produciendo un rescate y normalización de las peores creencias del racismo científico del siglo XIX, como la frenología, bajo nuevos nombres. El intento de descubrir rasgos faciales vinculados a tendencias delictivas ha sido rechazado durante mucho tiempo como pseudociencia, pero la inteligencia artificial ha dado nueva vida a algunos defensores de estas ideas.

Desde Inglaterra hasta China, el intento de identificar patrones faciales, de expresión o incluso de movimiento corporal de los delincuentes es una especie de normalización emprendida por parte de la comunidad de aprendizaje automático. De autoría de investigadores chinos, un estudio publicado en 2016 afirmaba identificar patrones en los rostros de los delincuentes a partir de la exploración de una base de datos de 2.000 fotos. La comunidad científica refutó el estudio desde el punto de vista ético, político y técnico, pero los investigadores retrucaron con una publicación adicional cuyo argumento sostenía que, “como la mayoría de las tecnologías, el aprendizaje automático es neutral” (Wu y Zhuang, 2016WU, Xiaolin; ZHANG, Xi, 2016. “Responses to Critiques on Machine Learning of Criminality Perceptions”. arXiv, nº. 1611.04135v3., p. 2) que el estudio debía ser elogiado por ser, supuestamente, el “primero en estudiar la inferencia inducida por los rostros sobre el crimen, libre de cualquier sesgo subjetivo de los observadores humanos” (Ibidem, p. 9). Sin embargo, el estudio no aporta absolutamente ninguna discusión sobre los impactos sociales de la eventual aplicación del sistema, ni siquiera una reflexión sobre la criminología y sobre cómo fueron presas las personas incluidas en la base de datos.

Otras tecnologías, ya convertidas en servicios, se afilian a esta simplificación de lo que serían rastros de emociones y condiciones internas peligrosas. La empresa británica WeSee promete, incluso con vídeos de baja calidad, ser capaz de “determinar el estado mental o las intenciones de un individuo a partir de sus expresiones faciales, posturas, gestos y movimientos” (China Daily, 2018HK Edition. 2018. “Facial Recognition Tech - HK Can Rise to the Occasion”. China Daily. 27 de julio de 2018. Disponible en: http://www.chinadaily.com.cn/hkedition/2018-07/27/content_36654608.htm. [Acceso Oct. 2021]
http://www.chinadaily.com.cn/hkedition/2...
), aunque sean imperceptibles para el ojo humano. El hecho de que tales identificaciones puedan simplemente animar a “la sociedad a inclinar sus prioridades existentes en materia de detección de la delincuencia” (Pasquale, 2018PASQUALE, Frank. 2018. “When Machine Learning is Facially Invalid”. Communications of the ACM. Vol. 61, nº. 9, p. 25-27., p. 26) en relación con espacios específicos, grupos objetivo y tipos de delitos específicos es una motivación posible que no puede descartarse, más allá del interés comercial de los promotores y empresarios en el imaginario penitenciario. La startup israelí Faception, por ejemplo, fue una empresa que ganó la atención de los medios de comunicación y de los inversores al prometer “análisis de la personalidad facial”. Aplicando técnicas de reconocimiento facial y aprendizaje automático, sería capaz de clasificar los rostros entre potenciales investigadores, “IQ alto”, pedófilos, jugadores de póker, terroristas o delincuentes de cuello blanco. En el material promocional del producto se destaca la categoría de “terrorista”, con la ayuda de un gráfico que perfila rostros de hombres árabes supuestamente identificados como potenciales terroristas. En pocos meses, consiguió 625.000 dólares de inversión de fondos de Silicon Valley6 6 Los datos provienen de Crunchbase, página de la Faception: https://www.crunchbase.com/organization/faception/company_financials. .

Además de constituir un preocupante retorno de ideologías y creencias pseudocientíficas propias de la fisiognomía (Bendel, 2018BENDEL, Oliver. 2018. “The Uncanny Return of Physiognomy”, The 2018 AAAI Spring Symposium Series.), la aceptación de discursos y posibilidades de negocio y políticas públicas basadas en las nuevas prácticas de vigilancia biométrica reformula lo que Simone Browne llama la “epidermis digital” del racismo. En las fronteras territoriales, legales o digitales, el cuestionamiento de las marcas transformadas en biometría “podría permitirnos repensar críticamente nuestros momentos de contacto con las fronteras cada vez más tecnológicas” (Browne, 2010BROWNE, Simone. 2010. “Digital Epidermalization: Race, Identity and Biometrics”. Critical Sociology. Vol. 36, nº. 1, p. 131-150., p. 139).

Dejar morir

Una de las principales formas a través de las cuales el daño del colonialismo y la lógica necropolítica se sostienen es su frecuente carácter ordenador de la vida y la muerte, mediado por una selectividad opaca o una pasividad dañina. Literalmente, “dejar morir” es un pilar importante en este proceso, ya que significa una valoración diferencial de las humanidades clasificadas por raza, género y nacionalidad en todo el mundo. A partir de las inscripciones de Foucault sobre el biopoder, Mbembe afirma que:

dicho poder se define en relación con un campo biológico, del que toma el control y en el que se inscribe. Este control presupone la distribución de la especie humana en grupos, la subdivisión de la población en subgrupos y el establecimiento de una cesura biológica entre un grupo y outro” (Mbembe, 2018MBEMBE, Achille. 2018. Necropolítica. São Paulo: N-1 Edições., p. 17).

La introyección de esta cesura biológica, el racismo, se disemina en las prácticas y el hacer, incluyendo desgraciadamente también las acciones de los grupos dedicados a la protección de la vida y la salud. Investigadores de universidades estadounidenses realizaron un importante estudio sobre algoritmos comerciales de predicción de necesidades de atención médica para identificar posibles sesgos y resultados discriminatorios en subgrupos demográficos. Se descubrió que a millones de pacientes negros se les asignaron puntuaciones de riesgo que los perjudicaban en cuanto a la atención y los recursos que recibirían (Obermeyer et al., 2019OBERMEYER, Ziad; POWERS, Brian; VOGELI, Christine; MULLAINATHAN, Sendhil. 2019. “Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations”. Science. Vol. 366, n°. 6464, p. 447-453.).

En determinadas puntuaciones de riesgo asignadas a los evaluados en los triages médicos, los pacientes negros estaban en realidad mucho más enfermos que los blancos, y en tasas alarmantes. Al investigar el origen de la disparidad en la base de datos, los investigadores descubrieron dos variables sesgadas en los datos que alimentaban el sistema, basadas en el historial de recursos y gastos dirigidos a pacientes con las mismas afecciones: los pacientes negros, de media más pobres, no podían gastar la misma cantidad de dinero en sus propios tratamientos, mientras que los médicos y otros profesionales sanitarios solían tomar decisiones para asignar menos recursos a estos pacientes.

Los sistemas algorítmicos analizados en el estudio consideran que la cantidad gastada históricamente sería un indicador fiable para representar la gravedad de la condición médica. La aplicación de esta premisa en los sistemas automatizados ignora las variables económicas en el ámbito de los pacientes -desventajas en gran medida fruto del racismo- y desconoce las variables discriminatorias en el ámbito de los profesionales, mayoritariamente blancos, que históricamente no han prestado la misma atención a sus pacientes.

Cada vez hay más investigaciones sobre cómo el racismo hace que los profesionales de la salud evalúen y atiendan de forma discriminatoria a los pacientes negros. La situación es especialmente grave en relación con el género, lo que se traduce en índices inhumanos contra las mujeres negras, especialmente las embarazadas y las parturientas. Los estudios registran diferencias en el acceso a los recursos sanitarios (Goes y Nascimento, 2013GOES, Emanuelle F; NASCIMENTO, Enilda R. 2013. “Mulheres negras e brancas e os níveis de acesso aos serviços preventivos de saúde: uma análise sobre as desigualdades”. Saúde em Debate. Vol. 37, nº. 99, p.571-579.), desigualdad en la prestación de anestesia (Leal et al., 2005LEAL, Maria do Carmo; GAMA, Silvana Granado Nogueira da; CUNHA, Cynthia Braga da. 2005. “Desigualdades raciais, sociodemográficas e na assistência ao pré-natal e ao parto, 1999-2001”, Revista de Saúde Pública, Vol. 39, nº. 1, p. 100-107.) y una brecha en la atención prestada a los bebés negros y blancos (Greenwood et al., 2020GREENWOOD, Brad N.; HARDEMAN, Rachel R.; HUANG, Laura; SOJOURNER, Aaron. 2020. “Physician-Patient Racial Concordance and Disparities in Birthing Mortality for Newborns”. Proceedings of the National Academy of Sciences. Vol. 117, nº. 35, p. 21194-21200.), entre otros graves problemas.

Cuando abordamos, por ende, los intentos de automatizar o algoritmizar los procesos y evaluaciones en el ámbito sanitario, debemos tener en cuenta a los llamados “mediadores”, descritos por Jurema Werneck como relativos al factor humano de los profesionales, además de tratar de entender no solo su cualificación, sino también “sus posibilidades de favorecer o limitar el acceso de los usuarios a los diferentes recursos necesarios” (Werneck, 2016WERNECK, Jurema. 2016. “Racismo institucional e saúde da população negra”. Saúde e Sociedade. Vol. 25, n°. 3, p. 525-549., p. 544).

En el estudio citado sobre el racismo algorítmico para la puntuación de criticidad de los pacientes, estamos ante una métrica de valor gastado con anterioridad aplicada acríticamente como un atajo para asumir el estado real de los pacientes. Por lo tanto, el sistema algorítmico reprodujo, intensificó y escondió las decisiones racistas de los médicos que trabajan en los planes de salud, las clínicas y los hospitales que proporcionaron los datos para el entrenamiento del sistema.

El caso señala muchos hechos y variables sobre la “desinteligencia” artificial. Los más evidentes tienen que ver con la incompetencia, por no decir otra cosa, de los desarrolladores, que consideraron la métrica de “recursos gastados” como equivalente a “condiciones de salud” y la negligencia inhumana de los proveedores sanitarios privados y los hospitales que utilizaron el sistema algorítmico para optimizar los costos, sin exigir auditorías previas. Estas instituciones deberían ser conscientes de la realidad discriminatoria en la sanidad pública.

El caso también pone de relieve algo más que eso. Si la comercialización de sistemas algorítmicos tiene como característica fundamental la tentativa de imponer la opacidad en los flujos de trabajo que los mantienen, ¿qué podemos decir de los sistemas algorítmicos basados en el aprendizaje automático y basados en miles o millones de datos de decisiones racistas que ya estaban en marcha?

Cada vez que un médico ignoró el dolor de una persona negra, eligió un procedimiento menos eficaz porque era más barato u ofreció atención de forma discriminatoria, su acción repercutió directamente en ese paciente y se sumó, como dato, a la base que permitiría la automatización de las decisiones racistas a escala (Benjamin, 2019BENJAMIN, Ruha. 2019. “Assessing risk, automating racism”. Science. Vol. 366, nº. 6464, p. 421-422.). Irónicamente, la auditoría realizada por el estudio arrojó luz no sólo sobre la “desinteligencia artificial”, sino también sobre los horrores de las decisiones tomadas por los co-signatarios de un contrato racial (Mills, 2014MILLS, Charles W. The Racial Contract. Nova York: Cornell University Press, 2014.) a favor de la blanquitud violenta, antes incluso de que dichas decisiones se convirtieran en datos. En un estudio oportuno para esta discusión, Sueli Carneiro (2005CARNEIRO, Aparecida Sueli. 2005. A construção do outro como não-ser como fundamento do ser. Tese de doutorado, Universidade de São Paulo.) analiza la relación entre racialidad, morbilidad y mortalidad extendida desde la comisaría hasta el hospital:

Las representaciones sobre la racialidad impactan en los procesos de morbilidad y mortalidad y hacen del biopoder un operador en la distribución de la vitalidad y de la muerte, de forma siempre desequilibrada hacia el lado de la muerte para los grupos raciales considerados indeseables” (Carneiro, 2005CARNEIRO, Aparecida Sueli. 2005. A construção do outro como não-ser como fundamento do ser. Tese de doutorado, Universidade de São Paulo., p. 323).

Si, en países como Brasil, los policías están plenamente vinculados al ejercicio del poder de matar, los médicos y profesionales de la salud estarían, en tesis, vinculados a la preservación de la vida. Pero los datos revelados en casos como el citado nos recuerdan que las elecciones diferenciales en el acceso a los servicios públicos o en la calidad de los servicios privados generan nuevas desigualdades cuando están mediadas por sistemas algorítmicos. Por lo tanto, los algoritmos no pueden tomarse como neutrales, a riesgo de promover otra capa de violencia racializada.

Aunque parte de las decisiones racistas hayan sido tomadas por los autores de forma inconsciente, sus actos provocan daños muy reales y letales y, paradójicamente, se agrupan como datos observables y comparables en un sistema que reproduce tales decisiones. Y a esto hay que añadir otro problema: los casos de auditoría como el que acabamos de citar siguen siendo escasos. Sólo una mínima parte de los sistemas algorítmicos es analizada con tal amplitud de datos y nivel de atención (Epstein et al., 2018EPSTEIN, Ziv; PAYNE, Blakeley H.; SHEN, Judy Hanwen; DUBEY, Abhimanyu; FELBO, Bjarke; GROH, Matthew; OBRADOVICH, Nick; CEBRIAN, Manuel; RAHWAN, Iyad. 2018. “Closing the AI Knowledge Gap”. arXiv, nº. 1803.07233.).

Por lo tanto, no podemos permitir que la agrupación de acciones discriminatorias cotidianas se convierta en datos para alimentar sistemas de aprendizaje automático antes de convertirse en una fuente de datos para el escrutinio colectivo de las dinámicas racistas en la sociedad.

Fuentes/Sources

Referencias/References

  • ABREU, Tenner Inauhiny de. 2012. “Nascidos no grêmio da sociedade”: racialização e mestiçagem entre os trabalhadores na Província do Amazonas (1850-1889) Dissertação de mestrado, Universidade Federal do Amazonas.
  • ALEXANDER, Michelle. 2012. A nova segregação: racismo e encarceramento em massa São Paulo: Boitempo.
  • ALMEIDA, Silvio. 2018. Racismo estrutural Belo Horizonte: Letramento.
  • BENDEL, Oliver. 2018. “The Uncanny Return of Physiognomy”, The 2018 AAAI Spring Symposium Series
  • BENJAMIN, Ruha. 2020. “Retomando nosso fôlego: estudos de ciência e tecnologia, teoria racial crítica e a imaginação carcerária”. In: SILVA, Tarcízio. (Org). Comunidades, algoritmos e ativismos digitais: olhares afrodiaspóricos São Paulo: LiteraRUA.
  • BENJAMIN, Ruha. 2019. Race After Technology: Abolitionist Tools for the New Jim Code Cambridge: Polity Press.
  • BENJAMIN, Ruha. 2019. “Assessing risk, automating racism”. Science Vol. 366, nº. 6464, p. 421-422.
  • BROWNE, Simone. 2015. Dark Matters: On the Surveillance of Blackness Londres: Duke University Press.
  • BROWNE, Simone. 2010. “Digital Epidermalization: Race, Identity and Biometrics”. Critical Sociology Vol. 36, nº. 1, p. 131-150.
  • BORGES, Juliana. 2019. Encarceramento em massa São Paulo: Pólen.
  • BROUSSARD, Meredith. 2018. Artificial (Un)intelligence: How Computers Misunderstand the World Cambridge. MA: The MIT Press.
  • CARDOSO, Bruno. 2019. “Estado, tecnologias de segurança e normatividade neoliberal”, in: BRUNO, Fernanda; CARDOSO, Bruno; KANASHIRO, Marta; GUILHON, Luciana; MELGAÇO, Lucas. (orgs.). Tecnopolíticas da vigilância: perspectivas da margem São Paulo: Boitempo .
  • CARNEIRO, Aparecida Sueli. 2005. A construção do outro como não-ser como fundamento do ser Tese de doutorado, Universidade de São Paulo.
  • DAVIS, Angela. 2018. Estarão as prisões obsoletas? Rio de Janeiro: Difel.
  • DEPARTAMENTO PENITENCIÁRIO NACIONAL. 2017. Levantamento nacional de informações penitenciárias: Junho de 2016 Brasília-DF: Governo Federal.
  • DU BOIS, W. E. B. 2018. The Souls of Black Folk Oxford: Oxford University Press.
  • EPSTEIN, Ziv; PAYNE, Blakeley H.; SHEN, Judy Hanwen; DUBEY, Abhimanyu; FELBO, Bjarke; GROH, Matthew; OBRADOVICH, Nick; CEBRIAN, Manuel; RAHWAN, Iyad. 2018. “Closing the AI Knowledge Gap”. arXiv, nº. 1803.07233.
  • FLAUZINA, Ana Pinheiro. 2014. “As fronteiras raciais do genocídio”. Direito.UnB Vol. 1, nº. 1, p. 119-146.
  • FERREIRA, Ricardo Alexandre. 2011. Crimes em comum: escravidão e liberdade sob a pena do Estado imperial brasileiro (1830-1888) São Paulo: Editora Unesp.
  • GOES, Emanuelle F; NASCIMENTO, Enilda R. 2013. “Mulheres negras e brancas e os níveis de acesso aos serviços preventivos de saúde: uma análise sobre as desigualdades”. Saúde em Debate Vol. 37, nº. 99, p.571-579.
  • GREENWOOD, Brad N.; HARDEMAN, Rachel R.; HUANG, Laura; SOJOURNER, Aaron. 2020. “Physician-Patient Racial Concordance and Disparities in Birthing Mortality for Newborns”. Proceedings of the National Academy of Sciences Vol. 117, nº. 35, p. 21194-21200.
  • GROTHER, Patrick; NGAN, Mei; HANAOKA, Kayee. 2019. Face Recognition Vendor Test (FRVT) - Part 3: Demographic Effects Maryland: National Institute of Standards and Technology.
  • JARDIM, Suzane. 2017. “A reconstrução do mínimo: falsa ordem democrática e extermínio”, in: BUENO, Winnie Bueno; PINHEIRO-MACHADO, Rosana; BURIGO, Joanna; SOLANO, Esther. (Orgs). Tem saída? Ensaios críticos sobre o Brasil Porto Alegre: Zouk.
  • MACHADO, Maria Helena P. T. 2004. “Sendo cativo nas ruas: a escravidão urbana na cidade de São Paulo”, in: PORTA, Paula (org.). História da cidade de São Paulo São Paulo: Paz e Terra.
  • LEAL, Maria do Carmo; GAMA, Silvana Granado Nogueira da; CUNHA, Cynthia Braga da. 2005. “Desigualdades raciais, sociodemográficas e na assistência ao pré-natal e ao parto, 1999-2001”, Revista de Saúde Pública, Vol. 39, nº. 1, p. 100-107.
  • LIMA, Adriano B. M., 2009. “Feitiço pega sempre: alforrias e curandeirismo no oeste paulista (século XIX)”. Anais doEncontro Escravidão e Liberdade no Brasil Meridional Curitiba, Universidade Federal do Paraná.
  • MALDONADO-TORRES, Nelson. 2018. “Analítica da colonialidade e da decolonialidade - algumas dimensões básicas”. In: BERNARDINO-COSTA, Joaze; MALDONADO-TORRES, Nelson; GROSFOGUEL, Ramón (orgs.). Decolonialidade e pensamento afrodiaspórico Belo Horizonte: Autêntica.
  • MBEMBE, Achille. 2018. Necropolítica São Paulo: N-1 Edições.
  • MENEZES, Elisa Matos. 2009. O inimputável: crimes do Estado contra a juventude criminalizada Monografia de graduação em Antropologia: Universidade de Brasília, 2009.
  • MILLS, Charles W. The Racial Contract Nova York: Cornell University Press, 2014.
  • NASCIMENTO, Abdias. 1978. O genocídio do negro brasileiro: processo de um racismo mascarado Rio de Janeiro: Paz e Terra.
  • NASCIMENTO, Beatriz. 2018. Beatriz Nascimento, quilombola e intelectual: possibilidades nos dias de destruição São Paulo: Filhos da África.
  • NOPPER, Tamara K. 2016. “Strangers to the Economy: Black Work and the Wages of Non-Blackness”. In: SAUCIER, P. Khalil; WOODS, Tryon P (eds.). Conceptual Aphasia in Black: Displacing Racial Formation Lanham: Lexington Books.
  • OBERMEYER, Ziad; POWERS, Brian; VOGELI, Christine; MULLAINATHAN, Sendhil. 2019. “Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations”. Science Vol. 366, n°. 6464, p. 447-453.
  • OLIVEIRA FILHO, Roque F. de. 2009. Crimes e perdões na ordem jurídica colonial: Bahia (1750/1808) Tese de doutorado, Universidade Federal da Bahia.
  • PASQUALE, Frank. 2018. “When Machine Learning is Facially Invalid”. Communications of the ACM Vol. 61, nº. 9, p. 25-27.
  • PIRES, Thula Rafaela de Oliveira. 2015. Colorindo memórias e redefinindo olhares: ditadura militar e racismo no Rio de Janeiro Relatório da Comissão da Verdade do Rio. Rio de Janeiro: Comissão Nacional da Verdade.
  • RIBEIRO JUNIOR, Antônio Carlos. 2016. “As drogas, os inimigos e a necropolítica”. Cadernos do CEAS . nº. 238, p. 596-610.
  • SILVA, Wellington Barbosa da. 2008. “Burlando a vigilância: repressão policial e resistência negra no Recife no século XIX (1830-1850)”. Revista África e Africanidades Ano 1, nº. 1, 2008, p. 1-18.
  • SILVA, Rosane Leal; SILVA, Fernanda dos Santos Rodrigues. 2019. “Reconhecimento facial e segurança pública: os perigos da tecnologia no sistema penal seletivo brasileiro”. Anais doCongresso Internacional de Direito e Contemporaneidade: mídias e direitos da sociedade em rede Santa Maria: Universidade Federal de Santa Maria.
  • SINHORETTO, Jacqueline; SILVESTRE, Giane; SCHLITTLER, Maria Carolina. 2014. Desigualdade racial e segurança pública em São Paulo: letalidade policial e prisões em flagrante Relatório de pesquisa. São Carlos: Departamento de Sociologia da Universidade Federal de São Carlos.
  • WERNECK, Jurema. 2016. “Racismo institucional e saúde da população negra”. Saúde e Sociedade Vol. 25, n°. 3, p. 525-549.
  • WU, Xiaolin; ZHANG, Xi, 2016. “Responses to Critiques on Machine Learning of Criminality Perceptions”. arXiv, nº. 1611.04135v3.
  • 1
    Traducido del portugués de Silva, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes digitais. São Paulo: Edições Sesc, 2022. Capítulo 4 (n/p). Los organizadores de este dossier agradecen al autor y al editor por su generosa autorización para publicar esta versión.
  • 2
    N.T.: el título “Dark Matters” puede ser leído también como “lo oscuro tiene importancia”.
  • 3
    Véase el infográfico producido por el Instituto IgarapéINSTITUTO IGARAPÉ. 2021. “Infográfico Reconhecimento Facial no Brasil”. Disponible en: https://igarape.org.br/infografico-reconhecimento-facial-no-brasil. [Acceso Oct. 2021]
    https://igarape.org.br/infografico-recon...
    : https://igarape.org.br/infografico-reconhecimento-facial-no-brasil/. Acceso en octubre 2021.
  • 4
    NT: la micareta es una fiesta que emula el carnaval, pero se realiza en una fecha diferente. La de Feira de Santana es una de las más renombradas.
  • 5
    Cierta cantidad de drogas ilícitas en posesión de policías corruptos, que la transportan con el objetivo de incriminar a ciudadanos, “plantando” la droga como prueba de un delito que no cometieron.
  • 6
    Los datos provienen de Crunchbase, página de la Faception: https://www.crunchbase.com/organization/faception/company_financials.
  • Traducción

    Andrea Lacombe
  • Revisión técnica

    Horacio F. Sívori

Fechas de Publicación

  • Publicación en esta colección
    04 Dic 2023
  • Fecha del número
    2023

Histórico

  • Recibido
    12 Oct 2022
  • Acepto
    16 Set 2023
Centro Latino-Americano em Sexualidade e Direitos Humanos (CLAM/IMS/UERJ) R. São Francisco Xavier, 524, 6º andar, Bloco E 20550-013 Rio de Janeiro/RJ Brasil, Tel./Fax: (21) 2568-0599 - Rio de Janeiro - RJ - Brazil
E-mail: sexualidadsaludysociedad@gmail.com