Críticas a un algoritmo racista

El software analiza una serie de factores de riesgo en la vida de las personas y les asigna "puntuaciones de riesgo" en cuanto a qué tan probable son de volver a cometer un delito. Según publicó Business Insider, en Arizona, Colorado, Delaware, Kentucky, Louisiana, Oklahoma, Virginia, Washington y Wisconsin, estos resultados son utilizados en el proceso de sentencia.

ProPublica estudió los datos de 7.000 personas detenidas en el condado de Broward, Florida, y se encontró tres elementos: los resultados arrojados por el software no son muy buenos para predecir que va a reincidir; las personas blancas eran mucho más propensas a tener puntuaciones bajas (aunque luego reincidieran) y las personas negras eran mucho más propensas a tener puntuaciones altas y no a reincidir.

Northpointe, la empresa que evalúa los riesgos en el condado de Broward, rechazó el análisis de ProPublica, con el argumento de que estas afirmaciones no "reflejan con precisión los resultados de la aplicación del modelo", pero no dio a conocer cómo llegó a determinadas puntuaciones de riesgo.