En el año 2013, en el estado de Wisconsin, Estados Unidos, Eric Loomis se encontró en el centro de una controvertida situación legal al ser acusado y, posteriormente, declarado culpable de su participación en un tiroteo. Sin embargo, lo que hizo que su caso se destacara fue la utilización del software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) desarrollado por Northpointe, que realizó una evaluación algorítmica del riesgo de reincidencia de Loomis.
El programa COMPAS, parte de una nueva ola de tecnologías conocidas como Crime Predicting Software, se encargó de calcular el riesgo de reincidencia de Loomis. Esta evaluación fue un factor determinante que llevó a la imposición de una sentencia que incluía seis años de prisión y cinco años de libertad condicional.
La controversia surgió cuando Loomis impugnó la sentencia argumentando que el uso de la evaluación de riesgos por parte del tribunal violaba su derecho al debido proceso, en parte, porque que no se le otorgó la oportunidad de analizar y entender el funcionamiento del algoritmo que tuvo peso en su condena. La naturaleza confidencial del algoritmo, protegido como secreto comercial, le impidió acceder a la información en la que se basaba software.
A pesar de los esfuerzos de Loomis, sus argumentos fueron rechazados en diversas instancias, incluida la Corte Suprema de Wisconsin, que confirmó la sentencia. La mayoría de los magistrados expresaron preocupación por el uso de algoritmos no transparentes, en particular COMPAS. Para abordar estas inquietudes, la mayoría de la Corte insistió en incluir advertencias sobre las limitaciones de COMPAS en informes previos a las sentencias, con el objetivo de prevenir violaciones del debido proceso.
Según Ashley Deeks (The Judicial Demand for Explainable Artificial Intelligence, Columbia Law Review, vol. 119, no. 7. Noviembre 2019) se ha observado, en varias jurisdicciones de los Estados Unidos, un cambio hacia algoritmos que utilizan datos públicos, alejándose de los algoritmos comerciales opacos. Aunque algunas jurisdicciones mantienen interés en la Inteligencia Artificial explicativa (IAx) -estos son sistemas de IA que puedan explicar cómo sus algoritmos llegan a determinadas conclusiones y predicciones-, reconocen que los códigos fuente a menudo no proporcionan una explicación pertinente o una explicación a secas.
La misma autora ha propuesto que los tribunales que dependen de algoritmos predictivos opacos deberían insistir más en la implementación de inteligencia artificial explicativa (IAx) por varias razones:
1. La obligación legal de fundamentar las sentencias que tienen los tribunales federales y estatales permite la evaluación pública y revisión por instancias superiores, por lo que deviene esencial que los jueces que utilizan esta tecnología deban comprender los parámetros de los algoritmos.
2. La IAx contribuiría a garantizar la precisión y equidad en la justicia, evaluando si los algoritmos cumplen con estos estándares o contienen errores significativos.
3. La exigencia de IAx podría asociarse con la integridad institucional de los tribunales, especialmente cuando se utilizan fuentes de evaluación poco confiables, y servir como medida preventiva para evitar la revocación de sentencias en instancias superiores debido al uso de herramientas mal comprendidas.
4. Los jueces podrían considerar la IAx, a solicitud de abogados defensores, a los efectos de facilitar la debida contradicción en el juicio y promover la equidad procesal en el sistema judicial.
Estas consideraciones resaltan la creciente importancia de la transparencia y la aplicabilidad en el uso de algoritmos en la toma de decisiones legales.
En el ámbito de la Propuesta de Reglamento de Inteligencia Artificial (RIA) de la Unión Europea estos sistemas de Inteligencia Artificial (RIA) son considerados de alto riesgo y estarán sometidos al cumplimiento de determinados requisitos como: sistema de gestión de riesgo, gobernanza de datos, precisión, solidez y seguridad del sistema, transparencia, vigilancia humana y registro automático de eventos. Adicionalmente, los proveedores tienen la obligación de llevar a cabo una evaluación de la conformidad interna del sistema de IA con el RIA antes de su puesta en el mercado o utilización. Igualmente, deberá realizarse un seguimiento del sistema una vez desplegado el mismo.
En lo que tiene que ver con el acceso al código fuente, la autoridad de vigilancia está autorizada a acceder al mismo, siempre y cuando se justifique razonablemente la solicitud y se cumplan los requisitos establecidos por el RIA. Estos poderes de acceso están sujetos a estrictos deberes de confidencialidad y sigilo, ya que los datos y el código fuente pueden involucrar información sensible, derechos comerciales e intereses estratégicos tanto de los proveedores como de otros actores que participan en la cadena de valor de la IA.
El caso de Eric Loomis sentó un precedente crucial en la jurisprudencia estadounidense, destacando la creciente influencia de algoritmos y programas de predicción de delitos en el sistema legal. COMPAS es solo un ejemplo entre muchos programas que utilizan el aprendizaje automático para prever delitos, recopilando y analizando una gran cantidad de datos sobre crímenes pasados para anticipar eventos futuros que el ser humano es incapaz de abordar.
*Daniel Lage-Etchart
Doctorando en TICs (UDC)
Master en Derecho Digital e Inteligencia Artificial (UDC)
Master en Banca y Mercados Financieros (UDC)
Escribano Público (UDELAR)
