Use of the COMPAS algorithm in the criminal process and the risks to human rights
DOI:
https://doi.org/10.22197/rbdpp.v8i1.615Keywords:
Artificial intelligence, criminal justice, algorithms, human rightsAbstract
Diverse risk assessment algorithms used in policing, justice administration and criminal proceedings have contributed to promptness in decision making. Controversies have emerged regarding their enforcement, due to certain subjective weighted variables that may lead to a possible breach of human rights. This article describes the main risk assessment algorithms, emphasizing the COMPAS algorithm and determining its impact on human rights. The method used is deductive-inductive, on the basis of a documentary analysis that describes the operation of algorithms, and an inductive process used to determine if human rights are guaranteed while it is used. Results indicate that, in fact, risks exist at the time of using intelligent predictive systems, derived from a lack of transparency in the design of the algorithm and bias. The above would not allow the identification of the process used to classify the risk level and the unbiased application of the evaluation, jeopardising rights like due process, freedom and non-discrimination, among others.
Downloads
References
ANAYA, Alejandro. Glosario de términos básicos sobre derechos humanos. Universidad Iberoamericana, Ciudad de México: Constanza Perez Reyes, 2006.
ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias. Disponible en: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing/>. Acceso: 01 oct. 2020.
ARNOL VENTURES. Public Safety Assessment FAQs (“PSA 101”). 2019.
ARNOLD, David; DOBBIE, Will. YANG, Crystal S. Racial bias in bail decisions. The Quarterly Journal of Economics, v. 133, n. 4, p. 1885-1932, 2018. http://dx.doi.org/10.3386/w23421
ASHLEY, Kevin. Computational Models of Legal Argument. Cambridge University Press, p.127-168, (2017). https://doi.org/10.1017/9781316761380.005
AYUDA, Fernando. ¿Inteligencia Artificial y Derecho? Sí, pero ¿cómo?. Revista Democracia Digital e Governo Eletrônico, Florianópolis, v. 1, n. 18, p. 36-57, 2019, 36-57. 2019.
BUOLAMWINI, Joy. Artificial intelligence has a problem with gender and racial bias. Here’s how to solve it. Disponible en: < https://www.media.mit.edu/articles/artificial-intelligence-has-a-problem-with-gender-and-racial-bias-here-s-how-to-solve-it/ >. Acceso: 30 oct. 2020.
BUOLAMWINI, Joy. IBM Leads, More Should Follow: Racial Justice Requires Algorithmic Justice. Disponible en: < https://medium.com/@Joy.Buolamwini/ibm-leads-more-should-follow-racial-justice-requires-algorithmic-justice-and-funding-da47e07e5b58/ >. Acceso: 30 oct. 2020.
CASABONA, Carlos María. Riesgo, procedimientos actuariales basados en inteligencia artificial y medidas de seguridad. Revista de Derecho, Empresa y Sociedad, n. 13, p. 39-55, 2018.
CASACUBERTA, David. Sesgo en bucle: alimentando la injusticia algorítmica. Disponible en: <http://lab.cccb.org/es/sesgo-en-bucle-alimentando-la-injusticia-algoritmica/>. Acceso: 01 oct. 2020.
COMISIÓN EUROPEA. Libro Blanco. Sobre la Inteligencia Artificial: un enfoque europeo orientado a la excelencia y la confianza. Bruselas: 2020
CORTE INTERAMERICANA DE DERECHOS HUMANOS. (s.f.). Cuadernillo de jurisprudencia de la Corte Interamericana de Derechos Humanos nº 12: debido proceso. s.f.
CORVALÁN, Juan Gutavo. (2018). Inteligencia artificial: retos, desafios y oportunidades- pometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia. Revista de Investigações Constitucionais, v. 5, n. 1,
p. 295-316, 2018. http://dx.doi.org/10.5380/rinc.v5i1.55334
FERRAJOLI, Luigi. Derecho y razón. Madrid, Trotta, 1995.
GARAY, Lucía. Peligrosidad, algoritmos y due process: el caso State v Loomis. Revista de Derecho Penal y Criminología (uned), n. 20, p. 485-502, 2018. http://dx.doi.org/10.5944/rdpc.20.2018.26484
GARFINKEL, Harold. Conditions of successful degradation ceremonies. American journal of Sociology, v. 61, n. 5, p. 420-424, 1956. http://dx.doi.org/10.1086/221800
GIMÉNEZ, María. Inteligencia Artificial y Derecho Penal. Actualidad Jurídica Iberoamericana, n. 10, p. 792-843, 2019.
HAO, Karen. This is how AI bias really happens—and why it’s so hard to fix. Disponible en: <https://www.technologyreview.com/2019/02/04/137602/this-is-how-ai-bias-really-happensand-why-its-so-hard-to-fix/> . Acceso: 01 oct. 2020.
HAO, Karen. La IA que evalúa a delincuentes perpetúa la injusticia hacia las minorías. Disponible en: <https://www.technologyreview.es/s/10899/la-ia-que-evalua-delincuentes-perpetua-la-injusticia-hacia-las-minorias/>. Acceso: 01 oct. 2020.
HILLMAN, Noel. The Use of Artificial Intelligence in Gauging the Risk of Recidivism. Disponible en: <https://www.americanbar.org/groups/judicial/publications/judges_journal/2019/winter/the-use-artificial-intelligence-gauging-risk-recidivism/>. Acceso: 01 oct. 2020.
KEHL, Danielle; GUO, Priscilla; KESSLER, Samuel. Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessments in Sentencing. Berkman Klein Center for Internet & Society, Harvard Law School, p. 2-36, 2017.
LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren; ANGWIN, Julia. How We Analyzed the COMPAS Recidivism Algorithm. Disponible en: <https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm/>. Aceso en: 21 sep. 2020.
LINARES, Fernando. Inteligencia Artificial y Justicia Penal: Más Allá de los Resultados Causados por Robots. Revista de Derecho Penal y Criminología, n. 20, p. 87-130, 2018. http://dx.doi.org/10.5944/rdpc.20.2018.26446
LIU, Han-Wei; LIN, Ching-Fu; CHEN, Yu-Jie. Beyond State v Loomis: artificial intelligence, government algorithmization and accountability. International Journal of Law and Information Technology, v. 27, n. 2, p. 122-141, 2019. http://dx.doi.org/10.1093/ijlit/eaz001
MUTSAERS, Paul. Changing Chronotopes of Policing: TimeSpace, Race,and Juvenile Justice in Amsterdam. Environment and Planning D: Society & Space, s.f.
NACIONES UNIDAS. Informe de la Conferencia Mundial contra el Racismo, la Discriminación Racial, la Xenofobia y las Formas Conexas de Intolerancia. Durban: 2001.
NACIONES UNIDAS. Protocolo Facultativo de la Convención contra la Tortura y Otros Tratos o Penas Crueles: declaración provisional sobre el papel desempeñado por la revisión judicial y el debido proceso en la prevención de la tortura adoptado por el Subcomité para la Prevención de la Tortura y Otros Tratos o Penas Crueles, Inhumanos o Degrandantes. 2012.
NACIONES UNIDAS. Principios y directrices de las Naciones Unidas sobre el acceso a la asistencia jurídica en los sistemas de justicia penal. Viena: Oficina de las Naciones Unides contra la droga y el delito, 2013.
NACIONES UNIDAS. Igualdad y no discriminación. Disponible en: <https://www.un.org/ruleoflaw/es/thematic-areas/human-rights/equality-and-non-discrimination/>. Acceso en: 21 sep. 2020.
NAVARRO, José Bonet. Algunas Reflexiones Sobre la Viabilidad de la Inteligencia Artificial en el Proceso Penal. REVISTA INMEXIUS. Revista de Derecho Penal y Procesal Penal. n. 40, p. 1-12, 2020.
NORTHPOINTE. Measurement & treatment implications of compas core scales. Northpointe Institute for Public Management, Inc, 2009.
NORTHPOINTE. Practitioner’s Guide to COMPAS Core. Northpointe Inc, 2015.
OSOBA, Osonde, WELSER IV, William. An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation, 2017.
RIZER, Arthur; WATNEY, Caleb. Artificial intelligence can make our jail system more efficient, equitable, and just. Texas Review of Law & Politics, Austin, v. 23, n. 1, p. 181-227, 2018. http://dx.doi.org/10.2139/ssrn.3129576
SILVA, Jesús. La expansión del Derecho penal. Aspectos de la política criminal en las sociedades postindustriales, Madrid, p. 144, 1999.
SOUSA, Susana. Neurociências e Direito Penal:em busca da “verdade” perdida (na mente)? Nótulas á margem do “caso Ricla”, p. 3-12, 2017.
WAKEFIELD, Jane. Así funciona "la mente" de Norman, el algoritmo psicópata del MIT que solo ve lo más tenebroso de la red. Disponible en: <https://www.bbc.com/mundo/noticias-44482471/>. Acceso en: 19 sep. 2020.
Downloads
Published
Issue
Section
License
Copyright (c) 2022 Marcela del Pilar Roa Avella, Jesús E Sanabria-Moyano, Katherin Dinas-Hurtado

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
As of 2022, articles published in the RDPP are licensed under Creative Commons Atribuição 4.0 Internacional. rticles published until 2021 adopted the Creative Commons Atribuição-NãoComercial 4.0 Internacional.