Use of the COMPAS algorithm in the criminal process and the risks to human rights

Authors

DOI:

https://doi.org/10.22197/rbdpp.v8i1.615

Keywords:

Artificial intelligence, criminal justice, algorithms, human rights

Abstract

Diverse risk assessment algorithms used in policing, justice administration and criminal proceedings have contributed to promptness in decision making. Controversies have emerged regarding their enforcement, due to certain subjective weighted variables that may lead to a possible breach of human rights. This article describes the main risk assessment algorithms, emphasizing the COMPAS algorithm and determining its impact on human rights. The method used is deductive-inductive, on the basis of a documentary analysis that describes the operation of algorithms, and an inductive process used to determine if human rights are guaranteed while it is used. Results indicate that, in fact, risks exist at the time of using intelligent predictive systems, derived from a lack of transparency in the design of the algorithm and bias. The above would not allow the identification of the process used to classify the risk level and the unbiased application of the evaluation, jeopardising rights like due process, freedom and non-discrimination, among others.

Downloads

Download data is not yet available.

Author Biographies

  • Marcela del Pilar Roa Avella, Universidad Militar Nueva Granada – Bogotá, Colômbia

    Profesora e investigadora del grupo “Derecho Público” y de la línea “Derecho Penal y Justicia Militar” del Centro de Investigaciones Jurídicas, Políticas y Sociales de la Facultad de Derecho, Bogotá de la Universidad Militar Nueva Granada. Abogado por la Universidad del Rosario (Colombia). Especialista en Ciencias Penales y Ciencias Penales de la Universidad Externado (Colombia). Magister en derecho penal de la Universidad de Santo Tomás en convenio con la Universidad de Salamanca (Colombia).

  • Jesús E Sanabria-Moyano, Universidad Militar Nueva Granada – Bogotá, Colômbia

    Profesor e investigador del grupo “Derecho Público” y de la línea “Derecho Internacional, Derechos Humanos y Derechos Humanos Internacionales” del Centro de Investigaciones Jurídicas, Políticas y Sociales de la Facultad de Derecho, Bogotá de la Universidad Militar Nueva Granada. Abogado por la Universidad Militar Nueva Granada (Colombia). Especialista en Derechos Humanos y Derecho Internacional Humanitario aplicado a los Conflictos Armados de la Facultad de Derechos Humanos y Derecho Internacional Humanitario del Ejército Nacional (Colombia). Magister en Derecho Público Militar de la Universidad Militar Nueva Granada (Colombia).

  • Katherin Dinas-Hurtado, Universidad Militar Nueva Granada – Bogotá, Colômbia

    Joven investigadora de la Universidad Militar Nueva Granada del Grupo Derecho público y línea de derecho penal y justicia militar. Abogada por la Universidad Militar Nueva Granada (Colombia).

References

ANAYA, Alejandro. Glosario de términos básicos sobre derechos humanos. Universidad Iberoamericana, Ciudad de México: Constanza Perez Reyes, 2006.

ANGWIN, Julia; LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren. Machine Bias. Disponible en: <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing/>. Acceso: 01 oct. 2020.

ARNOL VENTURES. Public Safety Assessment FAQs (“PSA 101”). 2019.

ARNOLD, David; DOBBIE, Will. YANG, Crystal S. Racial bias in bail decisions. The Quarterly Journal of Economics, v. 133, n. 4, p. 1885-1932, 2018. http://dx.doi.org/10.3386/w23421

ASHLEY, Kevin. Computational Models of Legal Argument. Cambridge University Press, p.127-168, (2017). https://doi.org/10.1017/9781316761380.005

AYUDA, Fernando. ¿Inteligencia Artificial y Derecho? Sí, pero ¿cómo?. Revista Democracia Digital e Governo Eletrônico, Florianópolis, v. 1, n. 18, p. 36-57, 2019, 36-57. 2019.

BUOLAMWINI, Joy. Artificial intelligence has a problem with gender and racial bias. Here’s how to solve it. Disponible en: < https://www.media.mit.edu/articles/artificial-intelligence-has-a-problem-with-gender-and-racial-bias-here-s-how-to-solve-it/ >. Acceso: 30 oct. 2020.

BUOLAMWINI, Joy. IBM Leads, More Should Follow: Racial Justice Requires Algorithmic Justice. Disponible en: < https://medium.com/@Joy.Buolamwini/ibm-leads-more-should-follow-racial-justice-requires-algorithmic-justice-and-funding-da47e07e5b58/ >. Acceso: 30 oct. 2020.

CASABONA, Carlos María. Riesgo, procedimientos actuariales basados en inteligencia artificial y medidas de seguridad. Revista de Derecho, Empresa y Sociedad, n. 13, p. 39-55, 2018.

CASACUBERTA, David. Sesgo en bucle: alimentando la injusticia algorítmica. Disponible en: <http://lab.cccb.org/es/sesgo-en-bucle-alimentando-la-injusticia-algoritmica/>. Acceso: 01 oct. 2020.

COMISIÓN EUROPEA. Libro Blanco. Sobre la Inteligencia Artificial: un enfoque europeo orientado a la excelencia y la confianza. Bruselas: 2020

CORTE INTERAMERICANA DE DERECHOS HUMANOS. (s.f.). Cuadernillo de jurisprudencia de la Corte Interamericana de Derechos Humanos nº 12: debido proceso. s.f.

CORVALÁN, Juan Gutavo. (2018). Inteligencia artificial: retos, desafios y oportunidades- pometea: la primera inteligencia artificial de Latinoamérica al servicio de la Justicia. Revista de Investigações Constitucionais, v. 5, n. 1,

p. 295-316, 2018. http://dx.doi.org/10.5380/rinc.v5i1.55334

FERRAJOLI, Luigi. Derecho y razón. Madrid, Trotta, 1995.

GARAY, Lucía. Peligrosidad, algoritmos y due process: el caso State v Loomis. Revista de Derecho Penal y Criminología (uned), n. 20, p. 485-502, 2018. http://dx.doi.org/10.5944/rdpc.20.2018.26484

GARFINKEL, Harold. Conditions of successful degradation ceremonies. American journal of Sociology, v. 61, n. 5, p. 420-424, 1956. http://dx.doi.org/10.1086/221800

GIMÉNEZ, María. Inteligencia Artificial y Derecho Penal. Actualidad Jurídica Iberoamericana, n. 10, p. 792-843, 2019.

HAO, Karen. This is how AI bias really happens—and why it’s so hard to fix. Disponible en: <https://www.technologyreview.com/2019/02/04/137602/this-is-how-ai-bias-really-happensand-why-its-so-hard-to-fix/> . Acceso: 01 oct. 2020.

HAO, Karen. La IA que evalúa a delincuentes perpetúa la injusticia hacia las minorías. Disponible en: <https://www.technologyreview.es/s/10899/la-ia-que-evalua-delincuentes-perpetua-la-injusticia-hacia-las-minorias/>. Acceso: 01 oct. 2020.

HILLMAN, Noel. The Use of Artificial Intelligence in Gauging the Risk of Recidivism. Disponible en: <https://www.americanbar.org/groups/judicial/publications/judges_journal/2019/winter/the-use-artificial-intelligence-gauging-risk-recidivism/>. Acceso: 01 oct. 2020.

KEHL, Danielle; GUO, Priscilla; KESSLER, Samuel. Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessments in Sentencing. Berkman Klein Center for Internet & Society, Harvard Law School, p. 2-36, 2017.

LARSON, Jeff; MATTU, Surya; KIRCHNER, Lauren; ANGWIN, Julia. How We Analyzed the COMPAS Recidivism Algorithm. Disponible en: <https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm/>. Aceso en: 21 sep. 2020.

LINARES, Fernando. Inteligencia Artificial y Justicia Penal: Más Allá de los Resultados Causados por Robots. Revista de Derecho Penal y Criminología, n. 20, p. 87-130, 2018. http://dx.doi.org/10.5944/rdpc.20.2018.26446

LIU, Han-Wei; LIN, Ching-Fu; CHEN, Yu-Jie. Beyond State v Loomis: artificial intelligence, government algorithmization and accountability. International Journal of Law and Information Technology, v. 27, n. 2, p. 122-141, 2019. http://dx.doi.org/10.1093/ijlit/eaz001

MUTSAERS, Paul. Changing Chronotopes of Policing: TimeSpace, Race,and Juvenile Justice in Amsterdam. Environment and Planning D: Society & Space, s.f.

NACIONES UNIDAS. Informe de la Conferencia Mundial contra el Racismo, la Discriminación Racial, la Xenofobia y las Formas Conexas de Intolerancia. Durban: 2001.

NACIONES UNIDAS. Protocolo Facultativo de la Convención contra la Tortura y Otros Tratos o Penas Crueles: declaración provisional sobre el papel desempeñado por la revisión judicial y el debido proceso en la prevención de la tortura adoptado por el Subcomité para la Prevención de la Tortura y Otros Tratos o Penas Crueles, Inhumanos o Degrandantes. 2012.

NACIONES UNIDAS. Principios y directrices de las Naciones Unidas sobre el acceso a la asistencia jurídica en los sistemas de justicia penal. Viena: Oficina de las Naciones Unides contra la droga y el delito, 2013.

NACIONES UNIDAS. Igualdad y no discriminación. Disponible en: <https://www.un.org/ruleoflaw/es/thematic-areas/human-rights/equality-and-non-discrimination/>. Acceso en: 21 sep. 2020.

NAVARRO, José Bonet. Algunas Reflexiones Sobre la Viabilidad de la Inteligencia Artificial en el Proceso Penal. REVISTA INMEXIUS. Revista de Derecho Penal y Procesal Penal. n. 40, p. 1-12, 2020.

NORTHPOINTE. Measurement & treatment implications of compas core scales. Northpointe Institute for Public Management, Inc, 2009.

NORTHPOINTE. Practitioner’s Guide to COMPAS Core. Northpointe Inc, 2015.

OSOBA, Osonde, WELSER IV, William. An intelligence in our image: The risks of bias and errors in artificial intelligence. Rand Corporation, 2017.

RIZER, Arthur; WATNEY, Caleb. Artificial intelligence can make our jail system more efficient, equitable, and just. Texas Review of Law & Politics, Austin, v. 23, n. 1, p. 181-227, 2018. http://dx.doi.org/10.2139/ssrn.3129576

SILVA, Jesús. La expansión del Derecho penal. Aspectos de la política criminal en las sociedades postindustriales, Madrid, p. 144, 1999.

SOUSA, Susana. Neurociências e Direito Penal:em busca da “verdade” perdida (na mente)? Nótulas á margem do “caso Ricla”, p. 3-12, 2017.

WAKEFIELD, Jane. Así funciona "la mente" de Norman, el algoritmo psicópata del MIT que solo ve lo más tenebroso de la red. Disponible en: <https://www.bbc.com/mundo/noticias-44482471/>. Acceso en: 19 sep. 2020.

Downloads

Published

2022-04-29

Issue

Section

Fundamentals of Criminal Procedure

How to Cite

Roa Avella, M. del P., Sanabria-Moyano, J. E., & Dinas-Hurtado, K. (2022). Use of the COMPAS algorithm in the criminal process and the risks to human rights. Brazilian Journal of Criminal Procedure, 8(1). https://doi.org/10.22197/rbdpp.v8i1.615