En su sentido más amplio, el término “inclinación” simplemente significa “desviación”. A veces, el término se emplea con un sentido relativamente neutro debido a su uso no diferenciado.
Un ejemplo de este uso no diferenciado del término es cuando una persona va a comprar alimentos. En esa situación la persona se “inclina” por comprar frutas que no se encuentren en mal estado. En otras ocasiones, el término “inclinación” se utiliza con una connotación moral; por ejemplo, alguien que se encarga de emplear gente “tiende” a no contratar personas pertenecientes a clases sociales minoritarias.
Un ejemplo de este uso no diferenciado del término es cuando una persona va a comprar alimentos. En esa situación la persona se “inclina” por comprar frutas que no se encuentren en mal estado. En otras ocasiones, el término “inclinación” se utiliza con una connotación moral; por ejemplo, alguien que se encarga de emplear gente “tiende” a no contratar personas pertenecientes a clases sociales minoritarias.
En este artículo nos enfocaremos en situaciones como la del último ejemplo. Si alguien desea desarrollar criterios para juzgar la calidad de los sistemas en uso, lo cual hacemos, entonces los criterios deben ser definidos de manera que se hable de los asuntos sociales relevantes de forma amplia pero precisa. Esto se logra mediante un enfoque en el sesgo con implicaciones morales.
Por lo tanto, utilizamos el término sesgo para referirnos a sistemas informáticos que discriminan de forma injusta y sistemática a ciertos individuos o a grupos de individuos en favor de otros. Un sistema discrimina injustamente si niega oportunidades y beneficios, o si asigna resultados indeseables a personas o grupos de personas por motivos irracionales o inapropiados.
Consideremos, por ejemplo, un asesor automático de crédito que interviene en la decisión de ampliar o no el crédito de un solicitante en particular. Si el asesor niega el crédito a personas que en los registros sistemáticos no cumplen regularmente con los pagos no significa que sea un sistema sesgado, puesto que en una compañía de créditos es razonable y pertinente evitar la extensión de privilegios de crédito a gente que no paga con regularidad sus cuentas.
Pero si un asesor asigna sistemáticamente bajas calificaciones crediticias a individuos que pertenecen a clases sociales minoritarias, estaríamos hablando de una discriminación injusta. Es una discriminación en ámbitos que no son relevantes para la evaluación del crédito.
En primer lugar, la discriminación injusta no da lugar a un sesgo por si sola, a menos que ocurra de forma sistemática. Retomemos el ejemplo del asesor automático de crédito e imaginemos una falla aleatoria en el sistema. En un caso aislado, esta falla cambia la información en la copia del historial de crédito de un solicitante que por casualidad tiene un apellido que corresponde a una minoría de origen étnico. Este cambio de la información le asigna una baja calificación crediticia al solicitante. A pesar que el solicitante sufre una discriminación injusta como resultado de una falla aleatoria del sistema, el solicitante perjudicado pudo ser cualquier persona.
Si este incidente se repite y el mismo solicitante u otros solicitantes de origen similar no son discriminados injustamente por el sistema, entonces podemos ratificar que aunque el sistema tiende a tener fallas aleatorias, no se trata de un sistema sesgado.
En segundo lugar, la discriminación sistemática no crea sesgos a menos que se relacione con resultados injustos. Un caso a señalar es la Guerra del Golfo Pérsico, en donde se utilizaron los misiles Patriots de los Estados Unidos para detectar e interceptar los misiles Scud Iraquíes. Durante la guerra al menos se logró identificar un error de software que contribuyó al mal desempeño de los misiles Patriots [Gao 1992].
Los cálculos utilizados para predecir la ubicación del misil Scud dependieron del reloj interno de los misiles Patriots. Así a mayor tiempo de funcionamiento continuo de los mismos, mayor fue la imprecisión de los cálculos. La muerte de por lo menos 28 estadounidenses en la ciudad de Dhahran pudo ser localizada gracias a este error de software. El error de software distorsionó sistemáticamente la precisión de los misiles Patriots.
Si no minimizamos las consecuencias importantes de este error sistemático, queda fuera de nuestro análisis ya que no implica injusticia.
El texto original puede verse en:
http://www.nyu.edu/projects/nissenbaum/papers/biasincomputers.pdf
Consideremos, por ejemplo, un asesor automático de crédito que interviene en la decisión de ampliar o no el crédito de un solicitante en particular. Si el asesor niega el crédito a personas que en los registros sistemáticos no cumplen regularmente con los pagos no significa que sea un sistema sesgado, puesto que en una compañía de créditos es razonable y pertinente evitar la extensión de privilegios de crédito a gente que no paga con regularidad sus cuentas.
Pero si un asesor asigna sistemáticamente bajas calificaciones crediticias a individuos que pertenecen a clases sociales minoritarias, estaríamos hablando de una discriminación injusta. Es una discriminación en ámbitos que no son relevantes para la evaluación del crédito.
En primer lugar, la discriminación injusta no da lugar a un sesgo por si sola, a menos que ocurra de forma sistemática. Retomemos el ejemplo del asesor automático de crédito e imaginemos una falla aleatoria en el sistema. En un caso aislado, esta falla cambia la información en la copia del historial de crédito de un solicitante que por casualidad tiene un apellido que corresponde a una minoría de origen étnico. Este cambio de la información le asigna una baja calificación crediticia al solicitante. A pesar que el solicitante sufre una discriminación injusta como resultado de una falla aleatoria del sistema, el solicitante perjudicado pudo ser cualquier persona.
Si este incidente se repite y el mismo solicitante u otros solicitantes de origen similar no son discriminados injustamente por el sistema, entonces podemos ratificar que aunque el sistema tiende a tener fallas aleatorias, no se trata de un sistema sesgado.
En segundo lugar, la discriminación sistemática no crea sesgos a menos que se relacione con resultados injustos. Un caso a señalar es la Guerra del Golfo Pérsico, en donde se utilizaron los misiles Patriots de los Estados Unidos para detectar e interceptar los misiles Scud Iraquíes. Durante la guerra al menos se logró identificar un error de software que contribuyó al mal desempeño de los misiles Patriots [Gao 1992].
Los cálculos utilizados para predecir la ubicación del misil Scud dependieron del reloj interno de los misiles Patriots. Así a mayor tiempo de funcionamiento continuo de los mismos, mayor fue la imprecisión de los cálculos. La muerte de por lo menos 28 estadounidenses en la ciudad de Dhahran pudo ser localizada gracias a este error de software. El error de software distorsionó sistemáticamente la precisión de los misiles Patriots.
Si no minimizamos las consecuencias importantes de este error sistemático, queda fuera de nuestro análisis ya que no implica injusticia.
El texto original puede verse en:
http://www.nyu.edu/projects/nissenbaum/papers/biasincomputers.pdf
No hay comentarios:
Publicar un comentario