ace unas semanas pudimos leer una entrevista a uno de los participantes del grupo de trabajo que trató de regular los sistemas de inteligencia artificial en la ciudad de Nueva York. Se trata de un proceso que, parece, ha resultado fallido. La economía de la ciudad de New York tiene el mismo Producto Interior Bruto (aproximado) que España. Es decir, un fracaso de un grupo de trabajo de una ciudad de tal magnitud, que nos puede alumbrar un camino a otros países en cuanto a las repercusiones y resultados obtenidos. Entender las raíces y razones del citado fracaso, invitan a aprender mucho de lo difícil que puede ser este proceso para otros contextos que lo intenten.

El objetivo de este grupo era entender cómo los sistemas de decisión automáticos (con inteligencia supuestamente artificial) impactan en sus ciudadanos y ciudadanas. Es decir, controlar y supervisar un eventual mal uso de los recursos públicos, los sesgos en la toma de decisiones automáticas y asegurar procesos justos sin injerencias de un algoritmo. La singularidad de este equipo es que fue el primero de todo EEUU, siendo el país que junto con China está revolucionando cadenas de producción y de comunicación introduciendo sistemas inteligentes, este fracaso puede marcar un importante precedente.

Las preocupaciones que tenía el Ayuntamiento de Nueva York no dejan de ser cualquier cuestión que leemos con recurrencia en medios más cercanos: comportamientos racistas en la toma de decisiones policiales, mal uso de recursos públicos en los cuerpos de seguridad por no dejarse aconsejar por sistemas de decisión inteligentes, prevención del fraude mal detectada (que en EEUU se ha llevado incluso alguna vida por delante), etc. Hasta aquí, parece todo bastante lógico y razonable.

El problema viene en el proceso, como suele ocurrir. Con la irrupción de la inteligencia artificial como nueva tecnología de propósito general, es fácil diagnosticar las cosas que deberán cambiar o que no se hacen bien. Pero es bastante más difícil saber cómo hacerlo. En este grupo de trabajo falló el principal elemento de partida: ¿qué es un sistema de decisión automática? Lo sorprendente de esta historia es que el punto principal de debate radicó en que una parte de los participantes entendían que un sistema de reglas de Excel también debe ser auditable como sistema inteligente. Otros, entendían que los riesgos reales están en esos algoritmos entrenados sobre datos seleccionados con cierta intención y que por lo tanto perpetúan sesgos. Es decir, partimos de una parte conceptual definitoria muy contrapuesta. Y lo peor de todo: parece que se trataba de una práctica común que hubiera tablas de Excel ayudando a tomar decisiones públicas. Y encima, lo hacían sin mucha intervención humana. Supuestamente porque son inteligentes. Lo cual, es quizás, el mayor de los peligros sociales que existen actualmente (interpretar una regla o función como algo necesariamente inteligente). Suelo hablar últimamente mucho del concepto de inteligencia extendida. No creo que todavía tengamos sistemas (y menos hojas Excel) que lleguen realmente a ser de inteligencia artificial. Creo que deben ser vistas como una manera de extender las capacidades humanas o de mejorar éstas. Pero la sustitución dista mucho de ser una realidad cercana. Esta historia no dejaría de ser algo anecdótica si no fuera porque tengo cierta sospecha que esta misma situación se estará viviendo en muchos sitios. Se montan equipos de expertos con representantes de empresas privadas e instituciones públicas sin que la ciudadanía sepamos muy bien las conclusiones y el proceso deliberativo que siguen. Y tampoco qué se entiende por sistema inteligente. ¿De dónde se parte?; ¿qué se debe regular?; ¿qué papel juega cada parte y qué representa?; ¿qué entendemos por inteligente?; ¿dónde están los peligros reales para la ciudadanía?; ¿Cómo se puede abordar la solución a dichos problemas?

Es pronto aún para entender lo que está ocurriendo. Pero a la par, estamos automatizando decisiones. Se están construyendo modelos que ayudan a tomar decisiones de ámbito público, sin que nadie escrutine nada.