Es una realidad que la IA es una herramienta muy valiosa para combatir el fraude, ya que su capacidad para analizar datos y detectar patrones sospechosos supera en muchos casos la capacidad humana. Sin embargo, el uso de modelos de Machine Learning en nuestros sistemas de detección de fraude puede suponer un reto a la hora de explicar el proceso o interpretar los resultados.
La búsqueda de una IA comprensible para todos
Tener una gran precisión y un bajo número de falsos positivos es clave en cualquier modelo supervisado de detección de fraude. Para hacerlo posible, solemos recurrir a modelos como Neural Network o Gradient Boosting, que tienen mejor capacidad predictiva que otros más sencillos, pero pueden ser complicados de explicar y, por tanto, se hace difícil entender las razones por las que se llega a una predicción.
Ahora bien, existen métodos de interpretabilidad Post-hoc que permiten cumplir con el compromiso de transparencia, aunque requieren un paso adicional en el desarrollo del modelo. O también los métodos Intrinsic (intrínsecos), que se basan en la propia definición del algoritmo para explicarse, como sucede con modelos sencillos como los árboles de decisión. Estos métodos nos facilitarán la comprensión de nuestros modelos, pero antes debemos preguntarnos: ¿qué es una buena explicación?
En el momento de abordar el fraude, tenemos que considerar diversos factores. El primero es la existencia de públicos con diferentes niveles de conocimiento, todos ellos con la necesidad de comprender esta tecnología tan compleja. Por una parte, resulta fundamental que los propios científicos de datos y desarrolladores dispongan de herramientas que les permitan analizar la información, aprender nuevos patrones de fraude y detectar la información relevante. La sinergia entre la analítica avanzada y los profesionales del sector es lo que impulsará el uso de la IA y permitirá aprovecharla al máximo. Pero si sólo utilizamos métodos de interpretabilidad muy detallados y pensados para expertos, seguiremos sin poder explicar cómo funcionan los modelos al público general.
Los reguladores, directivos, managers y otros gestores forman un grupo intermedio que necesita comprender el concepto y los resultados para tomar decisiones informadas. Si bien no son expertos en ciencia de datos o analítica, requieren una visión lo suficientemente detallada para aprobar el uso de estas herramientas o justificar su desarrollo.
Por otra parte, están los usuarios finales, que son quienes usarán los resultados. Deben poder comprenderlos para apreciar el valor que aportan y sacar provecho de los algoritmos. Del mismo modo, el público general y la sociedad necesitan digerir el funcionamiento de la IA para confiar en ella y en las entidades que la utilizan.
Entendiendo el modelo: métodos para comprender su razonamiento
La primera clave de una buena interpretabilidad es su adaptabilidad a las necesidades y el nivel de conocimiento de los que la reciben. Además, las explicaciones contrastivas suelen facilitar el entendimiento al reconocer bien el objetivo del modelo. Por ejemplo, la interpretabilidad permite comprender por qué una situación se considera fraude y otra no. Se trata también de un ejercicio de simplificación, necesitamos métodos que no solo identifiquen los factores relevantes, sino que también los ordenen por importancia. Es decir, que nos ayude a identificar qué información dentro del conjunto de datos que tenemos es más útil para detectar el fraude.
Así pues, existen distintos métodos de interpretabilidad para distintos casos de uso. En el caso de la detección de fraude, podemos ofrecer algunos ejemplos para necesidades concretas que surgen al utilizar la IA. Ante todo, debemos tener la capacidad de explicar los algoritmos en un lenguaje natural y comprensible para los distintos grupos a los que va dirigido, adaptándonos al conocimiento de cada uno, además de poder atender a cualquier requerimiento más concreto que ponga en duda el funcionamiento de los métodos empleados. Esto incluye la posibilidad de crear informes detallados que sean claros, concisos y puedan ser utilizados tanto para responder reclamaciones como para realizar auditorías. Así como tener la capacidad de trasladar métodos complejos a lenguaje natural para que sea comprensible por personas que no son expertas en la materia.
Para responder a esta necesidad tenemos una amplia gama de métodos de lo que llamamos Interpretabilidad Global. Con ellos tratamos de comprender el funcionamiento del modelo y cuáles son los criterios de los que parte para puntuar sus observaciones. Así, nos ayudarán a justificar cuáles son los patrones buscados y considerados de riesgo dentro de nuestro modelo de fraude, así como conocer cuál es la información que más peso tiene a la hora de evaluar los eventos. Dentro de este grupo tenemos varias opciones como, por ejemplo:
- La importancia de las variables, que determina cuáles aportan más información relevante a nuestro modelo y, por ende, tienen mayor poder predictivo e impacto en el resultado.
- Gráficos de dependencia parcial (Partial Dependence Plot), que muestran el efecto marginal de las variables de entrada en la predicción final del modelo, permitiendo ver la relación entre ellas. Un gráfico plano sugiere que la entidad no es importante. Por el contrario, mientras mayor sea la variación en la gráfica, mayor será la importancia de la entidad.
Estos son solo dos ejemplos de los diversos métodos de interpretabilidad global que existen y que están disponibles en SAS Viya.
¿Cómo explicar las predicciones?
Para gestionar los casos de manera eficiente, es fundamental explicar las alertas correctamente y transmitir a los investigadores la información precisa para que realicen las comprobaciones pertinentes. Esto quiere decir que, además de entender el funcionamiento genérico de los modelos, es importante que tengamos la capacidad de explicar con detalle cada una de las predicciones, recurriendo así a la Interpretabilidad Local. Los métodos nos revelarán las razones y la lógica concreta que sustentan un veredicto de un modelo complejo. Además, serán fundamentales para el proceso de feedback, aprendizaje y asimilación de la información generada por la IA en un lenguaje de negocio y profesional.
Estos métodos ofrecen diferentes opciones, dependiendo de las necesidades. Se pueden realizar simplificaciones que aproximan los modelos de forma eficiente y comprensible para el usuario de negocio, así como también hay opciones más precisas que consideran la complejidad que pueden alcanzar los modelos de Machine Learning. Entre los métodos más populares encontramos:
- Explicación Agnóstica Local del Modelo Interpretable (LIME): este método se basa en un modelo simple e interpretable para explicar las variaciones en las predicciones al alterar los datos. Su resultado se visualiza de forma contrastada y amigable para usuarios menos técnicos, con un coste de ejecución bajo en comparación con otros métodos. Sin embargo, puede ser inestable y presentar un exceso de simplificación.
- Valores de Shapley: si lo que buscamos es un método que sea completamente fiable, este podría ser el único que ofrece una explicación completa. En caso de requerimientos legales o auditorías exhaustivas, esta opción se convierte en la más idónea, puesto que se fundamenta en una teoría sólida y distribuye los efectos de forma equitativa. Al igual que el anterior, los resultados se presentan de una manera contrastiva. Sin embargo, este método conlleva con un coste elevado de ejecución.
Es importante destacar que no hay métodos "correctos" o "incorrectos", ni tampoco métodos que solo sirvan para un caso específico. En su lugar, se han presentado una serie de ejemplos que, entre una multitud de posibilidades, pueden sernos útiles para afrontar los retos mencionados. La interpretabilidad, tanto local como global, puede reportarnos muchos beneficios, ya que aporta una transparencia fundamental a nuestros algoritmos para avanzar en el camino de la IA responsable. Nuestro objetivo es alcanzar un plano en el que la interpretabilidad sea parte del desarrollo y la puesta en producción de cualquier método que empleemos.
