¿Es posible calcular la rentabilidad de un modelo predictivo?

Introducción

En la era actual de la información, los datos se han convertido en un recurso invaluable. Las empresas y organizaciones recopilan enormes cantidades de datos sobre sus clientes, operaciones y el entorno en general. Pero la simple acumulación de datos no es suficiente; es la capacidad de extraer conocimientos significativos de estos datos lo que puede marcar la diferencia entre el éxito y el estancamiento. Aquí es donde entran en juego los modelos predictivos, herramientas poderosas que pueden no solo proporcionar información valiosa, sino también generar ingresos sustanciales. En este artículo, exploraremos cómo monetizar un modelo predictivo y aprovechar su potencial al máximo. 

    1. Comprender los modelos predictivos 

Antes de sumergirnos en la monetización, es esencial entender qué son los modelos predictivos. Algo muy importante que debemos entender es que estos modelos son el resultado de un proceso de obtención y tratamiento de datos que contiene varias etapas y que pasa por varios procesos que validan que los modelos logrados funcionen en la realidad de una manera similar a como funcionaron en el proceso de entrenamiento (creación) del modelo final.  

Otro elemento fundamental es que el valor se obtiene al realizar acciones concretas, que son sugeridas o que se definen en función de los resultados de estos modelos.  

En conclusión, los modelos predictivos son un input para la toma de decisiones, pero por si solos no generan valor, por lo que el retorno debe ser evaluado en conjunto con los resultados de la o las acciones que el modelo sugiere.  

El ejemplo que suelo utilizar para esta afirmación es que, si estamos caminando por la calle en la noche por un barrio que no conocemos mucho, pero con una mala reputación y vemos que a 100 metros se acercan 2 chicos con actitud sospechosa y tuviéramos un modelo predictivo que nos dijera que nos van a robar, pero no hacemos nada, el modelo predictivo no sirvió de nada. Es decir que el modelo predictivo nos da indicios de que decisión tomar, pero si no actuamos, si no cambiamos el rumbo, de nada nos sirve. 

    2. De la predicción a la decisión 

Una vez que entrenamos decenas, cientos o incluso miles de modelos, debemos seleccionar aquel tenga mejor calidad predictiva y que nos de las mayores garantías de que la calidad predictiva se mantenga en el futuro asegurándonos la generación de valor en las decisiones tomadas a partir de allí. En este punto se nos presentan algunas dificultades que debemos sobrepasar.  

En este punto me gustaría comentar acerca de 2 de las mayores dificultades que normalmente se presentan. 

a. Granularidad usada para entrenar el modelo no es acorde con la decisión a tomar. Imaginemos una empresa que fabrica barras de cortinas y necesita saber cuántos metros de cada tipo de barra va a vender el mes siguiente para ir realizando los pedidos de producción y no tener quiebres de stock (se pueden entrenar tantos modelos, como tipos de barra tenga que producir la empresa). En este caso podemos tener modelos entrenados para predecir la cantidad de metros a comprar por cada cliente en el mes siguiente (esto se hace para aprovechar la riqueza de información a nivel cliente a diferencia de enfoques de algoritmos de series temporales), pero la decisión debe ser tomada en términos de cantidad de metros mensual. La solución es sencilla ya que lo que debemos hacer es sumar todos metros predichos por cliente y tendremos la estimación puntual para el mes siguiente. 

b. Tipo de dato generado por el modelo no es acorde con la decisión a tomar. Este tipo de situaciones se da en donde la variable a predecir es binaria (comprará o no, será fraude o no, será deudor o no, entre otros) ya que la mayoría de los algoritmos diseñados para este tipo de casos entrega como resultado una probabilidad de ocurrencia del fenómeno estudiado. Un ejemplo de esto son los modelos de scoring de riesgo para productos financieros. En estos casos, los modelos se entrenan con clientes que quedaron debiendo (toman valor 1) y clientes que pagaron a tiempo (toman valor 0). Las predicciones en estos casos serán la probabilidad estimada de que el cliente X (cliente que tomará préstamo en el futuro) quede debiendo el producto otorgado. Sin embargo, la decisión es darle el crédito o no. Es decir, la decisión es binaria y el resultado del modelo es un continuo de valores entre 0 y 1. Si bien la decisión es tomar un punto de corte y si la probabilidad es superior a éste, se tomará como altamente riesgoso y se decidirá no otorgar el préstamo, la pregunta que permanece es: ¿A partir de que punto debemos tomar esta decisión? Si bien es posible responder de manera precisa, esta última pregunta quedará para ser respondida en un futuro artículo. 

Si bien existen otros desafíos a la hora de tomar decisiones basadas en modelos predictivos, estos son los 2 mas comunes de encontrarse en un proyecto real. 

3. De la predicción a la acción 

Para explicar este tema, me gustaría centrarme en un ejemplo concreto de manera de llevarlo a un nivel más pragmático. Supongamos por un momento que trabajo para una empresa de suscripción (podemos ver a las tarjetas de crédito como servicios que pagamos de manera anual y por lo tanto cae en esta categoría).

El problema que enfrentamos es la pérdida de ingresos potenciales debido a que hay clientes que mes a mes deciden darse de baja del servicio (o devolver la tarjeta como se lo conoce popularmente). Esta acción, repetida cientos o miles de veces en cada mes, implica la pérdida de ingresos para las empresas financieras de una cuantía considerable y es un problema que puede mitigarse mediante la aplicación de inteligencia artificial y razonamiento financiero básico. 

En este caso es ideal el uso de modelos de predicción de abandono (también llamado churn) para detectar a quienes probablemente el mes siguiente devolverán la tarjeta de crédito. Estos modelos se entrenan con datasets de cientos de miles de registros y decenas o centenas de variables (llamados features en términos técnicos), en donde la variable a predecir es binaria, si el mes siguiente abanndona la empresa toma el valor 1 y si no, toma el valor 0. La mayoría de los modelos entrenados con inteligencia artificial generarán predicciones entre 0 y 1, en donde un valor mayor implica mayor probabilidad de que ese cliente devuelva el servicio el mes siguiente. 

Supongamos ahora que ya tenemos un excelente modelo (con altos valores de calidad predictiva y que es válido a un altísimo nivel de confianza). Se podría creer que con esta situación el problema está resuelto, pero aún queda trabajo por realizar ya que si tengo un cliente que tiene una probabilidad de abandono de 0,78, ¿valdrá la pena considerarlo como que abandonará la empresa? ¿Es lo mismo si ese cliente tiene un consumo de miles de dólares o hace meses que no genera comisiones? ¿Es lo mismo si, para convencer a ese cliente de que se quede le enviamos un email o si tenemos que regalarle un paquete turístico a las islas Maldivas? Es evidente que calcular la probabilidad de abandono nos aporta a solo una parte de la ecuación y aún faltan elementos a considerar. 

Tan importante como entrenar y validar el modelo predictivo debemos definir que haremos una vez tengamos los resultados de este y que costos tendrán las acciones a realizar. A los efectos de seguir este ejemplo, supongamos que la acción de retención es 100% efectiva, la acción es igualmente costosa para todos los clientes y que los ingresos post recupero son iguales para todos los clientes (el análisis se puede generalizar para incorporar estas diferencias entre clientes). En este caso, se debe calcular el valor monetario esperado de la acción y comprarlo con el costo de esta.

En los casos donde el valor esperado sea superior al costo, es rentable realizar la acción de recupero (generalmente campañas de marketing con algún tipo de incentivo para la retención). Vayamos a un ejemplo concreto con 2 clientes, costos de la campaña idénticos, probabilidad de retención si es contactado de 100% e ingresos post recuperación idénticos entre clientes. Por un lado, está Carlos que tiene una probabilidad de abandono de 0,68 y Marta con una probabilidad de abandono de 0,04. Lo primero que debemos observar es que, si es rentable realizar una acción de retención sobre Marta, también lo es sobre Carlos (a esto se le llama capacidad de ordenamiento o priorización de las acciones de retención).

El análisis simplificado quedaría de la siguiente manera:

De este análisis simplificado se concluye que no es conveniente realizar acciones de retención sobre Marta ya que sería más caro retenerla que lo que ganaríamos teniéndola como cliente. Y que las acciones de retención dejarían una rentabilidad de 5040 unidades monetarias (si no gestionamos la retención de Marta). 

Conclusiones 

Si generalizamos el análisis veremos que la utilidad surge de la sumatoria de la utilidad esperada de todos aquellos clientes sobre los cuales es rentable realizar esta acción. 

También sacamos como conclusión que es necesario planificar y ejecutar acciones de retención para monetizar los resultados de un modelo predictivo. 

Sin embargo, una vez finalizado este ejercicio, podemos concluir que ya tenemos ingresos y costos asociados a la aplicación de los resultados del modelo predictivo definido y que la rentabilidad puede ser calculada con la metodología preferida del analista financiero. Un ejemplo sería utilizando la metodología de la tasa interna de retorno de un proyecto (TIR) ya que tenemos la inversión en el momento cero (entrenamiento del modelo predictivo y planificación de la campaña de retención) y los ingresos estimados obtenidos por la campaña o campañas a realizar. 

Autor: Ec. Mauricio Giacometti

Master en Business Intelligence por la Universitat de Barcelona. Lic. En Economía y Diplomado en Econometría de la UDELAR. Docente de la materia Machine Learning. Director Académico y co-fundador de Instituto CPE y co-fundador de la Consultora BCS desarrollando modelos predictivos y de analítica avanzada trabajando en importantes proyectos para clientes nacionales como internacionales.