EN RIESGOS, MODELO NO BACKTESTEADO NO ES UN MODELO
- Una de las vulnerabilidades de la gestión integral de riesgos en los mercados de la Región es sin duda la escasa implementación, por parte de las instituciones financieras, de pruebas retrospectivas (backtesting) de los modelos que utilizan. Si bien los controladores y las regulaciones de esos mercados exigen desde hace años su ejecución, según nuestra experiencia, no se estarían realizando, al menos para la mayoría de los modelos empleados. Esto configura una importante debilidad en la gestión de riesgos. Una prueba de backtesting requiere comparar los pronósticos realizados por los modelos de riesgo, con los resultados reales ocurridos. Lo predicho contra lo realizado.
- Las pruebas de backtesting aplican para todos los modelos ya sean de naturaleza estocástica (que incorporan incertidumbre, aleatoriedad), o determinísticos (que arrojan un valor único). Se requeriría el backtesting, por ejemplo para modelos estocásticos como el del VAR o el de Pérdidas Esperadas. O para determinísticos, para el LCR (liquidez) o la Duración de activos. La prueba también se aplicaría para modelos de naturaleza cualitativa como los overlays que aplicamos frecuentemente en la estimación de pérdidas esperadas según NIIF9 o las métricas asociadas al riesgo reputacional.
- Basilea III en años recientes ha propuesto la necesidad de que, los gestores de riesgo operativo, consideren en sus cálculos el riesgo de modelo como una de la amenazas, tal como lo hacen en relación con otros factores como fraudes, prácticas, procesos o sistemas. El riesgo de modelo incluye fallas en supuestos, implementación operativa, recolección de data insumo, errores de interpretación de resultados o definición de umbrales y límites; y también en lo relativo a frecuencia de su implementación y de su recalibración, o por modificaciones en los ciclos económicos del contexto. Todo lo anterior implicaría que un modelo predictor no “backtesteado”, no debería utilizarse en tanto los indicadores que arroja no serían suficientemente confiables hasta que no se comprobara, fehacientemente, la calidad de sus pronósticos.
- En la práctica, las urgencias en la necesaria comprobación de la bondad de los modelos utilizados, se hizo muy evidente en los cálculos de pérdidas esperadas por exposición de carteras de crédito al riesgo de crédito, implementados a través de técnicas tipo IRB o NIIF9. Posibles fallas en los modelos, exigirían la constitución de reservas sobre o subvaluadas. Las primeras atentando contra los resultados de los bancos, y las segundas contra la solvencia de las entidades. De allí la perentoria necesidad de establecer la calidad de los pronósticos. Ocurre que la pérdida esperada en crédito, calculada bajo un modelo NIIF9, representa la probabilidad de ocurrencia de pérdidas en un horizonte futuro (hasta 12 meses o lifetime), o sea un valor pronosticado, cuyo monto debe ser cubierto hoy, por anticipado. Por lo tanto, la vulnerabilidad mencionada está muy clara: previamente a la registración efectiva de esas pérdidas, debería haberse confirmado que estadísticamente los pronósticos las estiman razonablemente.
- Uno de los problemas reales en torno a la implementación de las pruebas es que no existe una técnica común para todos los modelos, aunado esto a las dificultades que surgen de las complejidades matemáticas requeridas para su aplicación. Los tipos de pruebas que son adecuadas para modelos de riesgo de mercado no son aptos, o fácilmente trasladables, al riesgo de crédito o de liquidez. Incluso dentro de una misma clase de riesgo, no es practicable la misma técnica de backtesting. Para comprobar la calidad del modelo que arroja una PD a 12m, no se podría utilizar la misma técnica que para medir la calidad de predicción para estimación de la EAD, o la Pérdida Esperada. El Test de Kupiec, utilizado para backtesting del VAR de precios, no sería adecuado para medir pronósticos de LGD. Y peor aún, hay pruebas que no se pueden utilizar si no se dispone de una cantidad mínima de observaciones de valores pronosticados contra observados, que quizá se podrían ejecutar con muestras pequeñas, pero su potencia estadística se reduciría significativamente.
- En la normativa sobre gestión de riesgos, la exigencia de pruebas retrospectivas a veces no es explícita, sino implícita en tanto dentro de los mecanismos exigidos a las entidades en cuanto a medición, control y evaluación continua de metodologías, se supone se encontrarían las comprobaciones de la calidad de pronóstico de los modelos utilizados.
- Como conclusión parcial, pero razonable, estimamos que bajo las actuales condiciones de muy alta volatilidad de los mercados, sería imprescindible, para el mejoramiento de la gestión integral de riesgos, la práctica ordinaria y sistemática de pruebas de backtesting de los modelos de predicción que utilizan las entidades para generar indicadores, bajo la premisa de que “modelo no backtesteado, no es un modelo”.