En esa edición, Glenn W. Brier publicaba su ya clásico Verification of Forecasts Expressed in Terms of Probability. En dicha publicación, se articulaba una novedosa fórmula para medir qué tan bueno es un pronóstico meteorológico sin afectar los incentivos de los pronosticadores.
Brier tendría, a partir de entonces, una tremenda influencia en la forma en que los métodos estadísticos son usados en meteorología y climatología. Sus contribuciones influirán en estas disciplinas durante años.
¿Pueden estos métodos utilizarse para calificar otro tipo de pronósticos? ¿Puede el mundo de las inversiones sacar provecho de estas técnicas para realizar mejores pronósticos? Michael Mauboussin y Phillip Tetlock afirman que sí.
Introducción al ultra-aprendizaje
Scott Young es una celebridad en el mundillo del aprendizaje acelerado y de técnicas para mejorar la educación. Young tiene varias proezas en su haber: aprendió 4 idiomas en un 1 año, finalizó la carrera de ciencias computacionales del MIT en 1 año en lugar de 4 y aprendió a ser un retratista profesional en sólo un mes.
El ultra-aprendizaje es una forma nueva de encarar proyectos educativos propuesta por Young en donde se hace un enfoque muy estricto en la agresividad con la que se encara el proyecto y en la eficiencia de la práctica deliberada para mejorar constantemente.
Se busca tener feedback loops muy cortos para acelerar el aprendizaje. Cuando este autor diseñó un proyecto educativo de 30 días para aprender a dibujar rostros; lo hizo acortando los feedback loops. Para ello sacaba una foto a su dibujo y la colocaba digitalmente encima de la foto original que estaba retratando. Haciendo uso de la función de transparencia de cualquier software de edición de fotos podía ver dónde se estaba equivocando y de esta forma acelerar enormemente la velocidad aprendizaje.
Aprendizaje acelerado, feedback loops y la maldición de las inversiones a largo plazo
Uno de los aspectos más importantes para mejorar en cualquier habilidad que se quiera aprender es la velocidad con la que se recibe feedback del entorno para saber si se está yendo por el buen camino o no.
Aprender a andar en bicicleta tiene una curva de aprendizaje relativamente corta porque el feedback que se recibe es inmediato, o nos caemos o salimos andando.
El problema con los feedback loops en el proceso de convertirse en un buen inversor (sobre todo si las decisiones de inversión se hacen bajo la filosofía del value investing) es que en estos casos, el resultado de una decisión de inversión que se toma hoy puede tardar 3, 4 o 5 años en llegar.
El proceso para convertirse en un buen inversor es un camino lento, tortuoso y que requiere de mucha paciencia.
¿Qué pasaría si se pudiera acelerar el proceso de aprendizaje para mejorar estas habilidades de pronóstico? Porque al final del día, la decisión de invertir en una empresa o no tiene que ver con un pronóstico sobre los flujos de fondos futuros de esa empresa, si mi pronóstico es que dichos flujos van a ser mayores de lo que estima el mercado entonces puedo estar ante una buena oportunidad de inversión.
Mauboussin y la generación de valor haciendo mejores pronósticos
En su artículo publicado en marzo de este año, Mauboussin afirma que para tener mejores rendimientos a largo plazo hay que tener mejores pronósticos que el mercado y por lo tanto incluir en dichos pronósticos eventos que el mercado todavía no anticipa o para los cuales anticipa una probabilidad de ocurrencia muy diferente. Para lograr esto, se requiere entender cuáles son las expectativas incluídas en el precio y compararlas con nuestros propios pronósticos.
Si el precio una acción generalmente crece en función de dos factores: crecimiento en ganancias y crecimiento o expansión de múltiplo, entonces anticipar un crecimiento en ganancias diferente al número de ganancias que esté descontado por el mercado puede transformarse en una fuente de generación de alfa.
El crecimiento derivado de las ganancias va evolucionando de acuerdo a la realidad del negocio y a medida que vayan creciendo, el precio de la acción debería ir acompañando si el P/E o PER se mantiene constante.
Los inversores como pronosticadores
Al final del día, gran parte del trabajo de un inversor profesional se basa en realizar pronósticos adecuados en relación a las ganancias o al flujo libre de efectivo que puede generar una empresa a lo largo de su vida.
Ante dos empresas con similares características un inversor debería pagar:
- menos por una empresa que tiene ganancias futuras riesgosas.
- más por una empresa que genera ganancias por encima del coste del capital.
- más por una empresa que genera ganancias con un MOAT alrededor.
- más por una empresa que que tiene perspectivas de crecimiento en sus flujos libres de efectivo.
Como se observa, las cuatro características de generación de ganancias dependen de los pronósticos futuros que se puedan hacer acerca de sus ganancias o sus flujos libres de efectivo.
Si un inversor puede predecir correctamente las ganancias futuras de una empresa y esta predicción difiere notablemente de los valores descontados por el mercado, entonces es posible encontrar muchas oportunidades para realizar ganancias.
¿Qué es el puntaje Brier y cómo se puede usar para mejorar la realización de pronósticos?
“Lo que no se define no se puede medir. Lo que no se mide no se puede mejorar. Lo que no se mejora, se degrada siempre”.
William Thomas Kelvin (físico y matemático británico).
¿Se podría acelerar la curva de aprendizaje de un inversor value usando el puntaje Brier para predecir las ganancias de cada trimestre y de esta forma acortar los feedback loops de cada decisión de inversión?
El puntaje Brier es una métrica que se usa para evaluar qué tan bueno es un pronosticador y que engloba en sí misma las dimensiones que normalmente se usan para determinar la calidad de los pronósticos.
¿Sería posible entonces utilizar dicha métrica para calificar trimestre a trimestre qué tan bueno es un pronóstico acerca de las ganancias, el margen operativo o el ROIC de una empresa? ¿Qué pasa si se utiliza dicho puntaje para realizar calificar las predicciones anuales?
El puntaje Brier es va de 0 a 1 y cuanto más bajo es, mejor es el pronosticador. Básicamente es un número que trata de brindar un panorama acerca de qué tan frecuentemente los pronósticos son correctos pero además con cuánta convicción se realiza cada pronóstico.
Dicho puntaje se calcula sumando las diferencias cuadradas de cada pronóstico versus el resultado (si el hecho ocurre se cuenta como “1” y si el hecho no ocurre es un “0”) y luego se divide por el número total de pronósticos.
Creo que con un ejemplo práctico es posible tener una idea más clara de cómo funciona y cómo puede ayudar a la toma de decisiones de un inversor particular para realizar un seguimiento de su habilidad para predecir el rendimiento de una empresa.
La definición técnica y algunos ejemplos del puntaje Brier
La fórmula del puntaje Brier para evaluar pronósticos acerca de eventos que pueden o no ocurrir es muy simple:
Puntaje Brier= (f-o) ^2 donde:
f = forecasted probability
o = outcome (1 si el evento ocurre, 0 si el evento no ocurre)
Si un analista predice que hay un 90% de probabilidades de que la empresa X cierre un contrato millonario con su cliente Z y efectivamente ocurre, entonces el PB es = (0.9-1)^2 = 0.01 (muy buen puntaje).
Si un analista predice que hay un 90% de probabilidades de que la empresa X cierre un contrato millonario con su cliente Z y esto no ocurre, entonces el PB es = (0.9-0)^2 = 0.81 (muy mal puntaje).
Para calcular el PB de un set de pronósticos sobre las ganancias de una determinada empresa basta con calcular el promedio de dichos puntajes:
Ejemplo 1: Un analista pronostica que hay 0% de probabilidades de que una empresa supere los $10 de ganancias por acción y al final del trimestre la empresa anuncia ganancias de $9 por acción.
Puntaje Brier = (0 – 1)^2 = 1
Ejemplo 2: Un analista pronostica que hay 100% de probabilidades de que la empresa supere los $11 de ganancias por acción y al final del trimestre la empresa anuncia ganancias de $12 por acción.
Puntaje Brier = (1 – 1)*2 = 0 (el mejor puntaje Brier posible)
Ejemplo 3: Un analista pronostica que hay 27% de probabilidades de que la empresa supere los $11 de ganancias por acción y al final del trimestre la empresa anuncia ganancias de $12 por acción.
Puntaje Brier = (.27 – 1)^2 = 0.5329
Ejemplo 4: Un analista pronostica que hay 97% de probabilidades de que la empresa supere los $11 de ganancias por acción y al final del trimestre la empresa anuncia ganancias de $10 por acción.
Puntaje Brier = (.97 – 0)^2 = 0.9409 (un puntaje claramente muy malo)
Calculando el puntaje Brier para cada uno de los pronósticos que se realizan sobre las diferentes métricas de la empresa puede ayudar entonces a reducir los feedback loops del proceso de aprendizaje para convertirse en mejor inversor y de esa forma ir cuantificando qué tanta habilidad se logra pronosticando las distintas métricas que dan cuenta del funcionamiento de una empresa.
Hacia un mundo de super pronosticadores
En su libro Superpronosticadores: El arte y la ciencia de la predicción, Phillip Tetlock habla sobre una nueva tribu de pronosticadores amateurs cuya precisión en diferentes predicciones sobre eventos geopolíticos está siendo muy superior a los pronósticos hechos por la comunidad de los servicios de inteligencia de los Estados Unidos.
¿Es posible utilizar estos métodos para mejorar los pronósticos hechos como simples inversores particulares y de esa forma incrementar exponencialmente los rendimientos?
En un artículo futuro analizaré algunas de las mejores estrategias para incrementar la precisión de los pronósticos, mejorando así el puntaje Brier y con suerte los rendimientos de cada decisión de inversión.
Bibliografía
Zach. (2020, March 4). What is a Brier Score?. Retrieved December 11, 2020, from full https://www.statology.org/brier-score/
Glen W. Brier. (1950, April 15). Verification of Forecast Expressed in Terms of Probability . Monthly Weather Review, vol. 78, Retrieved December 11, 2020, from full https://web.archive.org/web/20171023012737/https://docs.lib.noaa.gov/rescue/mwr/078/mwr-078-01-0001.pdf
Brier score. (n.d.). In Wikipedia. Retrieved December 11, 2020, from https://en.wikipedia.org/wiki/Brier_score
Tim Van Gelder. (2015, May 18). Brier score composition – A mini-tutorial. Retrieved December 7, 2020, from full https://timvangelder.com/2015/05/18/brier-score-composition-a-mini-tutorial/
Morgan Housel. (2018, March 12). Expectations vs. Forecasts. Retrieved December 7, 2020, from full https://www.collaborativefund.com/blog/expectations-vs-forecasts/
Mauboussin, M.J., & Callahan, D. (2020, March 19). BIN There, Done That. Retrieved December 15, 2020, from full https://www.morganstanley.com/im/publication/insights/articles/bin-there-done-that_us.pdf?=1591236364094