Le forum du Master ESA économétrie et statistique appliquée - Université d'Orléans

Vous n'êtes pas identifié.

Annonce

Vous êtes sur le forum du master ESA !

Le site du master ESA - description de la formation, notes de cours, contacts... vient de déménager !!!

Venez visiter notre nouveau site : www.master-esa.fr

#1 10-07-2013 13:09:27

ChillChill
membre extérieur
Date d'inscription: 10-07-2013
Messages: 1

Analyse des mesures d'erreurs

Bonjour tout le monde,
Je suis étudiant en HEC et je suis entrain de rédiger mon mémoire que je dois rendre prochainement.
Malheureusment je fais face à qq doutes et j'espère que qqn pourra m'aider. D'avance merci pour votre aide.

Mon mémoire conciste, entre autre, à analyser plusieurs méthodes de prévision sur les marchés financiers.
Les méthodes utilisées ont été : Simple moving average, Weighted moving average, exponnential moving average, méthode Holt's (double exponnential), Holt's Winter (triple exponnential) et le modèle ARIMA.

Dans un premier temps, j'ai effectué ces tests sur un indice boursier avec les données réelles. Puis j'ai appliquer un montecarlo (backtesting) sur tous ces modèles.

Afin d'analsyer ces modèles, j'ai utilisé plusieurs mesures d'erreurs comme le MAE (mean absolute error), MSE (mean squared error), MAPE (mean absolute percentage error), MFE (mean forecasting error = erreur de biais) et r2.

Mes doutes sont les suivants :
- Quel mesure est plus pertinente? le MFE ou r2?

- Les modèles les plus pertinants sont le Holt's et le ARIMA. Le MFE du ARIMA est presque 0 alors que celui du Holt's est de 150. Cependant le r2 du ARIMA est de 0.22 alors que celui du holt's est de 0.33. N'est-ce pas contradictoire?

- Alors que pour les données réelles de l'indice le modèle ARIMA est plus convaincant lors que du backtesting il est nettment moins convaincant! Dois-je me baser sur les données réelles ou mon backetstig qui contient 100 simluations?

Mil merci pour vos commentaires.
Bonne journée

Hors ligne

 

#2 25-07-2013 13:06:26

esa_gc
Moderator
Date d'inscription: 21-02-2007
Messages: 421

Re: Analyse des mesures d'erreurs

Il est impossible de répondre à votre question dans l'absolu. Sauf peut être pour la MFE qui autorise la compensation algébrique : un modèle qui conduit à une erreur de 100 en t et de -100 en t+1 donne une MFE de 0, et serait donc meilleur qu'un modèle conduisant à une erreur de 1 en t et de -0.5 en t+1 (MFE=0.25). D'où l'idée de travailler avec les valeurs absolues ou les carrés des erreurs. Cependant, une erreur de 1 point sur une valeur de 100 est relativement moins importante qu'une erreur de 1 sur une valeur qui vaut 2. D'où l'idée de passer aux erreurs relatives.

Maintenant, ce qu'il faudrait pour choisir le critère optimal, c'est d'avoir une fonction de coût associée à ces erreurs pour trouver la statistique qui minimise ce coût, ce qu'apparemment vous n'avez pas.

Sur données boursières, une statistique purement descriptive, mais qui peut être intéressante à calculer est le U de Theil. On fait le rapport de la somme des carrés des erreurs d'un modèle à la somme des carrés des erreurs du modèle "naïf" pour lequel la prévision pour une date future est la dernière valeur connue (par exemple, la prévision pour demain est le cours d'aujourd'hui). Si U>1, alors le premier modèle fait moins bien que le modèle naïf (en termes de somme des carrés des erreurs). Le truc est que ce modèle naïf est le modèle optimal si la série suit une marche au hasard. Sous hypothèse d'efficience des marchés, la marche au hasard est une approximation souvent très satisfaisante du vrai processus. Résultat des courses: il est difficile d'afficher un U qui soit inférieur à 1, c'est à dire de trouver un modèle qui batte le modèle naïf (toujours sur la base de la somme des carrés des erreurs). Surtout, si vous avez réussi à détecter un modèle qui vous donne un U bien inférieur à 1, ne remettez pas votre mémoire à vos enseignants, et mettez-vous à boursicoter, ou, encore mieux, vous me passez l'information.

Dernière modification par esa_gc (25-07-2013 13:15:22)

Hors ligne

 

Pied de page des forums

Powered by PunBB
© Copyright 2002–2005 Rickard Andersson

[ Generated in 0.016 seconds, 8 queries executed ]