Metodologiczne aspekty prognozowania stóp zwrotu na rynkach kapitałowych wynikające z celu predykcji

Przewodnim tematem pracy jest analiza związków pomiędzy celami dokonywania prognoz na rynkach kapitałowych a stosowaną metodologią, rozpatrująca zagadnienie pod kątem uzyskania jak najlepszych wyników. Badania ekonometryczne związane z rozwojem metodologii prognostycznych można podzielić na dwie bardzo ogólne grupy. Jedną z nich są badania prowadzone celem wypracowania uniwersalnych metod predykcyjnych, możliwych do zastosowania w szerokim spektrum przypadków. Drugą grupą są natomiast badania mające na celu konstrukcję jak najlepszych metodologii dla konkretnych zastosowań. Przynajmniej teoretycznie porównanie metodologii prognostycznych w ramach tych dwóch wyróżnionych grup powinno się odbywać w różny sposób. W przypadku grupy badań związanych z szerokim wachlarzem zastosowań najbardziej użyteczne powinny być statystyczne miary oceny jakości prognoz, natomiast podejście decyzyjne, opierające wybór optymalnej metodologii na podstawie funkcji użyteczności właściwej dla konkretnych okoliczności, powinno być użyteczne właśnie w sytuacji, kiedy mamy jasno określony problem do rozwiązania. Jednak w praktyce można zaobserwować, że niezależnie od celu predykcji do oceny jakości prognoz wykorzystywane są często typowe miary statystyczne. W ramach pracy dokonano próby odpowiedzi na pytanie dlaczego tak się dzieje i czy może mieć to negatywne konsekwencje, jak również jakie praktyczne wnioski z analizy tego zagadnienia może wyciągnąć na przyszłość badacz rynków kapitałowych. Główną tezą pracy jest stwierdzenie mówiące o tym, że różnorodność decyzji, które mają być podejmowane na podstawie prognoz konkretnej zmiennej, oraz zasady ich późniejszej ewaluacji wpływają na różnorodność schematów metodologicznych, jakie powinny zostać zastosowane celem osiągnięcia najlepszych rezultatów prognostycznych. Istnieją pewne ogólne reguły, których zastosowanie pozwala osiągnąć w praktyce lepsze efekty niezależnie od rodzaju podejmowanych decyzji, natomiast dobór niektórych elementów stosowanej metodologii powinien wprost wynikać z charakteru rozstrzyganego problemu, a dokonanie złego wyboru może wpłynąć na podjęcie nieoptymalnej decyzji. Celem rozstrzygnięcia głównej tezy pracy postawiono trzy pomniejsze hipotezy badawcze, które choć z pozoru mogą wydawać się oczywiste, to implikacje wynikające z ich weryfikacji są znaczące. Pierwszą z hipotez jest przypuszczenie, że ranking szeregujący poszczególne schematy / metodologie badań pod kątem jakości prognoz może znacząco różnić się dla różnych miar oceny tejże jakości, nawet jeżeli wszystkie prognozy dotyczą tej samej zmiennej. Druga z hipotez badawczych dotyczy tego, czy wykorzystanie do prognozowania właściwie dobranych i przetworzonych danych, które niosą ze sobą istotne informacje o zachowaniu się kwotowań konkretnego waloru, ma podobny wpływ na jakość prognoz różnych rodzajowo miar, opartych na tychże kwotowaniach. Ostatnia hipoteza badawcza dotyczy rozstrzygnięcia tego, czy ranking jakości prognoz uzyskanych przy wykorzystaniu różnych schematów / metodologii badań, nawet dla konkretnej zmiennej i miary oceny jakości jej prognozy, może znacząco różnić się dla różnych sytuacji rynkowych w poszczególnych analizowanych podokresach, przykładowo kolejnych latach. Celem weryfikacji hipotez przeprowadzono przekrojowe badanie. Główna jego część polegała na przeprowadzeniu wielu serii eksperymentów polegających na wykorzystaniu wybranej metodologii do prognozowania pojedynczej miary związanej z konkretną zmienną, na paroletnim przedziale czasowym. Hipotezy badawcze były weryfikowane na podstawie zagregowanych danych pochodzących z dziesiątek tysięcy tego typu eksperymentów. W ramach badania zostały wykorzystane dane z lat 2007-2011 dotyczące wybranych walorów kwotowanych na Giełdzie Papierów Wartościowych w Warszawie, jak również Tokijskiej Giełdzie Papierów Wartościowych. Operowano na danych dziennych (oba rynki) oraz 15-minutowych (dla rynku polskiego). Z uwagi na różnorodność danych, metod ich przetwarzania, zmiennych prognozowanych, wykorzystanych metod uczenia i miar oceny jakości prognoz, ostateczne wyniki były analizowane pod kątem aż 10 wymiarów. To pozwoliło na weryfikację hipotez nie na jednej, a na wielu niezależnych grupach wynikowych. W ostatnim rozdziale pracy podsumowano całość rozważań. Weryfikacja postawionych w pracy hipotez badawczych pozwoliła rozstrzygnąć główną tezę pracy. Biorąc pod uwagę uzyskane wyniki można potwierdzić, że różnorodność decyzji, które mają być podejmowane na podstawie prognoz konkretnej zmiennej, oraz zasady ich późniejszej ewaluacji, faktycznie wpływają na różnorodność schematów metodologicznych, jakie powinny zostać zastosowane celem osiągnięcia najlepszych rezultatów. W szczególności chodzi tu o uzyskanie możliwie najtrafniejszych prognoz, na bazie których mają być podejmowane późniejsze akcje, ocenianych konkretną miarą jakości, adekwatną dla danego problemu decyzyjnego. Istnieją pewne ogólne reguły, których zastosowanie pozwala osiągnąć w praktyce lepsze efekty niezależnie od rodzaju podejmowanych decyzji, natomiast dobór niektórych elementów stosowanej metodologii powinien wprost wynikać z charakteru rozstrzyganego problemu, a dokonanie złego wyboru może wpłynąć na podjęcie nieoptymalnej decyzji. Ważne jest tu jasne zaznaczenie, że nie chodzi o samą zmienną, którą chcemy prognozować, a decyzję, która na podstawie uzyskanych danych ma zostać podjęta. W różnych sytuacjach decyzyjnych możemy mieć do czynienia z różnym sposobem ewaluacji wyniku, pomimo iż prognozowana wartość, o którą opieramy naszą decyzję, może być w istocie taka sama. Innymi słowy, weryfikacja głównej tezy rozprawy prowadzi do istotnej z praktycznego punktu widzenia konkluzji, która stanowi, że bez znajomości celu nie można mówić o optymalnym schemacie prognozowania konkretnej, interesującej nas zmiennej. W ramach podsumowania, na podstawie całokształtu uzyskanych wyników, zaproponowano również rekomendacje dla praktyki prognozowania, mogące pomóc badaczom rynków kapitałowych w realnych problemach. Dodatkowo, zostały nakreślone perspektywy kontynuacji badań, których realizacja może pozwolić w przyszłości na dokładniejsze zrozumienie podejmowanego zagadnienia.

The aim of this dissertation is to analyse influence between goals of forecasting returns on capital markets and methodology, that should be used, in order to gain optimal results. Econometrical studies regarding methodological aspects of forecasting can be divided into two groups. One group contains studies which aim is to obtain some universal methods that can be used in a wide variety of problems. The second group contains studies which aim is to obtain the best methods that can be used in specific cases. Theoretically, comparing methodologies within those two groups should be conducted in different ways. In case of first group, where the methodology ought to be used in wide variety of problems, the most useful should be statistical measures. In case of second group of problems, where methodology ought to be used in specific cases, in particular, in decision problems, the measure used to compare methodologies should be based on cost function appropriate for those specific cases. But what can be observed in practice, in many cases universal statistical measures are used to compare methodologies in both groups of problems. One of the elements of this dissertation is an attempt to answer why is that happening and what are the possible consequences. The answer is helpful to discover what are practical conclusions deriving from that analysis, that can be applied in capital markets further researches. The main thesis of this dissertation is a statement, that differentiation of decisions that ought to be made based on forecasts of particular variable, as well as measures used to evaluate its results, influence the methodology that ought to be used in order to obtain optimal results. There exist some universal rules, which usage allows to get optimal results, not taking specific context into consideration, but there are also some methodology elements that should be chosen taking into consideration specific context and choosing wrong option can have negative impact on final results. In order to verify main dissertation thesis there were formulated three minor research hypotheses, that can look simple, but their implications are meaningful. First hypothesis says that forecasting quality ranking of different methodologies can strongly vary for different forecasting quality measures, even if forecasts refers to the same base variable. The second hypothesis says, that by using properly selected information, that is indeed related to particular variable, we should expect similar impact on forecasts quality for different measures, if they are all based on that particular variable. Last hypothesis regards the question, if forecasting quality ranking of different methodologies, even for the same variable and forecasting quality measure, can strongly vary in different market conditions, like it could happen in consecutive years. In order to verify research hypotheses there was conducted a study, that consisted of many series of experiments. Within each experiment there was forecasted particular variable using particular methodology in a few years long time-frame. Research hypotheses were verified by using aggregated data from wide-range – several dozen of thousands – of such experiments. Within study there was used data from several Warsaw Stock Exchange and Tokyo Stock Exchange stocks (years 2007 to 2011). There were used both daily (WSE, TSE) and 15-minute observations (WSE). Because of wide range of data, pre-processing methods, forecasted variables, learning methods as well as measures used to compare forecasts, final results could be analysed taking into consideration as much as 10 different dimensions. It allowed to verify research hypotheses not only on one overall group of results, but also separately for independent subgroups. In the last chapter there were summarized all the thoughts and results. Verification of research hypotheses allowed to confirm the main thesis of the dissertation. Taking all results into consideration it turned out, that differentiation of decisions that ought to be made based on forecasts of particular variable, as well as measures used to evaluate its results, really influence the methodology that ought to be used in order to obtain optimal results. It was confirmed, that there exist some universal rules, which usage allows to get optimal results, not taking specific context into consideration, but there are also some methodology elements that should be chosen taking into consideration specific context and choosing wrong option can have negative impact on final results. The main point here is that it’s not only about variable that we would like to forecast, but about the decision, that has to be made based on forecasting results. In different decision making problems we can face different evaluation schemes, even if we base those decisions on the same forecasted value. So to conclude, we can’t define optimal forecasting scheme / methodology without context of prediction goal. Within the final chapter, based on overall analysis, there were also proposed practical recommendations for capital markets researchers. Additionally, there were outlined some further research concepts, which execution could allow to exploit the topic more deeply.