If you have account already, Log in here first

Zaloguj się
  • pl
    Menu

    Czemu zaufać, aby unikać przeoptymalizacji – Strefie OOS czy żywemu rynkowi?

    27 Wrz 2018,

    Nie wydaje wam się czasami, że potrafimy skomplikować nawet te najprostsze rzeczy? Chyba jest tak dlatego, że dążymy do perfekcji, do doskonałości, do rzeczy prawie idealnych. W podejściu uznaniowym do nadzwyczajnych wskaźników i w algo tradingu do sztucznej inteligencji również tak robimy, myśląc, że to załatwi sprawę.

     

    Moim zdaniem to błąd!

    Nie będę czekał na statystycznie bezpieczniejsze latające samochody, skoro do pracy muszę dojechać jeszcze dziś z rozsądną miarą ryzyka.

    Aby uzyskać dobrą strategię, nieuniknioną czynnością jest analiza. Przeprowadzenie różnego rodzaju testów, aby odkryć wady i zalety strategii tak, aby nie wpaść w pętlę przeoptymalizacji. Jakość można testować w różny sposób – moim ulubionym i bardzo często stosowanym przeze mnie sposobem jest test na inne OOS.

     

    Co to jest OOS / out-of-sample?

    To strefa rynku, której nie uwzględnialiśmy w trakcie tworzenia naszego systemu lub strategii. Po prostu była w tej chwili niewidoczna, ukryta, niewykorzystana w żaden sposób. Taka wirtualna przyszłość. Wielkość oraz ilość tych stref, to osobny temat tak jak i inne cechy tego kawałka rynku, na którym powinniśmy przetestować swój pomysł na handel. Ja dziś zajmę się tylko jedną cechą, za pomocą której spróbuję pokazać, o czym zapominają ludzie w trakcie tworzenia strategii.

    OOS ogólnie jest uważana „tylko” za historię, z której nic nie można wyciągnąć, podobnie jak i inne dane historyczne, które do niczego dobrego się nie nadają, bo istnieje za duże ryzyko curve-fitting (dopasowywania warunków w taki sposób, dopóki nie osiągniemy zadowalającego wyniku).

    Dlatego oprócz innych analiz jakości mamy również strefy OOS lub testy na żywym rynku, aby w maksymalnie możliwy sposób uniknąć tego zjawiska. Czy w 100% może się to udać?

    NIE!!! Nie może się udać!

    Otrzymamy tylko wynik z określonym prawdopodobieństwem sukcesu. Nawet najlepsze sposoby sprawdzania nie gwarantują nam pewnego sukcesu. Uważać jak najbardziej trzeba, ale bez przesady. Podważanie sensu każdego kroku, dlatego, bo może wystąpić problem, to czysta paranoja. Przecież przed zakupem nowej rzeczy nie mamy pewności, że będzie ona w 100% sprawna.

     

    Błąd w rozumowaniu

    Niezależnie od sposobu patrzenia na rynek duża ilość traderów nie wie, czym jest OOS. Sprawdzają swoje strategie bezpośrednio parę lat wstecz – z reguły są to 3 lata. Jeżeli wynik nie jest korzystny, czyli dokładnie taki jaki sobie wymarzyli, to starają się zmieniać zasady gry w taki sposób, aby wymarzona equity w końcu się pojawiła. To czysty curve-fitting.

    Kolejnym błędem, tym razem osób znających przydatność OOS jest to, że „grzebią” w kodzie w celu uzyskania dobrego wyniku też w strefie OOS, tylko po to by potwierdzić słuszność logiki strategii. To samo tyczy się zbyt wygórowanych oczekiwań w strefie OOS w stosunku do strefy IS (in sample- strefa rynku, na której szukaliśmy naszego systemu, strategii).

    Nie będę was męczył wszystkimi błędami, bo w ramach mojego mentoringu wyjaśniam ich dużo więcej, ale na jeszcze jeden chcę wam zwrócić uwagę.

    Waga tego samego wskaźnika w innych strefach.

    Możemy mieć podstawowe warunki w postaci z góry określonych wartości wskaźników, ale gdy chcemy poznać prawdę o przydatności strategii, to konieczne jest, aby dostosować wagę tych wartości do strefy, którą analizujemy.

     

    Dlaczego jedno OOS nie jest takie samo jak inne OOS?

    Podkreślam – to samo dotyczy również żywego rynku! Można szybko osiągnąć przekonanie, że test na żywym rynku jest zawsze super i wynik jest zawsze wiarygodny.

    NIE, nie jest!

    Na żywym rynku oraz w przypadku strefy OOS możemy mieć po prostu szczęście, bo trafiliśmy dobry okres. W takim razie, na co trzeba zwracać uwagę? Co uwzględniać? Zdradzę wam kilka podstawowych czynników, które warto sobie zapamiętać.

    • Stosunek ilości transakcji między IS i OOS (za niska ilość transakcji zaburza wiarygodność testów albo je wyklucza).
    • W zależności od rodzaju wskaźnika przypisujemy wagę jego wartości według tego, jakie wartości uzyskuje w trakcie analiz strategii w określonych strefach. Ostatnio w jednej z grup na FB rozmawialiśmy o świetnym przykładzie tego zjawiska – w roli głównej był wskaźnik SQN, którym nie warto się kierować w strefie IS. Łatwo o wyidealizowane wyniki. Większą wagę można mu przypisać w OOS lub po weryfikacji handlu na rynku w zakresie 100 zagrań.
    • Charakter rynku w ramach strefy OOS. Rynek zachowuje się cyklicznie i jeżeli mamy „szczęście” to trafimy cykl, który najmniej lub wcale nie występował w strefie IS. Chyba jasne jest, że w takim razie niektóre wartości nie muszą być aż tak ważne.

     

    Przykład różnych stref OOS do obserwacji:

     

    Wiem, że każdy ma swój sposób.

    Rozumiem to i to jest bardzo dobre. Mnie brakuje zwykłego chłopskiego rozumu i rozsądnej dawki ostrożności. Żaden sposób nie jest doskonały. Szukajmy takiego sposobu, który da nam przewagę statystyczną, bo tylko to mamy. Nic więcej. Liczą się z nią kasyna, firmy ubezpieczeniowe i duże korporacje, które wyróżniają swoje produkty na podstawie naszego zachowania z przeszłości, a nie z przyszłości. Czy oni tracą?

    Pamiętajmy o tym, gdy będziemy używać strefy OOS jako testu jakości strategii.

    Pamiętaj o rodzaju strategii, jaką zbudowałeś. Czy trendowa strategia musi w strefie OOS (na przykład będzie raczej bez wyraźnych trendów) mieć tę samą wydajność niż w IS? Zastanów się!

    Chętnych, którzy chcą zgłębiać podstawy budowy automatycznych strategii, zapraszam na darmową próbę projektu szkoleniowego StrategyLAB.

    Zapraszam również osoby chętne do testowania programu w wersji TRIAL, aby samodzielnie tworzyli strategie o nazwie StrategyQuant.

    Pobierż darmowy e-book

    "Tajemnica zyskownych strategii"

    ebook-pl

    Dodaj komentarz

    Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *