Trading w warunkach niepewności — jak oceniać decyzje, których wyniku nie da się znać
Przy trafności 55% pięć strat z rzędu wypada mniej więcej w co pięćdziesiątej piątce transakcji, a w ciągu stu decyzji pojawia się w dwóch przypadkach na trzy. Osiem z rzędu — mniej więcej raz na pięć lat handlu przy 250 transakcjach rocznie. Żadna z tych liczb nie odpowiada na pytanie, które trader zadaje w trakcie takiej serii: czy reguła nadal działa. I to jest właściwy problem tego artykułu.
- Ryzyko i niepewność to nie to samo — kasyno zna swoją przewagę z konstrukcji urządzenia, trader zna wyłącznie oszacowanie własnej trafności z przeszłej próbki (Knight, 1921)
- Trafność jest wielkością mierzoną, nie daną — po 100 transakcjach zaobserwowane 55% jest zgodne z przedziałem od 45% do 64%; dopiero setki obserwacji ten przedział zawężają
- Seria strat to arytmetyka, nie awaria — przy trafności 55% i 250 decyzjach seria co najmniej sześciu strat pojawia się w 68,6% przypadków, a co najmniej ośmiu w 20,3%; z samej długości serii nie da się orzec, czy reguła przestała działać
- Zysk po złamaniu własnej reguły jest najgorszym wynikiem — nie zmienia oceny decyzji, a w zapisie zostawia dodatni wynik przy niespełnionym warunku, przez co naruszenie trudniej później rozpoznać
- Przekonanie ma być stopniowalne i sprawdzalne — zapisane przed decyzją w przedziałach, porównane po serii z faktycznym udziałem trafień
- Kontrolujesz warunek wejścia, liczbę decyzji i dokumentację — nie kontrolujesz wyniku pojedynczej transakcji ani kolejności trafień i strat
1. Ryzyko to nie to samo co niepewność
Ekonomista Frank Knight w pracy Risk, Uncertainty, and Profit (1921) rozdzielił dwie sytuacje, które potoczny język skleja w jedno słowo[1]. Ryzyko to stan, w którym rozkład możliwych wyników jest znany z góry: koło ruletki ma trzydzieści siedem pól i nikt nie musi tego szacować z próby. Niepewność to stan, w którym rozkład trzeba dopiero oszacować, a jego kształt może się w czasie zmieniać.
Trading detaliczny leży po stronie niepewności i nie jest to kwestia stopnia. Kasyno zna swoją przewagę, bo wynika ona z konstrukcji urządzenia; reguła gry jest zapisana w kole, nie w danych. Trader zna wyłącznie oszacowanie własnej trafności, policzone na skończonej liczbie transakcji, w warunkach, które nie mają obowiązku się powtórzyć. To jest inny rodzaj wiedzy, a nie mniej dokładna wersja tej samej.
Konsekwencja dotyczy zdania, które trader wypowiada najczęściej. „Mój setup ma 55% trafności" jest skrótem. Pełna wersja brzmi tak: w pewnej liczbie transakcji zarejestrowałem 55% trafień; przy tej liczbie obserwacji z danymi zgodne są również wartości wyraźnie niższe i wyraźnie wyższe; nie wiem ponadto, czy warunki, w których te obserwacje powstały, nadal obowiązują. Drugie zdanie jest o wiele mniej wygodne, ale to ono opisuje faktyczny stan wiedzy.
Cały ten artykuł zakłada, że reguła, o której mowa, ma jakiekolwiek uzasadnienie poza tym, że dobrze wyglądała w historii. Pytanie, czy zbiór reguł ma dodatnią wartość oczekiwaną po kosztach, należy do działu 8 i tam jest rozstrzygane. Psychologia nie tworzy przewagi tam, gdzie jej nie ma, i żaden rachunek z tego tekstu nie zastępuje tamtej odpowiedzi.
2. Trafność jest wielkością szacowaną, a nie znaną
Trafność reguły nie jest parametrem odczytanym z instrukcji, tylko wynikiem pomiaru na próbce. Każdy pomiar na próbce ma szerokość. Poniższa tabela pokazuje, jak szeroka jest ta niepewność, jeżeli trader konsekwentnie notuje 55% trafień, a różni się wyłącznie liczbą transakcji, na których to policzył.
| Liczba transakcji | Zaobserwowana trafność | Przedział zgodny z danymi (95%) | Szerokość przedziału |
|---|---|---|---|
| 20 | 55,0% | 34,2% – 74,2% | 40,0 p.p. |
| 50 | 56,0% | 42,3% – 68,8% | 26,5 p.p. |
| 100 | 55,0% | 45,2% – 64,4% | 19,1 p.p. |
| 200 | 55,0% | 48,1% – 61,7% | 13,7 p.p. |
| 300 | 55,0% | 49,3% – 60,5% | 11,2 p.p. |
| 500 | 55,0% | 50,6% – 59,3% | 8,7 p.p. |
Metoda: przedział ufności Wilsona dla proporcji, poziom 95%, przy założeniu niezależnych prób i stałego prawdopodobieństwa trafienia. Liczba trafień zaokrąglona do liczby całkowitej, stąd 56,0% w wierszu dla pięćdziesięciu transakcji. Wartości policzone samodzielnie; przedział opisuje niepewność pomiaru, nie zakres przyszłych wyników.
Praktyczny odczyt jest niewygodny. Po pięćdziesięciu transakcjach dane są zgodne zarówno z regułą wyraźnie stratną, jak i z bardzo dobrą. Dopiero przy 385 transakcjach dolna granica przedziału przy dokładnych 55% przekracza 50%, a przy zaokrąglaniu liczby trafień do całkowitej — jak w tabeli powyżej — przestaje się cofać poniżej dopiero od czterystu. Nawet wtedy jest to stwierdzenie o przeszłej próbce, a nie obietnica na przyszłość. Formalne sprawdzenie, czy trafność 55% różni się od 50%, wymaga próby jeszcze większej — rzędu ośmiuset transakcji; sam rachunek liczebności, wraz z założeniami i wariantem dla porównania dwóch reguł ze sobą, prowadzi artykuł o ocenie procesu. Tutaj potrzebny jest wyłącznie rząd wielkości: ocena reguły to kwestia setek transakcji, a nie kilkunastu.
Przedział z tabeli mierzy przy tym tylko jedną rzecz: niepewność wynikającą z liczby obserwacji. Nie mierzy drugiej, w tradingu często ważniejszej — tego, czy warunki, w których obserwacje powstały, nadal obowiązują. Gdyby trafność była stałą własnością reguły, dłuższa próbka po prostu zbliżałaby oszacowanie do prawdy. Jeżeli jednak zmienia się w czasie, dłuższa próbka miesza ze sobą różne okresy i miesza tym więcej, im jest dłuższa. To jest praktyczne znaczenie rozróżnienia z pierwszej sekcji: w warunkach niepewności zbieranie danych nie zbiega do pewności, tylko do coraz dokładniejszego opisu przeszłości.
Skłonność do wyciągania mocnych wniosków z małych prób nie jest wadą początkujących. Amos Tversky i Daniel Kahneman rozdali kwestionariusz 84 zawodowym psychologom i pokazali, że nawet badacze zawodowo pracujący ze statystyką oczekują, iż mała próba odtworzy rozkład populacji, i że wynik uzyskany na małej próbie powtórzy się w kolejnej[2]. Praca ukazała się pod tytułem „Belief in the law of small numbers" w Psychological Bulletin w 1971 roku.
[EKSTRAPOLACJA] Badani byli naukowcami, zadanie miało formę kwestionariusza, a odpowiedzi nie wiązały się z realną stawką finansową. Z tej pracy przenoszę mechanizm — systematyczne przecenianie tego, ile mówi mała próba — a nie wielkość efektu ani twierdzenie o traderach. Statusu replikacyjnego samego kwestionariusza z 1971 roku nie ustaliłem i nie znam jego zarejestrowanego powtórzenia — to pojedynczy pomiar, a nie prawidłowość potwierdzona niezależnie.
3. Ile serii strat mieści się w normie
Pytanie „czy taka seria jest normalna" ma sens tylko wtedy, gdy wcześniej ustali się, o którą z dwóch różnych wielkości chodzi. Mylenie ich jest źródłem większości nieporozumień w tym temacie.
Pierwsza wielkość: prawdopodobieństwo, że wskazane z góry k transakcji okaże się stratami. Przy niezależnych próbach i prawdopodobieństwie straty q wynosi ono po prostu:
P = qk
Przy trafności 55%, czyli q = 0,45, osiem strat we wskazanej z góry ósemce transakcji to 0,458 = 0,168%. Ta liczba odpowiada na pytanie zadane przed serią: „jaka jest szansa, że osiem kolejnych transakcji, które właśnie zamierzam zawrzeć, skończy się stratą".
Druga wielkość: prawdopodobieństwo, że seria co najmniej k strat pojawi się gdziekolwiek w ciągu N transakcji. To jest pytanie, które trader zadaje naprawdę — i odpowiedź jest o rząd wielkości większa. Nie da się jej policzyć, mnożąc pierwszą wielkość przez liczbę okien: w ciągu 250 transakcji jest 245 nachodzących na siebie okien sześcioelementowych, ale sąsiednie okna dzielą pięć wspólnych transakcji, więc nie są zdarzeniami niezależnymi. Potraktowanie ich jak niezależnych zawyża wynik od kilku procent do prawie dwóch razy, i to tym mocniej, im dłuższej serii dotyczy.
Poprawny rachunek jest prosty, choć nie mieści się w jednym mnożeniu. Stanem układu jest bieżąca długość serii strat: zero, jedna, dwie i tak dalej. Każda strata przesuwa układ o jeden stan w górę, każde trafienie sprowadza go do zera, a osiągnięcie stanu k jest pochłaniające, bo seria już wystąpiła. Przejście przez N kroków daje dokładną wartość. Poniższe liczby policzyłem tą metodą i skontrolowałem symulacją 200 000 powtórzeń przy ziarnie 20260810 — obie metody zgadzają się z dokładnością do 0,16 punktu procentowego.
Metodę da się sprawdzić na przykładzie tak małym, że liczy się go ręcznie. Weźmy monetę, czyli trafność 50%, serię trzech strat i ciąg zaledwie pięciu decyzji. Wskazana z góry trójka to 0,53 = 12,5%. Ciągów pięcioelementowych jest natomiast 32 i wszystkie są jednakowo prawdopodobne; tych, które zawierają gdziekolwiek trzy straty pod rząd, jest osiem. Prawdopodobieństwo, że taka seria wystąpi gdziekolwiek w ciągu pięciu decyzji, wynosi więc:
8 / 32 = 25%
Czyli dokładnie dwa razy tyle co dla wskazanej z góry trójki — i tę samą wartość daje opisana wyżej metoda stanów. Dla ciągu 250 decyzji wypisanie wszystkich przypadków jest niewykonalne, ale zasada się nie zmienia. Zgodność obu sposobów liczenia sprawdziłem jeszcze dla kilku innych kombinacji o długości do dwudziestu decyzji; wyniki są identyczne z dokładnością do trzynastego miejsca po przecinku.
| Trafność | Wskazana z góry sekwencja | Gdziekolwiek w 100 decyzjach | Gdziekolwiek w 250 decyzjach | ||||
|---|---|---|---|---|---|---|---|
| 3 straty | 5 strat | 8 strat | seria ≥5 | seria ≥8 | seria ≥5 | seria ≥8 | |
| 45% | 16,6% | 5,03% | 0,84% | 92,0% | 30,7% | 99,8% | 61,4% |
| 50% | 12,5% | 3,13% | 0,39% | 81,0% | 17,0% | 98,6% | 38,4% |
| 55% | 9,11% | 1,85% | 0,168% | 64,7% | 8,4% | 93,0% | 20,3% |
| 60% | 6,40% | 1,02% | 0,066% | 45,9% | 3,6% | 79,2% | 9,2% |
Wartości ilustracyjne, policzone dla prób niezależnych i stałej trafności. Horyzont N = 100 i N = 250 odpowiada mniej więcej pół roku i rok handlu przy kilkunastu–dwudziestu kilku transakcjach miesięcznie; przy innej częstotliwości liczby z dwóch ostatnich grup kolumn się zmieniają, a trzy pierwsze — nie.
Dla jednej wartości trafności warto zobaczyć pełny przebieg. Poniżej trafność 55% i rok obejmujący 250 decyzji.
| Seria co najmniej | We wskazanej z góry sekwencji tej długości | Gdziekolwiek w ciągu 250 decyzji |
|---|---|---|
| ≥ 3 | 9,11% | praktycznie pewne |
| ≥ 4 | 4,10% | 99,8% |
| ≥ 5 | 1,85% | 93,0% |
| ≥ 6 | 0,83% | 68,6% |
| ≥ 7 | 0,37% | 40,0% |
| ≥ 8 | 0,168% | 20,3% |
| ≥ 10 | 0,034% | 4,4% |
Sześć strat z rzędu w ciągu roku to zdarzenie, które przy tej trafności zdarza się częściej niż nie zdarza. Osiem — mniej więcej w co piątym roku handlu. Dziesięć — raz na dwadzieścia kilka lat, czyli prawdopodobnie nigdy, ale nie dlatego, że jest niemożliwe.
4. Ta sama reguła, sześć różnych przebiegów
Tabela z poprzedniej sekcji opisuje pojedynczą liczbę. Łatwiej zobaczyć, co ona znaczy, patrząc na kilka pełnych przebiegów naraz. Poniższy wykres pokazuje sześć niezależnych losowań tej samej reguły: ta sama trafność 55%, sto kolejnych decyzji, żadnej różnicy w sposobie działania. Różni je wyłącznie kolejność, w jakiej wypadły trafienia i nietrafienia.
Pięć przebiegów kończy się nad kreską, jeden pod nią. Trader, któremu przypadł przebieg kończący się na minus dwa, ma po stu decyzjach dokładnie tę samą regułę co ten, któremu przypadł przebieg kończący się na plus dwadzieścia cztery. Ma też komplet argumentów, żeby uznać, że reguła nie działa: sześć strat pod rząd jeszcze w pierwszej trzeciej przebiegu, długi płaski odcinek, wynik poniżej zera po pół roku pracy.
Różnice między przebiegami narastają nie na końcu, lecz w środku. Do mniej więcej trzydziestej decyzji wszystkie sześć linii mieści się w wąskim pasie i żadna nie daje podstaw do wniosku. To jest praktyczne znaczenie sekcji drugiej — pierwsze kilkadziesiąt obserwacji nie rozdziela przebiegów, które ostatecznie skończą się bardzo różnie.
Jedna decyzja, cztery zakończenia
Ten sam problem widać na pojedynczej transakcji. Przykład ilustracyjny. Warunek zapisany w planie jest spełniony, zlecenie obronne stoi tam, gdzie przewiduje plan, cel również. Możliwe zakończenia:
- cena dochodzi do celu i pozycja zamyka się z zyskiem;
- cena dochodzi do zlecenia obronnego i pozycja zamyka się ze stratą;
- cena zbliża się do celu, zawraca i sięga zlecenia obronnego — strata po tym, jak przez pewien czas pozycja była wyraźnie na plusie;
- cena nie robi ani jednego, ani drugiego, a pozycja zostaje zamknięta zgodnie z zapisanym w planie warunkiem czasowym.
Które z tych zakończeń zmienia ocenę decyzji? Żadne. Ocena dotyczy dwóch rzeczy: czy warunek był spełniony w chwili wejścia i czy wykonanie odpowiadało planowi. Obie są rozstrzygnięte, zanim padnie którekolwiek z zakończeń. Zmienia się natomiast co innego — do serii dochodzi jedna obserwacja, a seria potrzebuje ich setek, zanim zacznie cokolwiek znaczyć.
Wariant trzeci zasługuje na osobną uwagę, bo z niego bierze się najwięcej późniejszych przeróbek planu. Pozycja, która była blisko celu i wróciła do zlecenia obronnego, wygląda na stratę możliwą do uniknięcia i podsuwa gotowy wniosek: trzeba było zamknąć wcześniej. Rzecz w tym, że w chwili decyzji wariant trzeci jest nieodróżnialny od pierwszego, a reguła „zamykam wcześniej" zastosowana konsekwentnie obcięłaby również część zakończeń pierwszego typu. Czy taka zmiana się opłaca, rozstrzyga się na serii i danych, a nie na jednym bolesnym przypadku.
Oś pionowa celowo liczy trafienia, a nie pieniądze. Przełożenie takiego przebiegu na stan rachunku wymaga dwóch dodatkowych rzeczy: relacji zysku do straty, którą opisuje dział 8, oraz wielkości pozycji, którą ustala dział 9. Narzędzie do policzenia własnego wachlarza ścieżek wraz z rozkładem obsunięć znajduje się w symulatorze Monte Carlo; tutaj potrzebna jest wyłącznie sama obserwacja, że jedna reguła produkuje wiele przebiegów.
5. „Zarobiłem, łamiąc reguły" — najgorszy możliwy wynik
Poprzednie sekcje pokazują, dlaczego strata nie dowodzi błędu. Zdanie odwrotne jest równie prawdziwe i znacznie rzadziej wypowiadane: zysk nie dowodzi, że decyzja była poprawna. Bez tej drugiej połowy całe rozumowanie działa jednostronnie i zamienia się w wymówkę.
Przykład ilustracyjny, wartości ilustracyjne. W planie zapisany jest warunek: nie otwieram pozycji, jeżeli do zaplanowanej publikacji danych zostało mniej niż trzydzieści minut. Warunek powstał wcześniej, na spokojnie, z powodu, który trader potrafi odtworzyć. Pewnego dnia układ wygląda wyjątkowo dobrze, a do publikacji zostało dwanaście minut. Trader wchodzi. Dane wypadają po jego stronie, pozycja zamyka się z zyskiem odpowiadającym dwóm jednostkom ryzyka.
Ocena tej decyzji nie zmienia się ani o jotę. W chwili jej podejmowania obowiązywał zapisany warunek i nie był spełniony. Wszystko, co wydarzyło się później, jest informacją, której trader wtedy nie miał — a decyzję ocenia się według informacji dostępnych przed nią. Zysk zmienia natomiast coś innego: utrudnia późniejsze rozpoznanie tej decyzji jako naruszenia, bo w zapisie zostaje dodatni wynik, a warunek, którego nie spełniono, trzeba w nim dopiero odszukać.
[PRAKTYKA BEZ BADAŃ] Nie stawiam tu twierdzenia, że zysk zwiększa częstość powtórzenia naruszenia u tej samej osoby — nie znam pomiaru, który by to ustalał. Zdanie powyżej dotyczy wyłącznie tego, co widać w zapisie transakcji po fakcie, i tylko na tym opiera się wniosek z następnego akapitu.
Dlatego w zapisie transakcji kolumna „zgodność z warunkiem" musi być wypełniana z warunku, nie z wyniku. Transakcja z powyższego przykładu jest naruszeniem i tak zostaje odnotowana, mimo dodatniego wyniku. Transakcja spełniająca warunek, która skończyła się stratą, naruszeniem nie jest i tak samo zostaje odnotowana. Konstrukcję takiego zapisu opisuje artykuł o dzienniku transakcji.
Cztery kombinacje jakości decyzji i jakości wyniku — dobra decyzja z dobrym wynikiem, dobra ze złym, zła z dobrym, zła ze złym — mają własne omówienie w artykule o oddzieleniu wyniku od procesu. Tutaj wystarczy zaznaczyć, którego pola dotyczy powyższy przykład i dlaczego akurat ono jest kłopotliwe: to jedyne pole, w którym rynek płaci za zachowanie, którego trader nie chce powtarzać.
Odwrotne przegięcie też jest błędem. Zdanie „wynik nie ma znaczenia" jest fałszywe. Wynik ma znaczenie — jako jedna obserwacja w serii, z której po kilkuset powtórzeniach da się coś policzyć. Nie ma znaczenia jako werdykt o pojedynczej decyzji.
6. Przekonanie stopniowalne i sprawdzalne
Jeżeli wyniku pojedynczej decyzji nie da się kontrolować, a trafność jest wielkością szacowaną, to zostaje pytanie, co właściwie podlega ocenie. Odpowiedź jest jedna i mało efektowna: stopień przekonania, z jakim trader wchodzi w decyzję, i to, czy ten stopień odpowiada późniejszej częstości trafień.
Zamiast pytania „wchodzę czy nie wchodzę" pytanie brzmi: jak bardzo jestem przekonany, że warunek, który uznałem za spełniony, rzeczywiście jest spełniony i że scenariusz się zrealizuje. Odpowiedź „65%" niesie inną informację niż „85%", a obie są czymś innym niż „jestem pewien". Celem nie jest wysoka pewność. Celem jest kalibracja: żeby decyzje, przy których trader deklarował 70%, kończyły się trafieniem mniej więcej w siedmiu przypadkach na dziesięć.
Nadmierna pewność nie jest jednym zjawiskiem. Don Moore i Paul Healy rozdzielili trzy odrębne rzeczy: przeszacowanie własnego wyniku, przekonanie o byciu lepszym od innych oraz nadmierną precyzję szacunku, czyli deklarowanie węższych przedziałów, niż uzasadnia wiedza[5]. To praca teoretyczno-przeglądowa, która proponuje podział i porządkuje wyniki innych badań, a nie pojedynczy eksperyment z własnym wynikiem — przenoszę z niej rozróżnienie pojęć, a nie zmierzoną wielkość czegokolwiek. Dla tradera znaczenie ma głównie trzecia forma i jej odpowiednik w kalibracji: problemem nie jest to, że ktoś jest bardzo przekonany, tylko to, że deklarowana pewność systematycznie przewyższa trafność.
Zapis przed decyzją
Kalibracji nie da się sprawdzić z pamięci, bo wspomnienie własnego przekonania powstaje po poznaniu wyniku i jest przez ten wynik zniekształcone. Potrzebny jest zapis wykonany wcześniej. Minimalna wersja ma pięć pól i zajmuje mniej niż minutę.
| Pole | Co wpisać | Po co |
|---|---|---|
| Czas | Godzina i minuta zapisu, przed złożeniem zlecenia | Pozwala później sprawdzić, że wpis powstał przed decyzją, a nie po wyniku |
| Warunek | Który zapisany warunek uznaję za spełniony | Rozstrzyga później, czy transakcja była zgodna z regułą, niezależnie od wyniku |
| Kierunek | Scenariusz, na który stawiam | Bez tego nie da się orzec, czy prognoza się sprawdziła |
| Przekonanie | Jeden z przedziałów: 50–60%, 60–70%, 70–80%, 80–90% | Jedyne pole, które pozwala cokolwiek skalibrować |
| Co by mnie przekonało, że się mylę | Jedno zdanie o obserwacji, która przemawia przeciw scenariuszowi | Zmusza do rozważenia danych przeciwnych przed decyzją, a nie po niej |
Przedziały zamiast pojedynczych procentów są celowe. Różnica między 63% a 66% nie jest wielkością, którą człowiek potrafi wiarygodnie oszacować, a pozorna precyzja tylko utrudnia późniejszą analizę. Cztery przedziały wystarczą. Dopuszczalną odpowiedzią jest też brak wpisu: jeżeli po przeczytaniu warunku nie da się przypisać scenariuszowi żadnego sensownego stopnia przekonania, brak transakcji jest poprawnym wynikiem procedury, a nie jego porażką.
Sprawdzenie po serii
Zanim padnie pierwszy wpis, trzeba rozstrzygnąć jedną rzecz: co liczy się jako trafienie. W tym zestawieniu trafieniem jest realizacja scenariusza zapisanego w polu „Kierunek" — cena dochodzi do zapisanego celu, zanim sięgnie zlecenia obronnego. To nie to samo co dodatni wynik: pozycja domknięta warunkiem czasowym na niewielkim plusie trafieniem nie jest, a trafienie po odjęciu kosztów bywa wynikiem ujemnym. Definicja jest konwencją i wolno wybrać inną, pod jednym warunkiem: musi być ustalona przed pierwszym wpisem i identyczna dla wszystkich. Trzy możliwe odczyty — dojście do celu, dodatni wynik, realizacja scenariusza kierunkowego — dają trzy różne częstości, a ich mieszanie unieważnia całe porównanie.
Dalej jest już mechanicznie: pogrupuj wpisy według zadeklarowanego przedziału i policz w każdej grupie udział trafień. Przykład ilustracyjny, wartości ilustracyjne:
| Zadeklarowane przekonanie | Liczba wpisów | Trafień | Udział trafień | Odczyt |
|---|---|---|---|---|
| 50–60% | 34 | 19 | 56% | zgodne z deklaracją |
| 60–70% | 41 | 25 | 61% | zgodne z deklaracją |
| 70–80% | 28 | 16 | 57% | deklaracja wyższa niż trafność |
| 80–90% | 11 | 6 | 55% | rozbieżność na tyle duża, że widać ją nawet przy jedenastu wpisach |
Odczyt tej tabeli wymaga tej samej ostrożności co całej reszty artykułu. Przy trzydziestu wpisach w grupie przedział zgodny z danymi ma szerokość ponad trzydziestu punktów procentowych — czyli pomiędzy wartościami, które tabela z sekcji drugiej podaje dla dwudziestu i pięćdziesięciu obserwacji. Oznacza to, że takie zestawienie wykrywa wyłącznie grubą rozbieżność, na przykład deklarowane 85% przy realnych 55%. Subtelnej nie wykryje i nie należy udawać, że wykrywa. Ostatni wiersz pokazuje jednak, że mała próba nie unieważnia odczytu automatycznie. Jedenaście wpisów daje przedział zgodny z danymi o szerokości pięćdziesięciu punktów procentowych — od 28% do 79% — a mimo to cały ten przedział leży poniżej zadeklarowanego pasma 80–90%; prawdopodobieństwo sześciu lub mniej trafień przy jedenastu wpisach i realnej trafności 85% wynosi 0,016. Nierozstrzygalne przy tej liczbie wpisów jest to, o ile deklaracja jest zawyżona, a nie to, czy jest zawyżona.
Warunek uruchomienia: każde zlecenie otwierające pozycję. Brak wpisu oznacza brak zlecenia — kolejność jest częścią procedury, nie jej ozdobą.
Działanie: pięć pól z tabeli powyżej, w jednym miejscu, przed złożeniem zlecenia.
Kryterium zakończenia: przegląd odbywa się dopiero wtedy, gdy w co najmniej dwóch przedziałach przekonania zebrało się po dwadzieścia kilka wpisów. Wcześniej przeglądu się nie robi, bo nie ma czego liczyć — i to jest właśnie ten warunek, którego brak zamienia procedurę w rytuał.
Audytowalność: godzina wpisu musi dać się porównać z godziną zlecenia w historii rachunku. Jeżeli tej pary nie da się zestawić, zapis nie jest dowodem, tylko wspomnieniem.
Po czym poznasz, że nie działa: po miesiącu więcej niż jedna piąta zleceń nie ma wpisu — formularz jest za długi albo stoi w złym miejscu procesu. Albo: wszystkie wpisy mają ten sam przedział przekonania — skala nic nie mierzy i trzeba ją zwęzić do dwóch poziomów. Albo: po dwóch przeglądach rozbieżność między deklaracją a trafnością nie zmienia się mimo świadomej korekty — wtedy problemem prawdopodobnie nie jest kalibracja, tylko sama reguła, a to jest pytanie do działu 8.
7. Iluzja kontroli i granice tego, co zależy od tradera
Ellen Langer opisała w 1975 roku serię eksperymentów, w których uczestnicy zachowywali się tak, jakby samodzielny wybór zwiększał ich szansę w grze czysto losowej[4]. W najczęściej przywoływanym z nich — badaniu drugim, N = 53, z czego 27 osób w warunku samodzielnego wyboru i 26 z losem przydzielonym — pracownicy biur na Long Island kupowali po dolarze losy na loterię o puli około pięćdziesięciu dolarów: część mogła wybrać swój los sama, część otrzymywała los przydzielony. Gdy później proponowano odkupienie losu, osoby, które wybierały samodzielnie, żądały średnio 8,67 dolara, a osoby z losem przydzielonym — 1,96 dolara. Prawdopodobieństwo wygranej było w obu grupach identyczne.
Status dowodowy tego badania trzeba podać razem z wynikiem. To pojedynczy eksperyment sprzed pół wieku, na małej próbie, przy drobnej stawce i w jednym zadaniu; wielkość efektu przeliczona z podanej statystyki t jest duża (d ≈ 1,2), ale jedno badanie o dużej wielkości efektu i jedna zreplikowana prawidłowość to nie to samo. Zarejestrowanej replikacji tego konkretnego eksperymentu nie ustaliłem i piszę to wprost — późniejsza literatura nad iluzją kontroli jest niejednorodna, a efekt wypada w niej wyraźniej w miarach deklarowanej pewności niż w samym zachowaniu. Ten sam rygor, który następna sekcja stosuje do rewizji badań nad gorącą ręką, obowiązuje również tutaj.
[EKSTRAPOLACJA] Badanie prowadzono na pracownikach biur w Stanach Zjednoczonych w latach siedemdziesiątych, przy drobnej stawce i w zadaniu loteryjnym. Przenoszę z niego mechanizm — samodzielny wybór podnosi poczucie wpływu na wynik, którego się nie kontroluje — a nie wielkość efektu i nie twierdzenie o traderach.
Transakcyjny odpowiednik jest łatwy do rozpoznania. Godzina spędzona na analizie nie zmienia rozkładu wyników pojedynczej transakcji, zmienia natomiast przekonanie o wpływie na ten wynik. Czy zmienia także wykonanie, jest pytaniem, na które odpowiada własny zapis: policz, ile modyfikacji wprowadziłeś na otwartej pozycji, i sprawdź, czy ta liczba rośnie wraz z czasem poświęconym na analizę przed wejściem. Pięć wskaźników mierzących w gruncie rzeczy to samo daje jedno potwierdzenie, nie pięć — a wygląda jak pięć. Każda czynność wykonana na otwartej pozycji daje poczucie sprawstwa niezależnie od tego, czy poprawia wynik.
[PRAKTYKA BEZ BADAŃ] Nie znam pomiaru, który ustalałby u traderów detalicznych związek między czasem analizy przed wejściem a liczbą późniejszych modyfikacji pozycji. Zdanie powyżej jest hipotezą sprawdzalną we własnym zapisie, a nie wnioskiem z Langer ani z Barbera i Odeana — pierwsze badanie mierzyło cenę odsprzedaży losu, drugie obrót i wynik netto.
Najbliższe tej obserwacji duże dane o rzeczywistych rachunkach dotyczą innego rynku i mierzą co innego — związek obrotu z wynikiem netto, a nie iluzję kontroli. Brad Barber i Terrance Odean przeanalizowali rachunki 66 465 gospodarstw domowych w amerykańskim domu maklerskim dyskontowym, akcje zwykłe, lata 1991–1996. Gospodarstwa o najwyższym obrocie osiągały netto około 11,4% rocznie, przeciętne gospodarstwo około 16,4%, najmniej aktywne około 18,5%, a rynek około 17,9%; różnica wynikała w przeważającej części z kosztów[8].
[EKSTRAPOLACJA] To jest rynek akcji w Stanach Zjednoczonych w latach dziewięćdziesiątych, inwestorzy, a nie traderzy walutowi z dźwignią. Przenoszę mechanizm kosztowy — częstsze zawieranie transakcji obciąża wynik netto — a nie wielkość efektu i nie wniosek o tym, że nadmierna aktywność sama w sobie niszczy rachunki. Zależność jest przekrojowa: opisuje związek obrotu z wynikiem, nie dowodzi, że zwiększenie obrotu u konkretnej osoby pogorszy jej wynik.
| Pod kontrolą tradera | Poza kontrolą tradera |
|---|---|
| To, czy w ogóle zawrze transakcję | Wynik pojedynczej transakcji |
| Warunek wejścia zapisany przed sesją | Kolejność, w jakiej wypadną trafienia i straty |
| Wielkość ryzyka ustalona w planie (parametry: dział 9) | Moment, w którym zmieniają się warunki rynkowe |
| Sposób i moment złożenia zlecenia | Płynność dostępna w chwili realizacji zlecenia |
| Liczba decyzji podjętych w sesji | To, czy dzisiejszy dzień okaże się typowy |
| Zapis decyzji przed poznaniem wyniku | To, jak wyglądałyby transakcje, których nie zawarł |
Ostatni wiersz jest tym, o który najłatwiej się potknąć. Rozliczanie się z transakcji pominiętych — „gdybym wtedy wszedł, miałbym dwa trafienia" — używa informacji, która powstała dopiero po decyzji. To nie jest rachunek strat, tylko opowieść zbudowana z wiedzy, której w momencie decyzji nie było.
Warunek uruchomienia: każde zamknięcie pozycji. Wpis powstaje razem z zamknięciem, a nie w przeglądzie tygodniowym, bo po tygodniu liczbę modyfikacji się zmyśla, nie odtwarza.
Działanie: dopisz do wpisu liczbę czynności wykonanych na już otwartej pozycji — przesunięć zlecenia obronnego, zmian celu, doliczeń do pozycji — oraz czas poświęcony na analizę przed wejściem, w zaokrągleniu do kwadransa.
Kryterium zakończenia: przegląd dopiero po zebraniu kilkudziesięciu transakcji. Wcześniej licznik nie ma czego pokazać, a porównywanie kilku wpisów daje wynik, który zmienia się z każdą następną transakcją.
Audytowalność: każda policzona czynność musi dać się odtworzyć z historii zleceń w rachunku. Liczba wzięta z pamięci mierzy wspomnienie, nie zachowanie.
Po czym poznasz, że nie działa: licznik nie różnicuje transakcji — wszystkie mają zero albo wszystkie mają tyle samo. Wtedy ta miara nic o tobie nie mówi i trzeba zmierzyć co innego, na przykład czas między otwarciem pozycji a pierwszą czynnością na niej. Druga postać niedziałania: liczba czynności rośnie, ale wyłącznie w dniach o wyraźnie innej zmienności — wtedy tłumaczy ją rynek, nie poczucie wpływu, i dopisywanie mechanizmu poznawczego jest przedwczesne.
8. Wzorce w szumie i prostsze wyjaśnienia
Skróty poznawcze, które w większości sytuacji działają sprawnie, zawodzą systematycznie w jednym określonym środowisku: takim, w którym informacja zwrotna przychodzi rzadko, z opóźnieniem i jest zaszumiona. Rynek jest dokładnie takim środowiskiem. To wystarcza do wyjaśnienia mechanizmu i nie wymaga dopisywania historii o tym, do czego te skróty rzekomo służyły w przeszłości gatunku.
Ten sam efekt widać na wykresie ceny. Ścieżka wygenerowana losowo produkuje odcinki, które wyglądają na trend, poziomy, które wyglądają na wsparcie, i odbicia, które wyglądają na reakcję rynku — mimo że powstały wyłącznie z kolejności losowań.
Ludzka intuicja o tym, jak wygląda losowość, jest przy tym systematycznie przesunięta w jedną stronę. Willem Wagenaar podsumował w 1972 roku dorobek badań nad wytwarzaniem losowych ciągów przez ludzi: proszeni o wyprodukowanie „losowej" sekwencji, badani zbyt często zmieniają wynik na przeciwny i wytwarzają serie krótsze, niż daje prawdziwe losowanie[3].
[EKSTRAPOLACJA] Przegląd Wagenaara dotyczy wytwarzania sekwencji, czyli tego, co badani sami produkują, a nie tego, jak oceniają ciągi pokazane im z zewnątrz. Przenoszę stąd wyłącznie kierunek rozbieżności — wyobrażenie o losowości ma serie krótsze niż losowość rzeczywista — a przeniesienie tego na odbiór serii strat jest rozszerzeniem, którego ten przegląd nie ustala.
Przy takim wyobrażeniu seria czterech czy pięciu strat nie wygląda na losową, chociaż — jak pokazuje tabela z sekcji trzeciej — w ciągu roku jest niemal nieunikniona.
Z tego przesunięcia biorą się dwa lustrzane błędne wnioski. Pierwszy: po serii strat następna transakcja „musi" być trafiona. Nie musi; przy niezależnych próbach szansa jest ta sama co za pierwszym razem. Drugi: po serii trafień można podnieść stawkę, bo „idzie". Oba opierają się na tym samym założeniu, że proces losowy pamięta swoją przeszłość.
Historia badań nad drugim z nich jest osobną lekcją ostrożności wobec „obalonych mitów": klasyczne obalenie „gorącej ręki" z 1985 roku[6] zostało w 2018 roku samo podważone analizą metody, którą się posłużono[7]. Pełne omówienie tej rewizji, obu błędnych wniosków i sytuacji, które nimi nie są, znajduje się w artykule o pułapkach poznawczych.
Osobną odmianą dopisywania wzorca jest opowieść budowana po fakcie. Po zamknięciu świecy ruch wygląda na oczywisty, a przed jej zamknięciem istniały równie przekonujące argumenty za przeciwnym scenariuszem. Kontrolą jest zapis z sekcji szóstej: prognoza i stopień przekonania zanotowane przed wynikiem. Sam mechanizm — pewność wsteczna — ma własne omówienie w artykule o pułapkach poznawczych, a jego wpływ na ocenę transakcji w artykule o wyniku i procesie.
Nie każde wyjaśnienie musi być psychologiczne. Straty tłumaczone „polowaniem na stop lossy" mają zwykle prostsze wytłumaczenie: zlecenie obronne leży tam, gdzie leżą zlecenia obronne wszystkich pozostałych, bo wszyscy czytają ten sam wykres i wybierają te same poziomy. Przed sięgnięciem po wyjaśnienie z zakresu psychologii warto sprawdzić prostsze: szum, koszty transakcyjne, warunki rynkowe, sposób wykonania zlecenia. Jeżeli wystarcza któreś z nich, mechanizm poznawczy jest dopisany, a nie wykazany.
Warunek uruchomienia: każde zdanie w dzienniku, które tłumaczy stratę zachowaniem rynku albo cudzą intencją — polowaniem na zlecenia obronne, celowaniem w konkretny poziom, reakcją rynku na twoją pozycję.
Działanie: wypisz obok trzy prostsze wyjaśnienia — szum, koszt transakcyjny, warunki wykonania zlecenia — i zaznacz przy każdym, czy sam wystarcza do wyjaśnienia tego, co się stało.
Kryterium zakończenia: wpis jest zamknięty, gdy któreś z trzech wystarcza albo gdy żadne nie wystarcza i to również zostało zapisane. Zapisanie braku prostszego wyjaśnienia jest poprawnym zakończeniem procedury, nie jej porażką.
Audytowalność: przy przeglądzie da się policzyć, jaki udział wyjaśnień psychologicznych przetrwał ten test, bo obie kolumny — wyjaśnienie pierwotne i wyjaśnienia prostsze — zostają w zapisie obok siebie.
Po czym poznasz, że nie działa: udział wynosi 100% albo 0%. W pierwszym przypadku test jest pozorny i wykonywany dla formy, w drugim przestałeś w ogóle notować wyjaśnienia, więc nie ma czego testować. W obu wypadkach procedura przestała cokolwiek rozstrzygać i lepiej wrócić do samego notowania okoliczności transakcji, bez tłumaczenia jej.
9. Kiedy niepewność wychodzi poza rachunek
Każda liczba z tego artykułu opiera się na jednym cichym założeniu: że znany jest zbiór możliwych wyników i można mu przypisać prawdopodobieństwa. Rozróżnienie Knighta z pierwszej sekcji przypomina, że to założenie bywa fałszywe — i wtedy zawodzi nie oszacowanie, tylko sam model.
15 stycznia 2015 roku Szwajcarski Bank Narodowy zniósł bez zapowiedzi minimalny kurs 1,20 franka za euro, utrzymywany od września 2011 roku[11]. Przez ponad trzy lata para EUR/CHF poruszała się w wąskim przedziale tuż nad tym poziomem. Po komunikacie kurs spadł w ciągu minut poniżej parytetu i zamknął dzień nieco powyżej jednego franka. Zlecenia obronne nie miały się o co oprzeć, bo na drodze w dół praktycznie nie było ofert — i z tego samego powodu ta sesja nie ma jednego minimum. Platforma EBS potwierdziła w komunikacie do klientów minimum sesji 0,8500 franka za euro; inne miejsca obrotu zarejestrowały własne ekstrema, u części dostawców detalicznych wyraźnie niższe, a opracowanie Pilbeama podaje „okolice 0,80 franka za euro"[12]. Sam rozrzut jest tu informacją, a nie usterką danych: kiedy po drugiej stronie nie ma ofert, jedna cena rynkowa po prostu nie istnieje. Brytyjski broker Alpari UK złożył cztery dni później wniosek o postępowanie upadłościowe[13], a FXCM musiał sięgnąć po ratunkową linię finansowania w wysokości 300 milionów dolarów od Leucadia National[14].
Praktyczny wniosek dla tego artykułu jest wąski i dotyczy wyłącznie statusu rachunku. Poślizg tej wielkości nie jest ogonem rozkładu oszacowanego z ostatnich trzech lat — jest zdarzeniem spoza tego rozkładu. Tabela serii strat nie przewiduje takich dni i nie ma tego robić. Co z tą wiedzą zrobić z punktu widzenia wielkości pozycji i ekspozycji, rozstrzyga dział 9.
Podobnie wygląda drugi przypadek. 20 kwietnia 2020 roku majowy kontrakt na ropę WTI zszedł w trakcie sesji z 17,73 dolara i rozliczył się po cenie minus 37,63 dolara za baryłkę[15]. Problemem nie było to, że cena spadła bardzo nisko — problemem było to, że wielu uczestników rynku miało w swoich modelach i regułach niewypowiedziane założenie, iż cena jest nieujemna. Zbiór możliwych wyników okazał się szerszy niż zbiór wyników, które ktokolwiek wpisał do arkusza.
W piśmiennictwie rynkowym takie zdarzenia opisuje się terminem „czarny łabędź", spopularyzowanym przez Nassima Taleba[9]. To pojęcie z literatury eseistycznej, nie wynik badania empirycznego, i tak też należy je czytać.
Pytanie z pierwszego akapitu — czy reguła nadal działa — nie doczekało się tu odpowiedzi liczbowej i żadna tabela mu jej nie da. Zostaje z tego jedna rzecz do zapamiętania i jest ona nudniejsza, niż chciałoby się po takim rachunku: o jakości decyzji nie orzeka jej wynik, tylko to, co zostało zapisane, zanim wynik był znany. Przedziały ufności, tabela serii i wachlarz sześciu przebiegów służą wyłącznie pokazaniu, dlaczego nic innego tej roli nie udźwignie.
Rachunek z sekcji trzeciej odpowiada na pytanie, ile nietypowego mieści się w normie działającej reguły. Nie odpowiada na pytanie, co dzieje się z człowiekiem, który właśnie ogląda szóstą stratę z rzędu i ma przed sobą siódmą decyzję. To jest osobny mechanizm — moment, w którym stan zaczyna zmieniać wykonanie ustalonego procesu — i zajmuje się nim kolejny artykuł kursu.
FAQ — Trading w warunkach niepewności
Czym różni się ryzyko od niepewności?
Ile transakcji trzeba, żeby ocenić, czy reguła działa?
Po czym poznać, że seria strat to sygnał awarii, a nie normalna zmienność?
Po co zapisywać stopień przekonania przed transakcją?
Czy z tradingu da się usunąć losowość?
Źródła i bibliografia
- Knight F.H., Risk, Uncertainty, and Profit, Houghton Mifflin, 1921. Rozróżnienie między mierzalnym ryzykiem a niemierzalną niepewnością.
- Tversky A., Kahneman D., „Belief in the law of small numbers", Psychological Bulletin, 76(2), 1971, s. 105–110. Kwestionariusz wśród 84 zawodowych psychologów; przecenianie reprezentatywności małych prób i oczekiwanie powtórzenia wyniku w kolejnej małej próbie.
- Wagenaar W.A., „Generation of random sequences by human subjects: A critical survey of literature", Psychological Bulletin, 77(1), 1972, s. 65–72. Przegląd badań nad wytwarzaniem ciągów losowych przez ludzi: zbyt częste zmiany wyniku i zbyt krótkie serie.
- Langer E.J., „The Illusion of Control", Journal of Personality and Social Psychology, 32(2), 1975, s. 311–328. Seria sześciu eksperymentów. Badanie drugie: N = 53 (27 osób wybierających los samodzielnie, 26 z losem przydzielonym), pracownicy biur na Long Island, 1973 rok, bilet 1 dolar, pula około 50 dolarów; ceny odsprzedaży losu 8,67 wobec 1,96 dolara przy identycznej szansie wygranej (t = 4,33, p < 0,005).
- Moore D.A., Healy P.J., „The trouble with overconfidence", Psychological Review, 115(2), 2008, s. 502–517. Praca teoretyczno-przeglądowa proponująca rozdzielenie trzech odrębnych form nadmiernej pewności; nie pojedyncze badanie z własnym wynikiem.
- Gilovich T., Vallone R., Tversky A., „The hot hand in basketball: On the misperception of random sequences", Cognitive Psychology, 17(3), 1985, s. 295–314. Klasyczna analiza podważająca „gorącą rękę".
- Miller J.B., Sanjurjo A., „Surprised by the hot hand fallacy? A truth in the law of small numbers", Econometrica, 86(6), 2018, s. 2019–2047. Wykazanie obciążenia w metodzie użytej przez Gilovicha i współautorów oraz ponowna analiza tych samych danych. Odwrócenie wniosku dotyczy eksperymentu kontrolowanego na 26 zawodnikach Cornell (badanie czwarte u Gilovicha i współautorów), a nie danych meczowych Philadelphia 76ers.
- Barber B.M., Odean T., „Trading Is Hazardous to Your Wealth: The Common Stock Investment Performance of Individual Investors", The Journal of Finance, 55(2), 2000, s. 773–806. 66 465 gospodarstw domowych, amerykański dom maklerski dyskontowy, akcje zwykłe, 1991–1996; gospodarstwa o najwyższym obrocie około 11,4% rocznie netto, przeciętne gospodarstwo około 16,4%, najmniej aktywne około 18,5%, rynek około 17,9%; różnica głównie kosztowa.
- Taleb N.N., The Black Swan: The Impact of the Highly Improbable, Random House, 2007. Literatura eseistyczna; źródło pojęcia, nie wynik badania.
- Europejski Urząd Nadzoru Giełd i Papierów Wartościowych (ESMA), decyzja o tymczasowej interwencji produktowej dotyczącej kontraktów na różnicę, maj 2018, wraz z późniejszymi przedłużeniami i przepisami krajowymi wprowadzającymi obowiązek ujawniania udziału tracących rachunków detalicznych.
- Szwajcarski Bank Narodowy, komunikaty prasowe: „Swiss National Bank sets minimum exchange rate at CHF 1.20 per euro" z 6 września 2011 roku oraz „Swiss National Bank discontinues minimum exchange rate and lowers interest rate to −0.75%" z 15 stycznia 2015 roku. Źródło pierwotne dla daty wprowadzenia i zniesienia kursu minimalnego 1,20 franka za euro.
- Pilbeam K., sekcja „Intervention in the Foreign Exchange Market: Rationale, Effectiveness, Costs and Benefits" w: „Currency Interventions: Effective Policy Tool or Shortsighted Gamble?", Intereconomics, 50(2), 2015, s. 64–81. Forum sześciu autorów (Pilbeam, Bris, Alcidi, Barslund, de Groen, Gros); podany zakres stron obejmuje całe forum, nie samą sekcję Pilbeama. Opis przebiegu 15 stycznia 2015 roku: przejściowe zejście kursu w okolice 0,80 franka za euro i ustabilizowanie się nieco powyżej jednego franka. Wartość referencyjna dla minimum tej sesji — 0,8500 franka za euro — pochodzi z komunikatu platformy EBS do klientów; notowania publikowane przez innych dostawców różniły się od niej, co jest w tym miejscu istotą sprawy.
- Financial Conduct Authority, komunikat dla klientów Alpari (UK) Limited. Spółka formalnie weszła w postępowanie upadłościowe w trybie Special Administration Regime 19 stycznia 2015 roku; zarządcami zostali Richard Heis, Samantha Bewick i Mark Firmin z KPMG LLP.
- FXCM Inc., komunikat prasowy z 16 stycznia 2015 roku oraz raport bieżący 8-K z datą zdarzenia 16 stycznia 2015 roku, złożony 23 stycznia 2015 roku (SEC EDGAR, CIK 0001499912). Umowa kredytowa z Leucadia National: dwuletni kredyt terminowy o wartości 300 milionów dolarów, zawarta po stratach z 15 stycznia; wpływy netto wyniosły około 279 milionów dolarów. Raport 8-K złożony 16 stycznia 2015 roku dotyczy odrębnej sprawy — ujemnych sald na rachunkach klientów.
- Commodity Futures Trading Commission, Interim Staff Report on Trading in NYMEX WTI Crude Oil Futures Contract Leading up to, on, and around April 20, 2020, listopad 2020. Majowy kontrakt WTI spadł 20 kwietnia 2020 roku z 17,73 dolara i rozliczył się po −37,63 dolara za baryłkę — po raz pierwszy w historii notowań tego kontraktu poniżej zera.
Rachunki prawdopodobieństwa serii, przedziały ufności dla trafności oraz oba wykresy w tekście policzono samodzielnie: serie metodą łańcucha Markowa ze stanem odpowiadającym bieżącej długości serii strat, z kontrolą symulacyjną na 200 000 powtórzeniach przy ziarnie 20260810; przedziały metodą Wilsona; przebiegi na wykresie w sekcji czwartej wygenerowano przy ziarnach 101–106. Wszystkie wartości oznaczone jako ilustracyjne służą pokazaniu mechanizmu i nie pochodzą z rachunku żadnego tradera.
Twój postęp w kursie
Oznacz lekcję po zapoznaniu się z materiałem. Samo otwarcie lub przewinięcie strony nie oznacza ukończenia; oznaczenie nie jest wynikiem egzaminu.
Jarosław Wasiński
