Tässä kirjoituksessa katsotaan tarkemmin 11 suurinta haastetta, jotka liittyvät realistisen backtestauksen tekemiseen. Sijoittajan kannattaa huomioida nämä haasteet tulkitessaan sijoitusten taustatestauksia.
Sijoitusten backtestauksessa, eli taustatestauksessa, valitaan haluttu sijoituskohde tai muodostetaan sijoitusstategia tai -salkku ja selvitetään sen historiallinen kehitys. Ideana on tarkastella sitä, miten sijoitus olisi pärjännyt jos se olisi tehty vuosia sitten. Tarkoitus on selvittää sijoituksen historiallista menestystä, siihen liittyviä riskejä, miten se menestyy muita verrokkeja vastaan ja miten realistisesti se olisi oikeasti toteutettavissa. Täysin ongelmatonta realistisen backtestauksen tekeminen ei ole, kuten ei ole myöskään tulosten tulkinta. Sijoittajan kannattaa huomioida varsinkin seuraavat haasteet tulkitessaan sijoitusten taustatestauksia.
11 suurinta backtesting-haastetta
- Sijoitushorisontti ja sen vaikutus. Sijoitusmaailma noudattaa usein trendejä. Mikäli taustatestaus on tehty vahvan nousumarkkinan ajalta, heijastaa myös tulokset näitä positiivisia vaikutuksia. On hyvä varautua tuloksiin, jotka on saatu vain yhdensuuntaisesta markkinaympäristöstä tai lyhyeltä aikaväliltä. Markkinatrendien voima voi selittää suurimman osan saaduista tuloksista – olivat ne sitten negatiivisia tai positiivisia.
- Huomioi kaikki todellisuudessa koituvat kulut kuten kaupankäyntikulut, hallinnointipalkkiot ja mahdolliset muut kulut. Sijoitustuotteiden ostamisesta ja myymisestä koituu kaupankäyntikuluja ja esimerkiksi rahastoihin tai ETF-rahastoihin sijoittamisessa tulee mukaan hallinnointikulut. Nämä tulisi huomioida mahdollisimman realistisesti. Erot todellisuuteen voivat olla todella suuret riippuen sijoitustuotteiden hallinnointipalkkioista ja sijoitusstrategian aktiivisuudesta.
- Sijoitustuotteiden tulisi olla realistisia. Useat backtestausmenetelmät käyttävät varsinkin akateemisessa tutkimuksessa indeksidataa tai muuta sijoituskohteita kuvaavaa dataa, joka ei todellisuudessa ole sijoitettavissa oleva sijoituskohde. Tällöin saadut tulokset eivät ole todellisuudessa mahdollisia eikä sijoittaja voi niistä täysimääräisesti hyötyä.
- Huomioi se, että todellisuudessa et välttämättä olisi saanut ostettua ja myytyä sijoituksia niillä hinnoilla millä se voidaan datasta “ostaa ja myydä”. Backtestaukset eivät usein sisällä realistista arviota osto- ja myyntihinnoista ja tällöin mukaan tulee virheitä verrattuna tilanteeseen, jossa tuotteita ostettaisiin tai myytäisiin oikeilta markkinoilta. Backtestauksessa tulisi tämä seikka huomioida tekemällä realistinen malli toimeksiantojen toteutumiselle.
- Sijoitusten ostosta ja myynnistä salkkuun jäävä käteispositio ja sen hallinta (cash balance ja cash drag). Todellisuudessa saadaan harvoin ostettua ositettuja osuuksia yhtiöistä tai rahastoista (fractional shares), ja tästä syystä sijoittajan sijoitustilillä olevaa summaa saadaan harvoin sijoitettua kokonaan. Tilille jää ostojen jälkeen käteisvaroja vaikka sitä ei haluaisikaan. Tämän rahamäärän osuus sekä sen aiheuttamat korkokulut- tai tuotot tulee huomioida tulosten tulkinnassa.
- Backtestaus ei usein huomioi sijoituspäätöksien vaikutusta hintoihin. Käytetty data on historiallista eikä simuloituja osto- ja myyntipäätöksiä todellisuudessa synny. Tällöin ei myöskään tapahdu sijoituskohteiden hintamuutoksia toimeksiannoista johtuen. Tämä ongelma on merkittävä mikäli testataan isolle varallisuudelle tarkoitettua salkkua, jossa osto- ja myyntitapahtumat olisivat merkittäviä verrattuna kohteen markkinalikviditeettiin. Pienempien sijoitussalkkujen kohdalla ongelmaa ei synny ellei valitut sijoituskohteet ole likviditeetiltään todella pieniä. Realistinen backtestaus sisältää mallin sijoituskohteiden hintareaktioille toimeksiantojen toteutuessa.
- Luovutusvoitoista maksettavat verot ja luovutustappioista tehtävät verovähennykset (tax-effects). Näiden kulujen huomioiminen on varsin työlästä johtuen erilaisista verotuskäytännöistä, joten hyvin harva backtestaustyökalu sisältää laskelmat verovaikutuksista.
- Tulkitse vertailukohtia ja tunnuslukuja oikein. Tärkeää on tulkita saatuja tuloksia riskikorjattuina. Salkku, joka toi suurimman absoluuttisen tuloksen saattoi olla suurimman riskin sisältävä sijoitus. On parempi tarkastella riskimittarit sisältäviä tunnuslukuja.
- Älä hae sijoitusideoita pelkästään backtestingin kautta – vältä siis mallien ylisovittamista ja datalouhintaa. Tämä johtaa helposti vain historiallisessa datassa sattumalta toimiviin ratkaisuihin, jotka kaatuvat usein oikealla rahalla tehdyissä sijoituksissa.
- Sijoitussalkkujen vertailu tuotto- ja riskiluvuilla (esim. Alfa, beeta, sharpe, volatility, sortino, max drawdown). Tuloksia tulisi tulkita erilaisten tunnuslukujen valossa. Yksipuoliset tunnusluvut johtavat yksipuolisiin tulkintoihin.
- Huomioi käytetyn datan laatu ja rakenne (survivorship bias, outliers, data errors, jne.). Tietyt datasetit sisältävät vain yhtiöt ja rahastot, jotka ovat pysyneet pystyssä datan aikajänteen loppuun saakka – eli niistä on poistettu kaatuneet yksilöt. Tästä syystä myöskään backtestaus ei voi “sijoittaa” näihin kohteisiin vaikka se niin olisi saattanut tehdäkin. Datassa olevat virheet voivat myös vaikuttaa radikaalisti saatuihin tuloksiin. Datan tulisi olla mahdollisimman puhdasta ja hyvälaatuista.
Yhteenveto
Backtestauksen ideana on todentaa sijoitusmenetelmän toimivuus – eli se, että se on toteutettavissa todellisilla markkinoilla. Tätä kautta saadaan tietoa sen teknisistä ongelmista, arvioita tunnusluvuista sekä voidaan arvioida siihen liittyviä kustannuksia. Väärin käytettynä backtestaus voi olla jopa vaarallista, mutta oikein ymmärrettynä ja sen puutteet huomioiden se on erittäin hyödyllinen ja tehokas työkalu sijoituspäätöksien tueksi.
Artikkeli on julkaistu alunperin oululaisen finanssiteknologiayhtiö TAVIQ Oy:n blogissa. Tutustu yhtiöön TAVIQ:n kotisivuilla sekä twitterissä.
