Tutkimus: ChatGPT ennusti yritysten tuloskehityksen suunnan osakeanalyytikoita tarkemmin

Tulosennusteisiin perustuvan sijoitusstrategian tuotto oli korkea.
ChatGPT tekoäly generatiivinen AI ChatGPT tekoäly generatiivinen AI

Viime toukokuussa kolme Chicagon yliopiston tutkijaa julkaisi mielenkiintoisen tutkimuspaperin, jossa testattiin, pystyykö ChatGPT tekemään tilinpäätösanalyysiä yhtä hyvin kuin sijoitusammattilaiset.

Tutkijat – Alex KimMaximilian Muhn ja Valeri Nikolaev – ohjeistivat ChatGPT:tä toimimaan osakeanalyytikkona. Sen tehtävänä oli arvioida tilinpäätöksiä tunnistamalla merkittäviä muutoksia keskeisissä erissä, laskemalla tunnuslukuja ja kirjoittamalla taloudellisia narratiiveja analyysin kontekstualisoimiseksi. Lisäksi mallin tuli ennustaa, kasvavatko vai laskevatko yritysten tulokset seuraavana vuonna, arvioida muutoksen suuruus sekä ennusteen luotettavuus.

Tutkijat syöttivät ChatGPT:lle (versio GPT-4-0125-preview) tietokannan taseista ja tuloslaskelmista, joka kattoi yli 15 000 yritystä aikaväliltä 1968-2021. He kontrolloivat tarkasti, mitä tekoäly tiesi tai ei tiennyt yrityksistä, jotta mallin analyysikykyjä voitiin arvioida mahdollisimman tarkasti.

Yritysten kassavirtalaskelmia ei sisällytetty suoraan syötteisiin, mutta ne johdettiin tuloslaskelman ja taseen avulla. Lisäksi datasta poistettiin päivämäärät ja yritysten nimet, jotta malli ei voisi hyödyntää tietämystään merkittävistä markkinatapahtumista tai yritysuutisista ennusteita laatiessaan.

Tutkijat poistivat myös tilinpäätösten mukana tulevat tekstimuotoiset yhteenvedot, kuten johdon katsaukset ja analyysit, sillä heidän ensisijaisena tavoitteenaan oli arvioida ChatGPT:n kykyä analysoida ja yhdistää numeerista dataa.

Tutkijat antoivat tekoälyn analysoitavaksi kahden vuoden taseen ja kolmen vuoden tuloslaskelman erillisinä kokonaisuuksina. Tämä tarkoitti, ettei mallille annettu historiallista kontekstia tai pitkän aikavälin yritysdataa.

Seuraavaksi tutkijat hyödynsivät menetelmää nimeltä ”ajatusketjun kehotus” (Chain-of-Thought Prompting, lyh. CoT), jonka avulla he esittivät ChatGPT:lle sarjan kysymyksiä. Tämän lähestymistavan tarkoituksena oli jäljitellä ihmisen kaltaista päättelyä pyytämällä tekoälyä avaamaan ajatusprosessiaan, mikä paransi vastausten tarkkuutta ja johdonmukaisuutta.

Tutkijat vertasivat mallin tulosennustekyvyn suoriutumista osakeanalyytikkoihin, joiden ennusteet poimittiin tietokannasta vuosilta 1983-2021. Tämä data sisälsi lähes 40 000 havaintoa yli 3000 yrityksestä. Tutkijat käyttivät konsensusennusteita, jotka oli tehty kuukausi tilinpäätösten julkaisun jälkeen, jotta analyytikkojen ennusteet heijastaisivat yritysten tuoreimpia tuloksia. Vertailukohtina käytettiin myös kolmen ja kuuden kuukauden päähän ulottuvia konsensusennusteita.

ChatGPT ennusti tuloskehityksen suunnan tarkemmin kuin analyytikot

Ihmisanalyytikot onnistuivat ennustamaan yritysten tuloskasvun suunnan 52,7 prosentin tarkkuudella yhden kuukauden päähän. Se oli korkeampi kuin yksinkertaisen mallin 49,1 prosenttia, joka perustui ainoastaan edellisen vuoden tulosmuutoksen ekstrapolointiin. Tämä korostaa, kuinka haastavaa lyhyen aikavälin tulosmuutosten ennustaminen on – jopa kokeneille osakeanalyytikoille. 52,7 prosentin tarkkuus on vain hieman parempi kuin kolikonheitto. Sen sijaan kolmen ja kuuden kuukauden päähän ulottuvat analyytikoiden ennusteet olivat tarkempia, yltäen 56,0 prosentin ja 56,7 prosentin tarkkuuteen. 

ChatGPT:n tarkkuus oli 52,3 prosenttia, kun käytettiin yksinkertaisia, ei-ketjutettuja ohjeita. Tämä vastasi analyytikoiden yhden kuukauden ennusteiden tarkkuutta. Kun tutkijat sovelsivat ”ajatusketjun kehotus” -menetelmää, mallin tarkkuus nousi 60,4 prosenttiin, mikä oli merkittävästi parempi kuin analyytikoilla.

ChatGPT:n ennusteet olivat myös tarkempia kuin analyytikoiden kuusi kuukautta tilinpäätösten julkaisun jälkeen tekemät arviot. Tämä viittaa siihen, että vaikka analyytikoilla oli käytettävissään yksi tai kaksi lisäneljännestä toteutuneita tuloksia sekä johdon ohjeistuksia tulevista tuloksista, heidän suorituksensa jäi silti ChatGPT:n jälkeen.

ChatGPT arvioi myös ennusteidensa luottamusastetta. Ennusteet, joita malli piti luotettavampina, onnistuivat ennustamaan tuloskasvun suunnan tarkemmin verrattuna ennusteisiin, joiden luottamusaste oli matalampi. Lisäksi mallin tehtävänä oli ennustaa, olisivatko tulosmuutokset pieniä, keskisuuria vai suuria. Ennusteiden tarkkuus oli 62,0 prosenttia, kun malli ennusti suuria muutoksia, ja tarkkuus laski 60,2 prosenttiin ennustaessaan pieniä muutoksia. Näin ollen ennusteet olivat tarkempia, kun mallin luottamus oli korkeampi ja/tai se ennusti merkittävämpiä tulosmuutoksia.

Tutkijat vertasivat myös ChatGPT:n suoriutumista koneoppimismalliin, joka oli suunniteltu tulosennusteiden tekemiseen. ChatGPT:n tarkkuus oli verrattavissa – ja joissain tapauksissa jopa hieman parempi – kuin erikoistuneen koneoppimismallin.

Tutkijat rakensivat portfolioita ChatGPT:n ennusteiden perusteella

Tutkijat muodostivat long ja short -portfoliot mallin ennusteiden pohjalta. Portfoliot rebalansoitiin kerran vuodessa 30. kesäkuuta. Kunkin tilikauden osalta tutkijat valitsivat osakkeet, joiden kohdalla ChatGPT ennusti tulosten kasvua, ja luokittelivat odotetun muutoksen joko ”keskisuureksi” tai ”suureksi”. Valitut osakkeet järjestettiin sen jälkeen ChatGPT:n ennusteiden luottamusasteen perusteella. 

Teoreettiseen portfolioon ostettiin (long) korkeimman luottamuksen osakkeet niin, että yritysten kokonaismäärä vastasi 10 prosenttia datan yritysten kokonaismäärästä kunakin vuonna. Esimerkiksi, jos tiettynä vuonna ChatGPT analysoi 4 000 yrityksen tilinpäätöksen, portfolioon valittiin 400 osaketta. Sama prosessi toistettiin lyhyiden positioiden (short) kohdalla, mutta siinä valittiin osakkeet, joiden kohdalla malli ennusti tulosten laskevan. Salkkujen osakkeille käytettiin kahta erilaista painotusmenetelmää: markkina-arvopainotusta ja tasapainotusta.

Portfolioon ostetut (longit) osakkeet tuottivat odotetusti huomattavasti enemmän kuin lyhyet positiot (shortit), koska keskimäärin osakkeiden tuotto on positiivinen. Ostojen vuosituotto oli 15,4 prosenttia, kun portfolio rakennettiin tasapainoin. Markkina-arvopainotetusti tuotto oli 6,7 prosenttia vuodessa. Tasapainotetun salkun tuotto oli siis merkittävästi korkeampi, mikä viittaa siihen, että malli toi enemmän lisäarvoa ennustaessaan markkina-arvoltaan pienten osakkeiden tuloskehitystä. 

Kaiken kaikkiaan tutkimus siis osoitti, että kielimallien, kuten ChatGPT:n käytöstä voi olla apua sijoitustoiminnassa. Sitä voidaan käyttää apuna niin tilinpäätösten analysoinnissa kuin tulosennusteiden ja sitä kautta osakekurssikehityksen ennustamisessa. Sijoittajan ei silti välttämättä kannata perustaa sijoituspäätöksiään yksin tekoälyn suosituksiin, mutta oma analyysi yhdistettynä tekoälyn arvion kanssa voi olla järkevä vaihtoehto. Tutkijoiden kehittämä malli on saatavilla ChatGPT:ssä nimellä ”Financial Statement Analyzer”. 

Tilaa uutiskirjeemme

Kolmesti viikossa lähetettävä uutiskirje sisältää SalkunRakentaja-sivustolla julkaistut uusimmat artikkelit.
Lisää kommentti Lisää kommentti

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

Edellinen artikkeli
Mandatum finanssitalo

Nämä ovat OP:n analyytikoiden tämän hetken osakesuosikit

Seuraava artikkeli
Wanha Satama Helsinki

NoHo Partners laajentaa suuria kaupunkihankkeitaan ostamalla Wanhan Sataman ravintolaliiketoiminnan