Data snooping – hva er det og hvordan unngå falske signaler i aksjeanalyse?

Hva er data snooping?

Data snooping, også kalt data mining bias, er en statistisk feilslutning som oppstår når man gjentar tester på samme datasett til man finner et mønster som ser signifikant ut. I praksis betyr det at man prøver ut mange ulike hypoteser, strategier eller indikatorer på historiske data, og til slutt finner en som gir god avkastning i backtesten. Problemet er at denne strategien sannsynligvis er et resultat av tilfeldigheter, ikke en ekte sammenheng. For en investor kan dette føre til falsk trygghet og dårlige beslutninger når strategien ikke fungerer i fremtiden.

Data snooping er spesielt utbredt i kvantitativ finans, der algoritmer testes mot store mengder historiske data. Men også private investorer kan falle i fellen når de eksperimenterer med tekniske indikatorer eller aksjeplukkingsmodeller. Konsekvensen er at man overvurderer strategiens potensial og undervurderer risikoen for tilfeldigheter.

For å forstå data snooping må man vite litt om statistisk hypotesetesting. Når man setter et signifikansnivå på 5 %, betyr det at det er 5 % sjanse for å oppdage en sammenheng som ikke finnes (type I-feil). Hvis man tester 100 uavhengige strategier, vil man i gjennomsnitt finne 5 strategier som ser signifikante ut, selv om alle er tilfeldige. Dette er kjernen i data snooping.

Forstå data snooping

Data snooping handler om å la dataene diktere hypotesene i stedet for å teste en forhåndsdefinert hypotese. Når man graver i dataene uten en klar teori, øker sjansen for å oppdage mønstre som bare skyldes støy. Dette er beslektet med overfitting, der man tilpasser en modell for godt til historiske data, slik at den mister evnen til å generalisere.

I aksjemarkedet er det mange mulige variabler å teste: glidende gjennomsnitt, RSI, MACD, volumindikatorer, sesongmønstre, osv. Hver gang man legger til en ny test, øker sannsynligheten for en falsk positiv. Jo flere strategier man prøver, desto større er sjansen for å finne en som ser bra ut på papiret.

En viktig nyanse er at data snooping ikke bare handler om antall tester, men også om hvordan testene utføres. Hvis man for eksempel justerer parametere underveis basert på resultatene, forsterkes problemet. Dette kalles ofte 'data dredging' eller 'p-hacking'. I verste fall kan man skreddersy en strategi som perfekt passer historien, men som er verdiløs i fremtiden.

Hvordan fungerer data snooping?

Prosessen starter ofte med at en investor eller analytiker har tilgang til en database med historiske kursdata. Hun bestemmer seg for å teste om en enkel teknisk regel, som 'kjøp når 50-dagers glidende gjennomsnitt krysser over 200-dagers', kan gi meravkastning. Hun backtester regelen på de siste 20 årene og finner en positiv avkastning. Men er dette et reelt signal eller bare tilfeldig?

For å illustrere: La oss si at hun tester 50 ulike kombinasjoner av glidende gjennomsnitt. Med et signifikansnivå på 5 % vil hun i snitt finne 2,5 strategier som ser lovende ut, selv om alle er tilfeldige. Hvis hun i tillegg tester ulike inngangs- og utgangsregler, kan antallet tester bli svært høyt.

Data snooping fungerer altså ved at man utnytter tilfeldighetene i datasettet. Markeder er støyende, og over korte perioder kan tilfeldige mønstre oppstå. En strategi som fanger opp et slikt mønster vil se bra ut i backtest, men sannsynligvis feile når den anvendes på ny data.

Historisk bakgrunn

Problemet med data snooping har vært kjent i statistikk i flere tiår, men fikk økt oppmerksomhet i finans på 1990-tallet. Forskere som Lo og MacKinlay (1990) og Sullivan, Timmermann og White (1999) viste hvordan data snooping kunne forklare tilsynelatende lønnsomme handelsstrategier. White (2000) utviklet en test kalt 'White's Reality Check' for å korrigere for data snooping i hypotesetesting.

I Norge har temaet blitt relevant ettersom flere private investorer og fondsforvaltere bruker kvantitative modeller. Norske investorer som tester strategier på Oslo Børs, må være spesielt oppmerksomme på data snooping fordi datasettet er relativt lite sammenlignet med USA. Med færre aksjer og kortere historie, øker risikoen for tilfeldige funn.

En annen viktig milepæl var Campbell, Lo og MacKinlays bok 'The Econometrics of Financial Markets' (1997), som grundig behandlet data snooping i finansielle tidsserier. Siden da har det blitt utviklet flere statistiske metoder for å håndtere problemet, for eksempel Bonferroni-korreksjon og False Discovery Rate.

Praktisk eksempel

La oss ta et norsk eksempel. En investor laster ned historiske kursdata for Equinor-aksjen fra 2000 til 2020. Hun bestemmer seg for å teste 100 ulike kombinasjoner av korte og lange glidende gjennomsnitt (for eksempel 10/30, 10/50, 20/50, osv.). Hun finner at kombinasjonen 15-dagers og 45-dagers gir en årlig meravkastning på 12 % i perioden. Hun er begeistret og setter strategien i verk i 2021. Men i 2021 og 2022 gir strategien en negativ avkastning på -5 % per år, mens Equinor steg 10 %. Hva gikk galt? Svaret er data snooping: strategien var et produkt av tilfeldigheter i den spesifikke perioden 2000-2020.

En tabell kan illustrere:

Fordeler og ulemper

Data snooping har strengt tatt ingen fordeler, men bevissthet om fenomenet kan hjelpe investorer å unngå fallgruver. Ulempene er åpenbare: falske strategier, bortkastet tid og penger, og overmot. En fordel er at det har ført til utvikling av bedre metoder for strategitesting, som out-of-sample testing, kryssvalidering og statistiske korreksjoner som Bonferroni-korreksjon eller False Discovery Rate.

For investorer er det viktig å forstå at data snooping kan føre til overdreven tro på egne evner. Mange tradere mister penger fordi de stoler blindt på backtestresultater uten å validere dem. På den positive siden har fokuset på data snooping bidratt til mer robuste analyser og bedre risikostyring i finansbransjen.

En annen ulempe er at data snooping kan skjule seg i mer komplekse modeller, for eksempel maskinlæringsalgoritmer. Jo flere parametere og jo mer fleksibel modellen er, desto større er risikoen for at den tilpasser seg støy i stedet for signal.

Vanlige misforståelser

Mange tror at data snooping bare er et problem for kvantitative hedgefond, men det rammer også private investorer. En annen misforståelse er at data snooping er det samme som overfitting. Overfitting er en beslektet, men ikke identisk, feil: overfitting handler om å tilpasse en modell for godt til støy, mens data snooping handler om å teste mange modeller og velge den beste. Data snooping kan føre til overfitting, men overfitting kan også oppstå uten mange tester.

Noen tror også at data snooping kan unngås ved å bruke lengre tidsserier. Det hjelper, men eliminerer ikke problemet hvis man tester mange strategier. Til slutt tror noen at en strategi som fungerer i backtest automatisk er god, men uten validering på ny data er det bare et spill med tall.

En annen misforståelse er at data snooping bare oppstår når man bevisst leter etter mønstre. I realiteten kan det også skje utilsiktet, for eksempel når en investor leser om en populær strategi og tester den på norske data uten å være klar over at den er funnet gjennom data snooping i utgangspunktet.

Oppsummering

Data snooping er en av de vanligste fellene i aksjeanalyse. For å unngå den, bør investorer: 1) begrense antall strategier de tester, 2) bruke out-of-sample data for validering, 3) justere signifikansnivået for antall tester, og 4) være skeptisk til resultater som virker for gode til å være sanne. Husk at historiske mønstre ikke nødvendigvis gjentar seg.

En enkel tommelfingerregel: Hvis du tester mer enn 20 strategier, bør du forvente minst én falsk positiv med 5 % signifikansnivå. Bruk derfor alltid en form for korreksjon, for eksempel Bonferroni (del signifikansnivået på antall tester).

Til syvende og sist handler det om å være ydmyk overfor tilfeldighetenes rolle i finansmarkedene. Data snooping minner oss på at ikke alt som glitrer i en backtest, er gull.