Studier i stakkevis kan ikke bekræftes af andre forskere

Er introverte bedre til at lytte end ekstroverte? Er de fleste chefer psykopater? Hvordan opstår en økonomisk krise? Ny forskning fra samfundsvidenskaben, der dækker over alt fra psykologi og sociologi til økonomi, rammer ofte mediernes overskrifter med viden, der gør os klogere på os selv og vores samfund. Men måske skal vi være mere varsomme med blindt at tro de friske forskningsresultater. Et nyt studie peger på, at omkring halvdelen af studierne fra de mest velrenommerede tidsskrifter i samfundsvidenskaben ikke får samme resultat, når andre forskere forsøger at gentage dem. Det er for dårligt, siger en af forskerne bag det nye studie, til Videnskab.dk: "Et studie skal kunne genskabes for, at man kan være sikker på resultatet. Det er en af hjørnestenene i videnskaben," siger Jesper Wulff, professor i økonomi på Aarhus Universitet. I studiet har de blindt udvalgt 164 studier fra de bedste tidsskrifter og forsøgt at efterprøve dem, så de når samme konklusion. Det lykkes altså i halvdelen af tilfældene. "Jeg synes personligt, at det er for lavt. Det kan vi godt gøre bedre," siger han. Forskere stirrer blindt på resultatet Jesper Wulffs bidrag til studiet var blandt andet at gennemgå et tilfældigt udvalgt studie for at se, om det kunne genskabes. I det specifikke studie havde forskerne konkluderet, at en direktør får en større løn, hvis vedkommende leder en særlig type virksomhed, der skal bruge mange penge for at træde ind i en industri – det kunne være medicinalindustrien eller byggebranchen. Jesper Wulff gennemgik derfor data fra studiet og tilføjede nye data. Men han kunne ikke genskabe samme resultat som de forskere, der havde lavet studiet. "Det oprindelige studie fandt en tydelig positiv effekt. Vi finder, at man ikke kan konkludere det ene eller det andet," siger Jesper Wulff. Jesper Wulff gætter på, at forskerne kan have stirret sig blind på et bestemt resultat. "Hvis du har store nok datasæt, kan du få hvad som helst til at hænge sammen." "Der er for eksempel en meget stærk sammenhæng mellem, hvor meget chokolade der spises i et land, og antallet af nobelpriser," siger Jesper Wulff og tilføjer, at de to ting naturligvis ikke har noget med hinanden at gøre. Det kunne dog også være en statistisk fejl i det undersøgte studie, mener han. Eller også har verden slet og ret bare ændret sig, siden studiet udkom i 2013. Forskning kræver mere åbenhed I det nye studie, der er publiceret i tidsskriftet Nature, har en decideret hær af forskere, som nævnt, tryktestet 164 videnskabelige artikler på samme vis som Jesper Wulff. Som et led af studiet har de også set nærmere på i alt 274 hypoteser fra de undersøgte studier. Kun 55 procent af disse hypoteser kan genskabes, så de når samme konklusion som i det originale studie. Selv om Jesper Wulff og co. selv kan have lavet fejl i deres forsøg på at genskabe de gamle studier, mener han, at tallene er så slemme, at det giver mening at tale om en krise i samfundsvidenskaben. "Langt størstedelen af den mest citerede forskning i samfundsvidenskab bliver aldrig replikeret. Det gør fundamentet usikkert og svært at bygge videre på – både inden for og uden for forskningsverdenen." Tallene fra studiet vil ifølge ham chokere ret mange forskere. Og de burde ligge til grund for en selvransagelse i samfundsvidenskaben: "Hvis vi anerkender problemet, kan vi benytte den her lejlighed til at tage tiltag som præregistrering og transparens meget mere alvorligt og bygge et langt stærkere felt, end vi har i dag." Replikationsforsker: Måske fine tal Thor Grünbaum forsker netop i replikation. Og han mener ikke, at der er grund til panik på baggrund af det nye studie. "Det er måske meget fine tal," siger Thor Grünbaum, der er professor i filosofi og psykologi på Københavns Universitet, til Videnskab.dk. Thor Grünbaum ser heller ikke tegn på en krise i samfundsvidenskaben. Det er ifølge professoren vigtigt at forstå, at det ikke altid er så lige til at genskabe et studies konklusion. Det er en pointe, som fo...