Garden of forking paths (Garten der Weggabelungen)

Definition: Der in der Regel unsichtbare Entscheidungsbaum, der während der Operationalisierung und der statistischen Analyse entsteht, da ‘there is a one-to-many mapping from scientific to statistical hypotheses’ (dt. es eine Eins-zu-Viele-Zuordnung von wissenschaftlichen zu statistischen Hypothesen gibt; Gelman und Loken, 2013, S. 6). Auch ohne p-hacking oder fishing expeditions und HARKing, kann es eine Vielzahl von teils sehr unterschiedlichen statistischen Ergebnissen geben, die alle durch die Theorie und die Daten gestützt zu sein scheinen. “The problem is there can be a large number of potential comparisons when the details of data analysis are highly contingent on data, without the researcher having to perform any conscious procedure of fishing or examining multiple p-values” (dt. Das Problem ist, dass es eine große Anzahl potenzieller Vergleiche geben kann, wenn die Details der Datenanalyse in hohem Maße von den Daten abhängen, ohne dass der Forschende ein bewusstes Verfahren des “fishing” oder die Berechnung mehrerer p-Werte durchführen muss; Gelman und Loken, 2013, S. 1). Der Begriff des Gartens der Weggabelungen zielt darauf ab, die Unsicherheit zu unterstreichen, die sich aus analytischen und statistischen Entscheidungen bei der Zuordnung von Theorien zu Tests ergibt. Zugleich soll das Konzept absichtliche (und unethische) fragwürdige Forschungspraktiken (z. B. p-hacking und fishing expeditions) mit “normalen”, nicht-fragwürdigen Forschungspraktiken kontrastieren, die potenziell denselben Effekt haben können, ohne dass die Absicht besteht, ihre Ergebnisse zu verfälschen. Der Garten der Weggabelungen (garden of forking paths) bezieht sich auf alle Entscheidungen während des wissenschaftlichen Prozesses, die die Falsch-Positiv-Rate als Folge der möglichen Wege, die man hätte einschlagen können (wenn andere Entscheidungen getroffen worden wären), in die Höhe treiben.