Statistische Signifikanz Statistical significance

Definition

Eine Eigenschaft eines Ergebnisses unter Verwendung von Nullhypothesen-Signifikanztestung (Null Hypothesis Significance Testing, NHST), das gegeben eines Signifikanzniveaus als unwahrscheinlich angesehen wird wenn die Nullhypothese gilt. Tenny und Abdelgawad (2017) definierten sie als “a measure of the probability of obtaining your data or more extreme data assuming the null hypothesis is true, compared to a preselected acceptable level of uncertainty regarding the true answer” (dt. ein Maß für die Wahrscheinlichkeit, die vorliegenden Daten oder extremere Daten zu erhalten, unter der Annahme, dass die Nullhypothese wahr ist, im Vergleich zu einem im Voraus gewählten akzeptierbaren Unsicherheitsgrad hinsichtlich der wahren Antwort” (S. 1). Die Konventionen zur Bestimmung des Schwellenwerts variieren je nach Anwendung und Disziplin, hängen aber letztlich von den Überlegungen der Forschenden über eine angemessene Fehlerquote ab. In der Erklärung der American Statistical Association (Wasserstein & Lazar, 2016) heißt es: “Researchers often wish to turn a p-value into a statement about the truth of a null hypothesis, or about the probability that random chance produced the observed data. The p-value is neither. It is a statement about data in relation to a specified hypothetical explanation, and is not a statement about the explanation itself” (dt. Forschende wollen einen p-Wert oft in eine Aussage über die Wahrheit einer Nullhypothese oder über die Wahrscheinlichkeit verwandeln, dass die beobachteten Daten durch Zufall entstanden sind. Der p-Wert ist weder das eine noch das andere. Er ist eine Aussage über die Daten in Bezug auf eine bestimmte hypothetische Erklärung und ist keine Aussage über die Erklärung selbst” (S. 131).