Nun, es steht jedem frei, mit oder ohne eine saubere Datenbasis einfach so eine Meinung zu haben. Und wenn eine Studie die bereits vorher gefasste Meinung bestätigt, dann sieht man in der Regel auch kein Problem mit ihrer Anwendbarkeit in alltäglichen Situationen. Fair enough.
Ich wollte aber zur Datenbasis ohnehin noch etwas hinzfügen. Schauen wir uns diese Formulierung aus dem Paper an (Hervorhebung von mir):
Combined, these studies include more than 3,000 individuals (n = 3,393) from varied walks of life, ideological leanings, and educational backgrounds, which contributes to generalizability and better establishes whether the effect of language is socially and politically meaningful.
Wer schon einmal selber wissenschaftliche Arbeiten verfasst hat, wo qualitative oder quantitative Methoden zur Auswertung von erhobenen Daten zum Einsatz kommen, kennt diese Art von Formulierung möglicherweise auch schon - mir selber kommt sie sehr bekannt vor. Wenn ich ein Paper veröffentlichen will, werde ich für alles, was die Qualität meiner Arbeit belegen kann, immer die "stärkste" Aussage zu einzelnen Aspekten machen, die aufgrund der Datenbasis belegbar ist.
Wenn ich zum Beispiel eine Datenbasis habe, wo die Zusammensetzung der Teilnehmer ziemlich genau der demographischen Zusammensetzung der Gesellschaft entspricht (also etwas mehr als die Häflte weiblich, x% Akademiker, y% zwischen 20 und 30 Jahren etc.), dann werde ich das auch genau so schreiben, denn das bekräftigt ja die Aussagekraft meiner Studie.
Die hier hervorgehobene Aussage ist so allgemein, dass ziemlich wahrscheinlich erscheint, dass die Zusammensetzung der Teilnehmer alles andere als repräsentativ ist. Das Wort "varied" ist bereits erfüllt, wenn ich mehr als keine Person für Gruppe X, mehr als keine Person für Gruppe y usw. bei den Probanden habe (diese Pseudo-Mathematisierung, wo weiter unten z.B. statt von 315, 1,840 bzw. 1,238 Teilnehmern an den Teilstudien von
n=315,
n=1,840 bzw.
n=1,238 die Rede ist, ist so albern, dass einem eigentlich umgehend ein "wer's nötig hat" einfällt, das aber nur am Rande).
Ich habe im Paper keine genaue Aufschlüsselung der Zusammensetzung gesehen. In manchen Studien wird die im Anhang veröffentlicht, hier war ein Anhang dabei, aber beim Überfliegen habe ich diese Information nicht gefunden. Vielleicht habe ich ja nur nicht richtig gesucht. Aber so wie sich mir das darstellt, haben wir hier aller Wahrscheinlichkeit nach "die übliche" Verteilung: irgendwas oberhalb von 70% aus dem akademischen Umfeld, vermutlich auch ziemlich homogene Altersgruppe. Man kann es nicht mit Sicherheit sagen. Aber wenn die Zusammensetzung der Probanden "höherwertig" wäre, wäre ich als Forscher einfach nur dumm, diese den Wert meiner Studie erhöhende Information nicht hineinzuschreiben. Generell gilt die Regel: die Wahrheit ist stets am alleruntersten Rand dessen, was im wörtlichen Sinne im Text steht.
Das ist eines der typischen Probleme, auf die ich in meinem letzten Beitrag eingegangen bin, und es lässt zweifelhaft erscheinen, dass die erhobenen Daten wirklich repräsentativ sind, was zwangsläufig dazu führt, dass die - egal wie methodisch sauber oder nicht getroffene - Interpretation und Rückschlüsse selber weitgehend wertlos sind. Und das betrifft ja auch nur
einen der häufig als Schwachpunkte identifizierten Aspekte.
Ich finde es schwer kritikwürdig, dass aktuell in Diskussionen zu diesem Thema sehr häufig Laien, die überhaupt keine Erfahrung mit wissenschafltichen Publikationen und den dort zum Einsatz kommenden Methoden haben, allein aufgrund des Vorhandenseins von (ihre Meinung bestätigenden) Studien ihre Meinung als "bewiesen" betrachten, nach dem Motto "Wissenschaft kann sich nicht irren". Ich selber habe gerade in den letzten Jahren selber zwei Studien durchgeführt, die auf Datenerhebung durch Surveys und deren Analyse basieren, und dazu natürlich eine große Menge Papers aus dem selben Umfeld gelesen. Es gibt gewisse Merkmale, die einfach immer wieder auftauchen.
Ich bin gespannt auf Deine gut informierten Gegenargumente.
