Zum Hauptinhalt springen

19. Evaluating Empirical Probability

 

Summary​

Zusammenfassung

This lecture from Allan Di Donato's Critical Thinking course examines how to evaluate empirical probability, the first of several videos on certainty and probability in inductive reasoning.

Diese Vorlesung aus Allan Di Donatos Kurs über kritisches Denken untersucht, wie man empirische Wahrscheinlichkeit bewertet, das erste von mehreren Videos über Gewissheit und Wahrscheinlichkeit im induktiven Schließen.

What Empirical Probability Means​

Was empirische Wahrscheinlichkeit bedeutet

Empirical probability is the examination of empirical evidence to determine the probable conclusion in an inductive situation. Empirical means derived from or relying upon experience or observation. Probability is the likelihood that something is the case: a claim supported by evidence strong enough to establish a presumption, but not necessarily proof. To evaluate an inductive argument built on empirical data, Di Donato proposes four considerations: extension, the nature of the situation, the manner of procedure, and our background knowledge.

Empirische Wahrscheinlichkeit ist die Untersuchung empirischer Evidenz, um in einer induktiven Situation die wahrscheinliche Schlussfolgerung zu bestimmen. Empirisch bedeutet aus Erfahrung oder Beobachtung abgeleitet oder auf ihnen beruhend. Wahrscheinlichkeit ist die Wahrscheinlichkeit, dass etwas der Fall ist: eine Behauptung, die durch Evidenz gestützt wird, die stark genug ist, um eine Vermutung zu begründen, aber nicht notwendigerweise ein Beweis ist. Um ein induktives Argument zu bewerten, das auf empirischen Daten beruht, schlägt Di Donato vier Betrachtungen vor: die Extension, die Natur der Situation, die Art des Vorgehens und unser Hintergrundwissen.

Extension and the Nature of the Situation​

Extension und die Natur der Situation

Extension asks how many cases are examined, that is, how broad the sample is. The more cases, the stronger the induction. A presidential approval rating based on 20,000 people is far more reliable than one based on 20.

Extension fragt, wie viele Fälle untersucht werden, also wie breit die Stichprobe ist. Je mehr Fälle, desto stärker die Induktion. Eine Zustimmungsrate für einen Präsidenten, die auf 20.000 Menschen beruht, ist weit verlässlicher als eine, die auf 20 beruht.

The nature of the situation asks how representative the evidence is, that is, how closely the testing environment mirrors the real world. If the 20,000 polled were all Republicans, or if the urban/rural split did not match the actual population, the results would be skewed.

Die Natur der Situation fragt, wie repräsentativ die Evidenz ist, also wie genau die Testumgebung die wirkliche Welt widerspiegelt. Wären die 20.000 Befragten alle Republikaner, oder entspräche das Verhältnis von Stadt und Land nicht der tatsächlichen Bevölkerung, wären die Ergebnisse verzerrt.

These two factors work together. To estimate daily red-meat consumption by the average American, polling every citizen would be the most accurate (a possible complete induction) but is impractical; a sample is less accurate in principle yet far more workable. Who you sample also matters: people leaving a butcher shop would lead to an overestimate, residents of San Francisco to an underestimate, while a random selection from across the country offers the best chance of a true cross-section.

Diese beiden Faktoren wirken zusammen. Um den täglichen Konsum von rotem Fleisch beim durchschnittlichen Amerikaner zu schätzen, wäre die Befragung jedes Bürgers am genauesten (eine mögliche vollständige Induktion), ist aber unpraktisch; eine Stichprobe ist im Prinzip weniger genau, aber weit praktikabler. Auch wen man befragt, ist wichtig: Menschen, die eine Metzgerei verlassen, würden zu einer Überschätzung führen, Einwohner von San Francisco zu einer Unterschätzung, während eine zufällige Auswahl aus dem ganzen Land die beste Chance auf einen echten Querschnitt bietet.

Sample Size, Bias, and Margin of Error​

Stichprobengröße, Verzerrung und Fehlerspanne

Larger samples yield better inductions, but acquiring data gets harder. Of 200, 1,500, or 20,000 people, 1,500 is the practical "sweet spot." Whatever the size, the goal is to avoid a biased sample, one that fails to represent the target in some relevant way. The difficulty is that you do not always know in advance which features are relevant (educational level might matter for studying cat burglars; handedness or hair color probably would not). Bias is best avoided through a random sample, in which every member of the population has an equal chance of being selected, and a varied sample, which contains variety among its members.

Größere Stichproben liefern bessere Induktionen, aber die Datenbeschaffung wird schwieriger. Von 200, 1.500 oder 20.000 Menschen ist 1.500 der praktische „Sweet Spot". Wie groß auch immer, das Ziel ist, eine verzerrte Stichprobe zu vermeiden, eine, die das Ziel in irgendeiner relevanten Weise nicht abbildet. Die Schwierigkeit ist, dass man nicht immer im Voraus weiß, welche Merkmale relevant sind (der Bildungsstand könnte für die Untersuchung von Einbrechern von Bedeutung sein; Händigkeit oder Haarfarbe wahrscheinlich nicht). Verzerrung vermeidet man am besten durch eine Zufallsstichprobe, in der jedes Mitglied der Grundgesamtheit die gleiche Chance hat, ausgewählt zu werden, und eine variierte Stichprobe, die Vielfalt unter ihren Mitgliedern enthält.

Because selection is random, no sample is guaranteed to be perfectly representative. The range of random variation between samples is the margin of error: larger samples produce a smaller margin. The related idea of confidence level is the probability that the margin of error is accurate. As sample size grows, the margin of error shrinks, but with diminishing returns. The decline is steep up to about 1,200–1,500, after which the curve flattens and the margin is already below the 3% mark. Pushing much below 3% is generally not worth the added cost and effort.

Da die Auswahl zufällig ist, ist keine Stichprobe garantiert perfekt repräsentativ. Die Spanne der zufälligen Schwankung zwischen Stichproben ist die Fehlerspanne: Größere Stichproben erzeugen eine kleinere Spanne. Der verwandte Gedanke des Konfidenzniveaus ist die Wahrscheinlichkeit, dass die Fehlerspanne zutrifft. Wenn die Stichprobengröße wächst, schrumpft die Fehlerspanne, aber mit abnehmendem Ertrag. Der Rückgang ist bis etwa 1.200–1.500 steil, danach flacht die Kurve ab und die Spanne liegt bereits unter der 3-%-Marke. Deutlich unter 3 % zu drücken lohnt im Allgemeinen den zusätzlichen Aufwand und die Kosten nicht.

Manner of Procedure and Background Knowledge​

Art des Vorgehens und Hintergrundwissen

Manner of procedure asks how the evidence was gathered and examined: How many similarities and differences were studied? Were all explanations and all the data considered? Was there a control group? In a polling scenario, were all respondents asked the same question, was the wording neutral, and were all responses counted equally?

Die Art des Vorgehens fragt, wie die Evidenz gesammelt und untersucht wurde: Wie viele Ähnlichkeiten und Unterschiede wurden untersucht? Wurden alle Erklärungen und alle Daten berücksichtigt? Gab es eine Kontrollgruppe? In einem Umfrageszenario: Wurde allen Befragten dieselbe Frage gestellt, war die Formulierung neutral, und wurden alle Antworten gleich gezählt?

New data must also be weighed against our background knowledge. Does it contradict what we believe, or does it enable a better explanation than before? The historical example is the observed redshift of distant stars: it conflicted with the steady-state model of the universe and ultimately led scientists to adopt the expanding-universe model.

Neue Daten müssen auch gegen unser Hintergrundwissen abgewogen werden. Widersprechen sie dem, was wir glauben, oder ermöglichen sie eine bessere Erklärung als zuvor? Das historische Beispiel ist die beobachtete Rotverschiebung ferner Sterne: Sie stand im Widerspruch zum Steady-State-Modell des Universums und führte die Wissenschaftler letztlich dazu, das Modell des expandierenden Universums zu übernehmen.

Applied to red meat and colon cancer, the four study designs each carry trade-offs. A random sample of the general population rarely captures enough cancer cases; a sample of meat-eaters lacks a non-meat-eating control; a sample of cancer patients can overestimate the link because we ignore the many meat-eaters who never get cancer; and a long-term observational study of meat-eaters captures future cases but omits non-eaters unless designed in.

Angewandt auf rotes Fleisch und Darmkrebs bringt jedes der vier Studiendesigns Kompromisse mit sich. Eine Zufallsstichprobe der Allgemeinbevölkerung erfasst selten genug Krebsfälle; einer Stichprobe von Fleischessern fehlt eine Kontrollgruppe ohne Fleischkonsum; eine Stichprobe von Krebspatienten kann den Zusammenhang überschätzen, weil wir die vielen Fleischesser ignorieren, die nie Krebs bekommen; und eine langfristige Beobachtungsstudie von Fleischessern erfasst künftige Fälle, lässt aber Nicht-Esser aus, sofern sie nicht eingeplant sind.

Correlation Is Not Causation​

Korrelation ist keine Kausalität

Even when an observational study reveals an apparent pattern, correlation is not causation. A correlation has many possible explanations: a shared deficiency could drive both the craving and the risk, or confounding lifestyle factors (less fiber, less exercise, other unhealthy foods) could be the real cause. Establishing causation requires more than observation; it requires the experimental method (and Mill's methods), topics for later videos.

Selbst wenn eine Beobachtungsstudie ein scheinbares Muster aufdeckt, ist Korrelation keine Kausalität. Eine Korrelation hat viele mögliche Erklärungen: Ein gemeinsamer Mangel könnte sowohl das Verlangen als auch das Risiko antreiben, oder störende Lebensstilfaktoren (weniger Ballaststoffe, weniger Bewegung, andere ungesunde Lebensmittel) könnten die eigentliche Ursache sein. Kausalität nachzuweisen erfordert mehr als Beobachtung; es erfordert die experimentelle Methode (und Mills Methoden), Themen für spätere Videos.

Verwandte Fehlschlüsse

Di Donato closes with fallacies tied to empirical reasoning:

Di Donato schließt mit Fehlschlüssen, die mit dem empirischen Schließen verbunden sind:

  • Biased generalization: a sample large enough yet still unrepresentative of the target.
  • Hasty generalization: an overconfident conclusion drawn from too small a sample ("these 10 movies are poorly written, so most movies are" is weaker than concluding "some are").
  • Anecdotal evidence: a hasty generalization built on one or two persuasive stories; effectively a sample of one or two.
  • Self-selection fallacy: overestimating a conclusion from a self-selected sample (e.g., a website or call-in poll) that over-represents the strongly motivated.
  • Slanted question: wording chosen to elicit a particular response (asking about "protection from dangerous second-hand smoke" versus "infringing on a citizen's right to smoke").
  • Weak analogy: an argument by analogy that breaks down on too many points.
  • Vague generalities: statements too vague to be meaningful, where the group or attribute is so loosely defined that membership cannot be judged; remedied by a sampling frame or precising definition.
  • Verzerrte Verallgemeinerung: eine Stichprobe, die groß genug, aber dennoch nicht repräsentativ für das Ziel ist.
  • Voreilige Verallgemeinerung: eine überheblich gezogene Schlussfolgerung aus einer zu kleinen Stichprobe („diese 10 Filme sind schlecht geschrieben, also sind es die meisten Filme" ist schwächer als der Schluss „einige sind es").
  • Anekdotische Evidenz: eine voreilige Verallgemeinerung, die auf ein oder zwei überzeugenden Geschichten aufbaut; im Grunde eine Stichprobe von ein oder zwei.
  • Selbstselektions-Fehlschluss: eine Schlussfolgerung aus einer selbst ausgewählten Stichprobe überschätzen (z. B. eine Website- oder Call-in-Umfrage), die die stark Motivierten überrepräsentiert.
  • Tendenziöse Frage: eine Formulierung, die gewählt wird, um eine bestimmte Antwort hervorzurufen (nach „Schutz vor gefährlichem Passivrauchen" fragen versus „Eingriff in das Recht eines Bürgers zu rauchen").
  • Schwache Analogie: ein Analogieargument, das an zu vielen Punkten zusammenbricht.
  • Vage Allgemeinheiten: Aussagen, die zu vage sind, um bedeutungsvoll zu sein, bei denen die Gruppe oder das Merkmal so lose definiert ist, dass die Zugehörigkeit nicht beurteilt werden kann; behoben durch einen Auswahlrahmen oder eine präzisierende Definition.

The next video turns from inductive probability to certainty, comparing inductive certainty with other kinds.

Das nächste Video wendet sich von der induktiven Wahrscheinlichkeit der Gewissheit zu und vergleicht die induktive Gewissheit mit anderen Arten.