informationstheoretische Maße
[engl. information criteria], [FSE], informationstheoretische Maße wie der AIC (Akaike's information criterion) oder das Bayes information criterion (BIC) sind Maße, mit denen man die Gültigkeit eines stat. Modells für einen gegebenen Datensatz kontrollieren kann. Versch. Gründe waren für ihre Entwicklung ausschlaggebend: Die inferenzstatistische Entscheidung über die Geltung einer stat. Nullhypothese (Signifikanztest) stößt an ihre Grenzen, wenn die assymptotischen Voraussetzungen der Stichprobengröße nicht erfüllt sind, bei der es so viele alternative stat. Modelle gibt, dass man mit einer unkontrollierten Inflation des Alpha-Fehlers (Fehler erster Art) rechnen muss, oder wenn es nur Sinn macht, die relative Gültigkeit eines Modells im Vergleich zu anderen Modellen zu bewerten.
Die informationstheoretischen Maße wurden vor dem Hintergrund der Maximum-Likelihood-Theorie (Maximum-Likelihood-Methode) entwickelt, zu der auch die likelihood-ratio tests (LRT), gehören. In einem LRT wird aus den Maxima zweier miteinander konkurrierender Modelle ein Quotient gebildet, dessen asymptotische Verteilung die Chi-Quadrat-Verteilung ist. Aus denselben Bausteinen, der logarithmierten Likelihood und der Parameteranzahl, wird im AIC eine Art Straf-Funktion gebildet, in der die Likelihood des Modells mit der benötigten Anzahl von zu schätzenden Modellparametern gegengerechnet wird. Der AIC bezieht sich immer nur auf ein Modell und wird zw. den Modellen verglichen:
Je kleiner der Wert des AIC ist, desto besser passt das Modell auf die Daten. Der Anstieg des Maximums der Log-Likelihood-Skala um einen Punktwert darf nur einen Modellparameter kosten. Der BIC (Bayes information criterion) «bestraft» den Einsatz weiterer Modellparameter mit dem Logarithmus von N:
,
Er bestraft also Überparametrisierung stärker als der AIC.
Ob mit diesen Informationskriterien wirklich eine Alternative zur Inferenzstatistik geboten wird, bleibt offen: Es bleibt die Frage offen, wie groß denn der Unterschied zw. zwei AIC sein darf, um das eine Modell dem anderen vorzuziehen, oder wie die Straf-Funktion idealerweise aussieht, d. h., wie stark der penalty term sein darf oder sollte.