Statistikk

Standardisering av normalfordelt stokastisk variabel

Anta at $X \sim N(\mu, \sigma^2)$. Da er

$$\frac{X - \mu}{\sqrt{\sigma^2}} \sim N(0,1)$$

Forventningsverdi, varians og standardavvik

• Diskret: E$[g(X)] = \sum_x g(x) f_X(x)$
• Kontinuerlig: E$[g(X)] = \int_{-\infty}^\infty g(x) f_X(x) \text{d}x$
• $\text{Var}[X] = \text{E}[(X - \text{E}[x])^2] = \text{E}[X^2] - \text{E}[X]^2$
• $\text{Var}[X + Y] = \text{Var}[X] + \text{Var}[Y] + 2\text{Cov}[X, Y]$
• $\text{SD}[X] = \sqrt{\text{Var}[X]}$
• Empirisk varians, $S^2 = \frac{1}{n - 1} \sum_{i = 1}^n (x_i - \bar{x})^2$, er en forventningsrett estimator for $\sigma^2$ som gir T-fordeling med $n - 1$ frihetsgrader.

Krav til ulike fordelinger

Bernoulli forsøksrekke

• Hvert forsøk har to mulige utfall (suksess/fiasko)
• Utfallene i de ulike forsøkene er uavhengige av hverandre
• Sannsynligheten for suksess er lik i alle forsøkene

Binomisk fordeling

Betrakt en Bernoulli forsøksrekkebestående av $n$ forsøk, og la $X$ betegne antall suksesser i de $n$ forsøkene. Da er $X \sim Bin(n, p)$.

Hypergeometrisk fordeling

Anta en urne med $N$ kuler, der $k$ er røde og $N - k$ er blå. Vi trekker ut $n$ kuler uten tilbakelegging og lar $X$ være antall røde trukket ut. Da er $X \sim Hypergeo(N, k, n)$.

Geometrisk fordeling

Anta en Bernoulli forsøksrekke av uendelig forsøk og la $p$ betegne sannsynligheten for suksess i hvert forsøk. La $X$ betegne antall forsøk for nøyaktig én suksess. Da er $X \sim Geo(p)$.

Negativ binomisk fordeling

Anta en Bernoulli forsøksrekke av uendelig forsøk og la $p$ betegne sannsynligheten for suksess i hvert forsøk. La $X$ betegne antall forsøk for nøyaktig $k$ suksesser. Da er $X \sim NB(k, p)$.

Poissonfordeling

En prosess $N(t), t > 0$ kalles en poissonprosess med intensitet $\lambda$ hvis følgende krav er oppfylt:

• N(0) = 0

• Antall hendelser i disjunkte intervaller er uavhengige

• Sannsynligheten for en hendelse i et intervall er proposjonal med lengden på intervallet. To hendelser kan ikke skje samtidig.

  La $N(t), t > 0$ være en poissonprosess med intensitet $\lambda$. Fikser så en $t > 0$ og la $X = N(t)$. Da er $X \sim \text{Pois}(\lambda t)$.

Eksponensialfordeling

La $N(t), t > 0$ være en poissonprosess med intensitet $\lambda$, og la $X$ betegne tidspunktet for den først hendelsen i prosessen. Da er $X \sim Exp(\lambda)$.

Kikvadratfordeling

La $Z_1, Z_2, \dots, Z_\nu$ være uavhengige og standard normalfordelte variabler og la $X = Z_1^2 + Z_2^2 + \dots + Z_\nu^2$. Da er $X \sim \chi^2_\nu$.

T-fordeling

La $Z \sim N(0, 1)$ og $V \sim \chi^2_\nu$ være uavhengige stokastiske variabler. La $T$ være definert ved $T = \frac{Z}{\sqrt{\frac{V}{\nu}}}$. Da er $T \sim t_\nu$.

Sannsynlighetmaksimeringsestimator (SME)

• $L(\theta) = \prod_{i = 1}^{n} f_X(x_i)$
• $l(\theta) = \ln{L(\theta)}$
• Løs $\frac{dl}{d\theta} = 0$ for $\theta$.

Konfidensintervall

• Bestem en pivotal $Z$ som inneholder både $\theta$ og $X_1, X_2, \dots, X_n$.
• $P(z_{1-\frac{\alpha}{2}} \leq Z \leq z_{\frac{\alpha}{2}}) = 1 - \alpha$
• Isolér $\theta$: $P(\hat{\theta}_L \leq \theta \leq \hat{\theta}_H) = 1 - \alpha$
• $\left[\hat{\theta}_L, \hat{\theta}_H \right]$ kalles da et $(1 - \alpha) \cdot 100\%$-konfidensintervall for $\theta$.

Vanlige pivotaler

$$Z = \frac{\hat{\theta} - \text{E}[\hat{\theta}]}{\sqrt{\text{Var}[\hat{\theta}]}} \sim N(0, 1), \text{gitt en normalfordelt estimator $\hat{\theta}$. Blir $\sim t_{n - 1}$ dersom $\sigma^2$ estimeres som $S^2$.} \\$$

$$Z = \frac{\bar{X} - \mu}{\sqrt{\frac{\sigma^2}{n}}} \sim N(0, 1), \text{for $\mu$ når $\sigma^2$ er kjent}$$

$$T = \frac{\bar{X} - \mu}{\sqrt{\frac{S^2}{n}}} \sim t_{n - 1}, \text{for $\mu$ når $\sigma^2$ er ukjent}$$

$$V = \frac{1}{\sigma^2} \sum_{i = 1}^n (X_i - \mu)^2 \sim \chi^2_n, \text{for $\sigma^2$ når $\mu^2$ er kjent}$$

$$V = \frac{(n - 1)S^2}{\sigma^2} \sim \chi^2_{n - 1}, \text{for $\sigma^2$ når $\mu^2$ er ukjent}$$

$$Z = \frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma^2_1}{n} + \frac{\sigma^2_2}{m}}} \sim N(0, 1), \text{for $\mu_1 - \mu_2$ når $\sigma^2_1$, $\sigma^2_2$ er kjente.}$$

$$Z = \frac{\hat{p} - p}{\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}} \sim N(0, 1), \text{for $\hat{p} = \frac{X}{n}$ ved normaltilnærming.}$$

$$Z = \frac{(\hat{p_1} - \hat{p_2}) - (p_1 - p_2)}{\sqrt{\frac{\hat{p_1}(1-\hat{p_1})}{n} + \frac{\hat{p_2}(1-\hat{p_2})}{m}}} \sim N(0, 1), \text{for $\hat{p_1} - \hat{p_2}$ ved normaltilnærming.}$$

Prediksjonsintervall

• Bestem en $Z$ som inneholder både den neste observasjonen $X_0$ og de tidligere $X_1, X_2, \dots, X_n$. Vanlig å standardisere $X_0 - \bar{X}$ til $Z = \frac{X_0 - \bar{X}}{\sqrt{\sigma^2\left(1 + \frac{1}{n}\right)}}$.
• $P(z_{1-\frac{\alpha}{2}} \leq Z \leq z_{\frac{\alpha}{2}}) = 1 - \alpha$
• Isolér $X_0$: $P(\hat{X}_L \leq X_0 \leq \hat{X}_H) = 1 - \alpha$
• $\left[\hat{X}_L, \hat{X}_H \right]$ kalles da et $(1 - \alpha) \cdot 100\%$-prediksjonsintervall for $X_0$.

Ordningsvariabler

$$X_{(1)} = \text{min}\{X_1, X_2, \dots, X_n\} \\ F_{X_{(1)}}(x) = 1 - \prod_{i = 1}^{n} \left( 1 - F_{X_i}(x) \right) \\ \\ X_{(n)} = \text{max}\{X_1, X_2, \dots, X_n\} \\ F_{X_{(n)}}(x) = \prod_{i = 1}^{n} F_{X_i}(x) \\ \\ \text{Medianen $m$ er gitt ved} \\ F(m) = 0.5$$

Hypotesetest

• Type 1-feil: Forkaste $H_0$ gitt at $H_0$ er riktig.
• Type 2-feil: Ikke forkaste $H_0$ gitt at $H_1$ er riktig.
• Testobservator: velg en tilsvarende pivotal fra KI og erstatt det ukjente parameteret med verdien som er gitt av $H_0$. Testobservatoren beholder da den kjente fordelingen under $H_0$.
• Signifikansnivå: $\alpha = P(\text{Type 1-feil}) = P(\text{forkaste } H_0 | H_0 \text{ er riktig})$
• Teststyrke er gitt ved: $1 - \beta = 1 - P(\text{Type 2-feil}) = P(\text{forkaste } H_0 | H_1 \text{ er riktig})$
• Forkastingsregel: avgjør når vi forkaster $H_0$. F.eks. $Z > k$, der $k$ er en kritisk verdi.
• Kritisk verdi: kan bestemmes vha. signifikansnivået.
• P-verdi: sannsynligheten for å observere en verdi for testobservatoren som er lik den observerte verdien eller mer ekstrem i retning av den alternative hypotesen. F.eks., dersom $H_1: \theta > a$ er $p = P(Z > z_{obs} | H_0)$. Gitt et signifikansnivå $\alpha$, skal vi forkaste $H_0$ dersom $p \leq \alpha$.

Transformasjoner

Gjøres enten ved transformasjonsformelen (blå heftet) $f_Y(y) = f_X(w(y))|\frac{dw}{dy}|$, $X = w(Y)$, eller via kumulativ funksjon: gitt en sannsynlighetstetthet $f(x)$ og en transformasjon $Y = g(X)$

• $F_X(x) = \int_{-\infty}^x f_X(x) dx$
• $F_Y(y) = P(Y \leq y) = P(g(X) \leq y) = P(X \leq h(y)) = F_X(h(y))$
• $f_Y(y) = \frac{dF_Y}{dy}$

Momentgenererende funksjoner

Momentgenerende funksjoner for ulike fordelinger står i det blå heftet.

• Gitt en diskret stokastisk variabel $X$, er $M_X(t) = E[e^{tX}] = \sum_x e^{tx} f(x)$.
• Gitt en kontinuerlig stokastisk variabel $X$, er $M_X(t) = E[e^{tX}] = \int_{-\infty}^\infty e^{tx} f(x) \text{d}x$.
• La $X$ og $Y$ være to stokastiske variabler med momentgenererende funksjoner $M_X(t)$ og $M_Y(t)$. Dersom $M_X(t) = M_Y(t)$ for alle $t$, er sannsynlighetsfordelingene til $X$ og $Y$ identiske.

Enkel lineær regresjon

Anta at $Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$, der $\epsilon_i \sim N(0, \sigma^2)$. Da er $Y_i \sim N(\beta_0 + \beta_1 x_i, \sigma^2)$. Ved å estimere $\beta_0$ og $\beta_1$, kan vi estimere $y(x)$. \ \ For forenkling definerer vi:

• $S_{xx} = \sum_{i = 1}^n (x_i - \bar{x})^2$

• $S_{yy} = \sum_{i = 1}^n (Y_i - \bar{Y})^2$

• $S_{xy} = \sum_{i = 1}^n (x_i - \bar{x})(Y_i - \bar{Y}) = \sum_{i = 1}^n (x_i - \bar{x})Y_i$

  \ \ Antagelser for lineær regresjonsmodell:

• En klar sammenheng mellom $x_i$ og $Y_i$.

• Varians uavhengig av $x_i$.

• Støyleddene $\epsilon_i$ er normalfordelte og uavhengige.

Minste kvadraters metode

Minste kvadraters metode velger estimater $\hat{\beta_0}$ og $\hat{\beta_1}$ slik at SSE $= \sum_{i = 1}^n (y_i - \hat{y_i})^2$ blir minst mulig, der $\hat{y_i} = \hat{\beta}_0 + \hat{\beta}_1 x_i$. Resultatene blir $\hat{\beta}_1 = \frac{S_{xy}}{S_{xx}}$ og $\hat{\beta}_0 = \bar{Y} - \hat{\beta_1} \bar{x}$.

SME

SME gir samme resultat for $\hat{\beta_0}$ og $\hat{\beta_1}$ som minste kvadraters metode. Men her har vi i tillegg $\hat{\sigma}^2 = \frac{1}{n} \sum_{i = 1}^n \left(Y_i - \hat{\beta_0} - \hat{\beta_1}x_i \right) ^2$.

Egenskaper til regresjonsestimatorene

• $E[\hat{\beta_1}] = \beta_1$
• $Var[\hat{\beta_1}] = \frac{\sigma^2}{S_{xx}}$
• $E[\hat{\beta}_0] = \beta_0$
• $Var[\hat{\beta}_0] = \frac{\sigma^2 \sum_{i = 1}^n x_i^2}{n S_{xx}}$
• $S^2 = \frac{1}{n - 2} \sum_{i = 1}^n (Y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)^2$ er en forventningsrett estimator for $\sigma^2$, som gir T-fordeling med $n - 2$ frihetsgrader.
• $\frac{n\hat{\sigma}^2}{\sigma^2} = \frac{(n - 2)S^2}{\sigma^2} \sim \chi^2_{n-2}$
• $\hat{\beta}_0$ og $S^2$ er uavhengige.
• $\hat{\beta}_1$ og $S^2$ er uavhengige.

Prediksjonsintervall

• $Y_0 - \hat{Y}_0 \sim N \left( 0, \sigma^2 \left( 1 + \frac{1}{n} + \frac{(x_0 - \bar{x})^2}{S_{xx}} \right) \right)$