Описательная статистика

Линейные модели в R

Вадим Хайтов, Анастасия Лянгузова, Юта Тамберг, Марина Варфоломеева

Кафедра Зоологии беспозвоночных, СПбГУ

ЧАСТЬ 1. Характеризуем первичные данные

С какими данными мы работаем

Генеральная совокупность

Выборка

Характеризуется параметрами статистического распределения

Характеризуется описательными статистиками

Какие бывают данные

Категориальные данные

орёл или решка

цвет радуги

Числовые дискретные (счётные)

оценка за экзамен

количество пластиковых пипеток в упаковке

Числовые непрерывные (мерные)

температура воздуха

рост

Характеризуем данные через связки описательных статистик

Центральные тенденции
(Statistics of location)

  • Медиана (Median)

  • Среднее значение (Mean)

Меры разброса
(Statistics of dispersion)

  • Квантили (Quantiles)

  • Дисперсия (Variance)

  • Стандартное отклонение (Standard Deviation)

ЧАСТЬ 2. Медиана и квантили

Медиана

Предположим, мы занимаемся селекцией яблонь и хотим охарактеризовать урожай любимой яблони, на которую возлагаем большие надежды.

apples <- c(7.3, 9.7, 10.1,  9.5,  8.0,  9.2,  7.9,  9.1)

Медиана

Наши данные в исходном виде выглядят примерно так:

apples
[1]  7.3  9.7 10.1  9.5  8.0  9.2  7.9  9.1

Чтобы увидеть медиану, мы должны ранжировать, наш вектор по возрастанию:

sort(apples)
[1]  7.3  7.9  8.0  9.1  9.2  9.5  9.7 10.1

Медиана

В ранжированном ряду медиана расположена так, что слева и справа от нее находится равное число измерений.

  • Если n нечетное, то медиана = значение с индексом \(\frac{n+1}{2}\).
  • Если n четное, то медиана посередине между \(\frac{n}{2}\) и \(\frac{n+1}{2}\) значениями.
sort(apples)
[1]  7.3  7.9  8.0  9.1  9.2  9.5  9.7 10.1

Медиана находится в промежутке между значениями 9.1 и 9.2, т.е. 9.15

median(apples) # Проверим себя
[1] 9.15

Медиана устойчива к выбросам

Представим, что наши измерения пострадали от неаккуратности. Допустим сотрудник, которому мы поручили измерять яблоки, измерил также арбуз и записал этот результат вместе со всеми остальными.

apples2 <- c(apples, 68) # Создадим вектор с новым значением
sort(apples2)
[1]  7.3  7.9  8.0  9.1  9.2  9.5  9.7 10.1 68.0


Что станет с медианой? Сильно ли она изменится?

Было

median(apples)
[1] 9.15

Стало

median(apples2)
[1] 9.2

Медиана устойчива к выбросам, а среднее — нет

Давайте для сравнения посмотрим на среднее.

Было

mean(apples)
[1] 8.85

Стало

mean(apples2)
[1] 15.42222


Единственное наблюдение-выброс сильно повлияет на величину среднего значения.

Квантили

Квантили — это значения, которые делят ряд наблюдений на равные части.

Они называются по-разному в зависимости от числа частей.

Примеры квантилей:

  • 2-квантиль (“два-квантиль”) — медиана;
  • 4-квантиль (“четыре-квантиль”) — квартиль;
  • 100-квантиль (“сто-квантиль”) — перцентиль;

Квартили

Квартиль — частный случай квантиля.

Квартили делят распределение на четыре равные части, каждая из которых включает по 25% значений.

  • I квартиль отсекает 25%.
  • II квартиль — 50%. Это медиана.
  • III квартиль отсекает 75% значений.

Квартили можно найти при помощи функции quantile()

quantile(x = apples, probs = c(0.25, 0.5, 0.75))
  25%   50%   75% 
7.975 9.150 9.550

5-number summary

Функция quantile(x) без указания значений вероятностей (probs) покажет нам квартили, минимум и максимум.

quantile(apples)
    0%    25%    50%    75%   100% 
 7.300  7.975  9.150  9.550 10.100

5-number summary — удобное краткое описание данных.

Персентили

Персентиль — это частный случай квантиля. Всего 99 персентилей, они делят ряд наблюдений на 100 частей.


Ничто не помешает нам узнать, например, какие значения отсекают 10% или 99% значений выборки. Подставим соответствующие аргументы:

quantile(apples, probs = c(0.1, 0.99))
   10%    99% 
 7.720 10.072

Боксплот: 5-number summary на графике

boxplot(apples)

Отложим числа, характеризующие выборку, по оси Y:

  • жирная линия — медиана,
  • нижняя и верхняя границы “коробки” — это I и III квантили,
  • усы — минимум и максимум.

Подготовим все, чтобы построить график в ggplot2

library(ggplot2)
theme_set(theme_bw())

apple_data <- data.frame(diameter = apples)
head(apple_data)
  diameter
1      7.3
2      9.7
3     10.1
4      9.5
5      8.0
6      9.2

Боксплот можно построить при помощи geom_boxplot()

ggplot(data = apple_data) + 
  geom_boxplot(aes(y = diameter))
  • x — категория (переменная или текстовое обозначение)
  • y — зависимая переменная

Расстояние между I и III квартилями (высота “коробки”) называется интерквартильное расстояние (IQR)

Усы в ggplot2 отражают 1.5 IQR

Выбросы (Outliers)

Если в выборке есть выбросы (значения, отстоящие от границ “коробки” больше чем на 1.5 интерквартильных расстояния), то они будут изображены отдельными точками.

Case study: диатомовые водоросли в желудках фильтраторов

Самостоятельная работа

В морских сообществах встречаются два вида фильтраторов, один из которых любит селиться прямо на поверхности тела другого.

Tegella armifera — это вид-хозяин. Он может жить как сам по себе, так и вместе с симбионтом.

Loxosomella nordgardi — вид-симбионт. Он практически никогда не встречается в одиночестве.


Данные: Юта Тамберг

Case study: диатомовые водоросли в желудках фильтраторов

В файле diatome_count.csv дано количество диатомовых водорослей в желудках этих животных. Прочитаем эти данные и посмотрим на них:

diatoms <- read.table("data/diatome_count.csv", 
                      header = TRUE, sep = "\t")

В таблице 2 переменные:

  • sp — вид,
  • count — число водорослей в желудке.

В переменной sp есть три варианта значений:

  • “host_free” — хозяин без симбионта,
  • “host_symbiont” — хозяин с симбионтом,
  • “symbiont” — симбионт.

Все ли правильно открылось?

Смотрим первые несколько строк:

head(diatoms)
         sp count
1 host_free    10
2 host_free     0
3 host_free     1
4 host_free     0
5 host_free     2
6 host_free     0

Смотрим структуру:

str(diatoms)
'data.frame':   162 obs. of  2 variables:
 $ sp   : chr  "host_free" "host_free" "host_free" "host_free" ...
 $ count: int  10 0 1 0 2 0 1 0 8 0 ...

Есть ли пропущенные значения?

sum(! complete.cases(diatoms))
[1] 5

Что это за случаи?

diatoms[!complete.cases(diatoms), ]
           sp count
54  host_free    NA
159  symbiont    NA
160  symbiont    NA
161  symbiont    NA
162  symbiont    NA

Задание 1

         sp count
1 host_free    10
2 host_free     0
3 host_free     1
4 host_free     0
5 host_free     2
6 host_free     0

Ваша задача рассчитать 5-number summary для количества диатомовых в желудках хозяев и симбионтов (всех трех категорий).

Решение

# 5-number summary для хозяев без симбионтов
host_f <- diatoms$count[diatoms$sp == "host_free"]
quantile(host_f, na.rm = TRUE)
  0%  25%  50%  75% 100% 
   0    1    4    8   12 
# Для хозяев с симбионтами
host_s <- diatoms$count [diatoms$sp == "host_symbiont"]
quantile(host_s, na.rm = TRUE)
   0%   25%   50%   75%  100% 
 0.00  0.25  4.50  8.00 20.00 
# Для одиноких симбионтов
symbiont <- diatoms$count [diatoms$sp == "symbiont"]
quantile(symbiont, na.rm = TRUE)
  0%  25%  50%  75% 100% 
   0    0    1    2    7

Решение (более сложный, но краткий способ)

tapply() — одна из функций семейства *pply().

split — apply — combine

Функция tapply() берет вектор X и…

  • делит (split) его на части по значениям в векторе INDEX
  • применяет (apply) к каждой части функцию FUN
  • соединяет (combine) результаты в одно целое в зависимости от их свойств
tapply(X = diatoms$count, INDEX = diatoms$sp, FUN = quantile, na.rm = TRUE)
$host_free
  0%  25%  50%  75% 100% 
   0    1    4    8   12 

$host_symbiont
   0%   25%   50%   75%  100% 
 0.00  0.25  4.50  8.00 20.00 

$symbiont
  0%  25%  50%  75% 100% 
   0    0    1    2    7

Современный способ

Конвейерная обработка данных

library(dplyr)

diatoms %>%
  group_by(sp) %>%
  summarise(
    Min_q0    = quantile(count, probs = 0,    na.rm = TRUE),
    q25   = quantile(count, probs = 0.25, na.rm = TRUE),
    q50   = quantile(count, probs = 0.50, na.rm = TRUE),
    q75   = quantile(count, probs = 0.75, na.rm = TRUE),
    Max_q100  = quantile(count, probs = 1,    na.rm = TRUE)
  )
# A tibble: 3 × 6
  sp            Min_q0   q25   q50   q75 Max_q100
  <chr>          <dbl> <dbl> <dbl> <dbl>    <dbl>
1 host_free          0  1      4       8       12
2 host_symbiont      0  0.25   4.5     8       20
3 symbiont           0  0      1       2        7

Еще более рациональный способ (dplyr версии ≥ 1.1.0)

library(dplyr)
library(tidyr)

diatoms %>%
  group_by(sp) %>%
  reframe(
    quantile = names(quantile(count, na.rm = TRUE)),
    value    = quantile(count, na.rm = TRUE)
  )
# A tibble: 15 × 3
   sp            quantile value
   <chr>         <chr>    <dbl>
 1 host_free     0%        0   
 2 host_free     25%       1   
 3 host_free     50%       4   
 4 host_free     75%       8   
 5 host_free     100%     12   
 6 host_symbiont 0%        0   
 7 host_symbiont 25%       0.25
 8 host_symbiont 50%       4.5 
 9 host_symbiont 75%       8   
10 host_symbiont 100%     20   
11 symbiont      0%        0   
12 symbiont      25%       0   
13 symbiont      50%       1   
14 symbiont      75%       2   
15 symbiont      100%      7

Обратите внимание, что на выходе получаем “длинный” формат.

Переводим в широкий формат

library(dplyr)
library(tidyr)

diatoms %>%
  group_by(sp) %>%
  reframe(
    quantile = names(quantile(count, na.rm = TRUE)),
    value    = quantile(count, na.rm = TRUE)
  ) %>%
  pivot_wider(
    names_from  = quantile,
    values_from = value
  )
# A tibble: 3 × 6
  sp             `0%` `25%` `50%` `75%` `100%`
  <chr>         <dbl> <dbl> <dbl> <dbl>  <dbl>
1 host_free         0  1      4       8     12
2 host_symbiont     0  0.25   4.5     8     20
3 symbiont          0  0      1       2      7

Боксплоты в ggplot2

Формат данных несколько сложен для человеческого глаза, зато очень подходит для ggplot.

ggplot(data = diatoms, aes(y = count, x = sp)) + geom_boxplot()

Медиана и квартили: непараметрические характеристики выборки

  • Главный плюс (но так же и минус) связки медиана + квартили это ее независимость от формы распределения.

  • Будь оно симметричным или с хвостом, 5-number summary опишет, а боксплот нарисует его с минимумом искажений.

  • Но бывают случаи, когда приходится применять более специальные, но и более информативные характеристики.

ЧАСТЬ 3. Нормальное распределение — первое знакомство

Все распределения равны, но некоторые равнее

Это непрерывное распределение, получаемое из мерных данных. Однако многие распределения других типов тоже могут приближаться к нормальному.

Внимание! Далеко не все типы данных могут быть описаны с помощью модели нормального распределения.

Относительная частота и плотность вероятности

На оси Y может быть отложена относительная частота значений Х в эмпирическом распределении, или вероятность из теоретического распределения.

На оси Х отложены значения Х в интервале от 0 до 20, в действительности же кривая простирается от \(-\infty\) до \(+\infty\)

Площадь под кривой = 1. Интегрируя кривую на промежутке \((k,..,l)\), можно узнать вероятность встречи значений в этом промежутке \((x_k,...x_l)\).

Но нельзя рассчитать вероятность одного значения \(X = x_k\), так как это точка, и под ней нет площади.

Приятные особенности нормального распределения

Нормальных кривых бесконечно много, и их описывает формула всего с двумя параметрами \(\mu\) и \(\sigma\).

\[f(x) = \frac {1}{\sigma \sqrt{2 \pi}}\, e^{-\cfrac{(x-\mu)^2}{2\sigma^2}}\]

  • \(\mu\) — среднее,
  • \(\sigma\) — стандартное отклонение.

Достаточно знать значения этих двух параметров, чтобы восстановить или смоделировать любое нормальное распределение. И наоборот, если данные в выборке распределены нормально, то мы можем оценить параметры этого распределения.

ЧАСТЬ 4. Среднее и стандартное отклонение

Центральная тенденция

Среднее арифметическое

\[\bar{x}=\frac{\sum{x_i}}{n}\]

Рассчитаем вручную и проверим:

sum(apples) / length(apples)
[1] 8.85
mean(apples)
[1] 8.85

Как оценить разброс значений?

Девиата (отклонение)

— это разность между значением вариаты (измерения) и средним:

\[x_i - \bar{x}\]

raw_deviates <- apples - mean(apples)
raw_deviates
[1] -1.55  0.85  1.25  0.65 -0.85  0.35 -0.95  0.25

Меры разброса

Девиаты не годятся как мера разброса

К сожалению, мы не можем просто сложить все значения девиат и поделить их на объем выборки. Сумма девиат всегда будет равна нулю.

round(sum(raw_deviates))
[1] 0

\[\begin{aligned} \sum{(x_i - \bar{x})} &= \sum x_i - \sum \bar x = \\ &= \sum x_i - n \bar x = \\ &= \sum x_i - n \cfrac{\sum x_i}{n} = 0 \end{aligned}\]

Меры разброса

Сумма квадратов = SS, Sum of Squares

Избавиться от знака девиаты можно, возведя значение в квадрат.

\[SS = \sum{{(x_i - \bar{x})}^2} \ne 0\]

sum(raw_deviates^2)

Но на что разделить \(SS\), чтобы получить меру усредненного отклонения значений от среднего?

Меры разброса

Как усреднить отклонения от среднего значения?

Мы не можем делить на \(n\), поскольку отклонения от среднего \(x_i - \bar x\) не будут независимы.

Что это значит? Сумма отклонений всегда равна нулю \(\sum{(x_i - \bar{x})} = 0\).
Поэтому, если мы знаем \(\bar x\) и \(n - 1\) отклонений, то всегда сможем точно вычислить последнее отклонение.


\(n - 1\) — это число независимых значений (число степеней свободы — degrees of freedom).

Более строгое объяснение

Мы хотим охарактеризовать парметр \(\sigma^2\) через \(\sum (x_i - \bar{x})^2\)

тогда

\[ E\left[\frac{\sum (x_i - \bar{x})^2}{n}\right] = \sigma^2 \cdot \frac{n-1}{n} \]

Получаем смещенную оценку

Несмещенная оценка

\[ E\left[\frac{SS}{n-1}\right] = \frac{\sigma^2 (n-1)}{n-1} = \sigma^2 \]

Поэтому при усреднении \(SS\) нам надо делить на \(n-1\)

\[ \frac{SS}{n} \cdot \frac{n}{n-1} = \frac{SS}{n-1} \]

Меры разброса

Дисперсия = MS, Mean Square, Variance

Если мы теперь поделим сумму квадратов на объем выборки минус 1, то получим дисперсию по этой выборке.

\[s^2=\frac{\sum{(x_i - \bar{x})^2}}{n - 1}= \frac{SS}{n - 1}\]

sum(raw_deviates^2) / (length(apples) - 1)
var(apples)

Дисперсию не получится нарисовать на графике, т.к. там используются не отклонения, а их квадраты.

Меры разброса

Среднеквадратичное/стандартное отклонение = Standard Deviation

Квадратный корень из дисперсии позволит вернуться к исходным единицам измерения

\[s = \sqrt{s^2} = \sqrt{\frac{\sum{(x_i - \bar{x})^2}}{n - 1}} = SD\]

Стандартное отклонение — это средняя величина отклонения, и ее уже можно изобразить на графике.

sqrt(sum(raw_deviates^2) / (length(apples) - 1))
sd(apples)

Среднее и стандартное отклонение при помощи stat_summary()

stat_summary() использует geom_pointrange()
точка — среднее, усы изображают \(\pm\) стандартное отклонение

mean_sdl() рассчитывает координаты точки и усов, ее аргумент mult = 1 показывает, сколько стандартных отклонений отложить

ggplot(data = apple_data) + 
  stat_summary(geom = 'pointrange', fun.data = mean_sdl, 
               fun.args = list(mult = 1),
               aes(x = 'Среднее \nи стандартное отклонение', 
                   y = diameter))

Особенности применения связки mean-sd

  • только вместе,

  • чувствительны к выбросам,

  • плохо работают с несимметричными распределениями.

Сравните разброс (стандартное отклонение) в выборках

Проверим себя

Как соотносятся разные способы оценки центральной тенденции и размаха в выборке?

ggplot(data = apple_data) + 
  geom_boxplot(aes(x = 'Медиана \nи квантили', y = apples)) +
  stat_summary(geom = 'pointrange', fun.data = mean_sdl, 
               fun.args = list(mult = 1), 
               aes(x = 'Среднее \nи стандартное отклонение', y = diameter))

Медиана и среднее дают сходные результаты, если выборка не содержит выбросов (сильно отличающихся от других наблюдений).

ЧАСТЬ 5. Свойства нормального распределения

Нормальное распределение

  • симметричное
  • унимодальное
  • непрерывное

\[f(x) = \cfrac {1}{\sigma \sqrt{2 \pi}} \; e^{- \: \cfrac{(x-\mu)^2}{2\sigma^2}}\] - \(\mu\) — среднее значение
- \(\sigma\) — стандартное отклонение
- Это кратко записывается как \(x \sim N(\mu, \sigma)\).

Вероятности — это площади под кривой распределения

\(-\infty < x < +\infty\).

Площадь под всей кривой \(= 1\).

Вероятность встречи значений из определенного промежутка можно узнать, проинтегрировав функцию распределения.

Эмпирическое правило нормального распределения

  • 68% значений находятся в пределах 1 стандартного отклонения \(\sigma\)
  • 95% значений — в пределах 2 \(\sigma\)
  • 99.7% значений — в пределах 3 \(\sigma\)

Стандартное нормальное распределение

\[N(0, 1)\]

Стандартизация (Z-преобразование)

\[z = \frac{x - \mu}{\sigma}\]

После стандартизации любое нормальное распределение превращается в стандартное нормальное:

\[Z \sim N(0, 1)\]

Задание 1

Стандартизуйте вектор 1:5

Чему после стандартизации будет равно среднее?

Стандартное отклонение?

Стандартизация

\[z_i=\frac{x_i - \bar{x}}{s}\]

Стандартизованная величина (Z-оценка) показывает, на сколько стандартных отклонений значение отличается от среднего

После стандартизации всегда:

  • среднее \(\bar{z} = 0\)
  • стандартное отклонение \(s_{z} = 1\)

Стандартизация позволяет уравнять шкалы, в которых измерены переменные

Зачем нужна стандартизация?

  • Стандартизация приводит данные к безразмерной шкале, где всё измеряется в «стандартных отклонениях».

  • Это позволяет строить однотипный анализ для разнородных данных.

ЧАСТЬ 6. Проверка на нормальность

Квантильный график

По оси \(X\) отложены квантили стандартного нормального распределения, по оси \(Y\) — квантили исходных данных.

Если \(x \sim N(\mu,\sigma)\), то квантили стандартизованного распределения будут подобны квантилям распределения “сырых” данных и точки лягут на прямую линию.

Квантильный график в R

set.seed(9128)
my_vector <- rnorm(n = 150, mean = 10, sd = 3)
library(car)
qqPlot(my_vector, id = FALSE) # квантильный график

Задание 2

Выполните по одному блоки кода (см. код к этой презентации).

Что вы можете сказать о свойствах распределений, изображенных на квантильных графиках?

Бимодальное (двувершинное) распределение

Дискретное распределение с длинным правым хвостом

Непрерывное распределение с толстыми хвостами

Непрерывное распределение с длинным правым хвостом

Задание 3

Проверьте при помощи квантильного графика, подчиняются ли эти переменные нормальному распределению:

  • Рост американских женщин (датасет women)
  • Длина чашелистиков у ирисов (датасет iris)
  • Число пойманных рысей в Канаде с 1821 по 1934г. (датасет lynx)

Решение (3.1)

data("women")
str(women)
'data.frame':   15 obs. of  2 variables:
 $ height: num  58 59 60 61 62 63 64 65 66 67 ...
 $ weight: num  115 117 120 123 126 129 132 135 139 142 ...
qqPlot(women$height, id = FALSE)

Решение (3.2)

data("iris")
str(iris)
'data.frame':   150 obs. of  5 variables:
 $ Sepal.Length: num  5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ...
 $ Sepal.Width : num  3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ...
 $ Petal.Length: num  1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ...
 $ Petal.Width : num  0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 ...
 $ Species     : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ...
op <- par(mfrow = c(1, 2))
qqPlot(iris$Sepal.Length, id = FALSE)
hist(iris$Sepal.Length)
par(op)

Решение (3.3)

data("lynx")
str(lynx)
 Time-Series [1:114] from 1821 to 1934: 269 321 585 871 1475 ...
op <- par(mfrow = c(1, 2))
qqPlot(lynx, id = FALSE)
hist(lynx)
par(op)

ЧАСТЬ 7. Оценка вероятностей при помощи распределений

Кривые распределений можно использовать для оценки вероятностей

Площадь под всей кривой распределения равна 1

Вероятность конкретного значения нельзя определить

Можно определить вероятность того, что значение будет меньше заданного

Остальные площади легко найти при помощи простых арифметических действий с площадями

Пример: Размеры улиток

В выборке улиток средний диаметр раковины 5 см со стандартным отклонением 1.5 см.

  • Какова вероятность того, что случайно выбранная улитка окажется меньше 3 см?
  • Какова вероятность того, что случайно выбранная улитка окажется больше 6 см?
  • Какова доля улиток с размером раковины в пределах 3–6 см?

tres caracoles by Alberto Villen on Freeimages.com

Вероятность встретить значение меньше заданного

В выборке улиток средний диаметр раковины 5 см со стандартным отклонением 1.5 см.

Какова вероятность того, что случайно выбранная улитка окажется меньше 3 см?

Z_1 <- (3 - 5) / 1.5
pnorm(q = Z_1)
[1] 0.09121122
# или то же самое
pnorm(q = 3, mean = 5, sd = 1.5)
[1] 0.09121122

Вероятность встретить значение больше заданного

В выборке улиток средний диаметр раковины 5 см со стандартным отклонением 1.5 см.

Какова вероятность того, что случайно выбранная улитка окажется больше 6 см?

Мы умеем интегрировать только влево от выбранного значения, поэтому

  • выясняем вероятность встретить значение меньше заданного \(p\)
  • находим комплементарную вероятность \(1 - p\)
1 - pnorm(q = 6, mean = 5, sd = 1.5)
[1] 0.2524925

Вероятность встретить значение в заданных пределах

В выборке улиток средний диаметр раковины 5 см со стандартным отклонением 1.5 см.

Какова доля улиток с размером раковины в пределах 3–6 см?

pnorm(q = 6, mean = 5, sd = 1.5) - 
  pnorm(q = 3, mean = 5, sd = 1.5)
[1] 0.6562962

Задание 4

Средний рост 18-летних мужчин в России 174.7 см со стандартным отклонением 6.65 см. В пилоты берут только людей с ростом от 160 до 190 см (по приказу Минтранса).

  • Какова вероятность того, что случайно выбранный мужчина окажется ниже 160 см?

  • Какова вероятность того, что случайно выбранный мужчина окажется выше 190 см?

  • Какова доля мужчин, не подходящих по росту в пилоты, т.е. ниже 160 и выше 190 см?

Решение (4.1)

Средний рост 18-летних мужчин в России 174.7 см со стандартным отклонением 6.65 см. В пилоты берут только с ростом от 160 до 190 см (по приказу Минтранса).

Какова вероятность того, что случайно выбранный мужчина окажется ниже 160 см?

Z_short <- (160 - 174.7) / 6.65
pnorm(q = Z_short)
[1] 0.01353433
# или то же самое
pnorm(q = 160, mean = 174.7, sd = 6.65)
[1] 0.01353433

Решение (4.2)

Средний рост 18-летних мужчин в России 174.7 см со стандартным отклонением 6.65 см. В пилоты берут только с ростом от 160 до 190 см (по приказу Минтранса).

Какова вероятность того, что случайно выбранный мужчина окажется выше 190 см?

1 - pnorm(q = 190, mean = 174.7, sd = 6.65)
[1] 0.01070283

Решение (4.3)

Средний рост 18-летних мужчин в России 174.7 см со стандартным отклонением 6.65 см. В пилоты берут только с ростом от 160 до 190 см (по приказу Минтранса).

Какова доля мужчин, не подходящих по росту в пилоты, т.е. ниже 160 и выше 190 см?

(1 - pnorm(q = 190, mean = 174.7, sd = 6.65)) + 
  pnorm(q = 160, mean = 174.7, sd = 6.65)
[1] 0.02423716

Задание 5

Средний рост девушек в 16 лет — 162.2 см со стандартным отклонением 6.0 см.
В пилоты берут только людей с ростом от 160 до 190 см (по приказу Минтранса).

Какой процент девушек подходит по росту в пилоты?

Решение

Средний рост девушек в 16 лет — 162.2 см со стандартным отклонением 6.0 см.
В пилоты берут только людей с ростом от 160 до 190 см (по приказу Минтранса).

Какой процент девушек подходит по росту в пилоты?

pnorm(q = 190, mean = 162.2, sd = 6.0) - 
  pnorm(q = 160, mean = 162.2, sd = 6.0)
[1] 0.6430644

Только 64.3 % девушек пройдут в пилоты по росту.

Задание 6

Предположим, что вес новорожденных нормально распределен со средним значением 3500 г и стандартным отклонением 600 г.

  • Какой процент детей рождается с весом больше 3200г.?
  • Какой процент детей рождается с весом в пределах 2500-4500г.?

Решение (1)

Предположим, что вес новорожденных нормально распределен со средним значением 3500 г и стандартным отклонением 600 г.

Какой процент детей рождается с весом больше 3200г.?

1 - pnorm(q = 3200, mean = 3500, sd = 600)
[1] 0.6914625

69.1 % детей рождается с весом больше 3200г.

Решение (2)

Предположим, что вес новорожденных нормально распределен со средним значением 3500 г и стандартным отклонением 600 г.

Какой процент детей рождается с весом в пределах 2500-4500г.?

pnorm(q = 4500, mean = 3500, sd = 600) - pnorm(q = 2500, mean = 3500, sd = 600)
[1] 0.9044193

90.4 % детей рождается с весом в пределах 2500-4500г.

Take-home messages

  • Описательные статистики ходят только в связке.
  • Выбирая между медианой и средним, учитывайте природу данных.
  • Нормальное распределение \(N(\mu,\sigma)\)
  • Стандартное нормальное распределение — \(N(0, 1)\)
  • Стандартизация — \(z = \frac{x - \mu} {\sigma}\)
  • Квантильный график — графический метод проверки формы распределения
  • Вероятность попадания величины в любой интервал можно найти при помощи интегрирования