По п: ТК РФ Статья 77. Общие основания прекращения трудового договора \ КонсультантПлюс

• Об Озерске
  • Общая информация
  • История Озерска
  • Официальные символы
  • Фотогалерея
• Собрание депутатов
  • Председатель Собрания депутатов
  • Тексты выступлений
  • Структура
  • Аппарат Собрания
  • Циклограмма
  • Повестка заседания
  • Состав постоянных комиссий Собрания депутатов
  • Регламент
  • Отчеты
  • График приема
• Администрация
  • Глава Озерского городского округа
  • Заместители главы
  • Структура администрации
  • Общая информация
  • Учрежденные СМИ
  • Подразделения
  • Планы и результаты проверок
  • Муниципальная служба и кадровый резерв
  • Муниципальные услуги и функции
  • Муниципальный контроль
  • Муниципальные учреждения и предприятия
• Контрольно-счетная палата
  • Общие сведения о Контрольно-счетной палате
  • Деятельность
  • Регламенты и стандарты
  • Новости
  • Кадровое обеспечение
  • Обращения граждан и организаций
  • Контактная информация
• Общество
  • Новости
  • Совет директоров
  • Общественный сектор
  • Общественная палата
  • Общественная молодёжная палата
  • Территориально общественное самоуправление
  • Ассоциация председателей МКД 2013-2015
  • Конкурсы
  • Презентации
  • Добровольчество
  • Почетные граждане Озерского городского округа
• Документы
  • Устав
  • Бюджет
  • Проекты документов
  • Нормативная база Собрания депутатов
  • Постановления
  • Отчёты о деятельности администрации
  • Статистические показатели социально-экономического развития
  • Муниципальные закупки. Торги
  • Информация по противодействию коррупции в ОГО
  • Политика безопасности в области персональных данных
  • Раскрытие информации организациями жилищно-коммунального комплекса
  • Муниципальные программы
• Обращения
  • Интернет-приёмная
  • Результаты обращений
  • Мои обращения и запросы
  • Порядок и время приема граждан
  • Установленные формы обращений
  • Порядок обжалования
  • ПОС
  • Обобщенная информация о результатах обращений и принятых мерах
  • Общественная приемная Губернатора Челябинской области

Авторизация

Почему выборочная дисперсия делится на n-1 | Автор Eden Au

Объяснение статистики старших классов, которой не учили ваши учителя

Если вы читаете эту статью, я предполагаю, что вы столкнулись с формулой выборочной дисперсии и вроде как знаете, что это такое представляет собой. Но остается загадкой, почему знаменатель равен (n-1) , а не n . Вот почему.

Содержание

• Настройки
• 1. Степень свободы
• 2. Источник смещения
• 3. Поправка Бесселя

Первоначально опубликовано по адресу edenau.github.io

9 9.

Терминология

Совокупность : множество, содержащее ВСЕХ членов группы
Выборка : множество, содержащее некоторых членов совокупности (технически мульти-подмножество

Центральная предельная теорема :
Выборочное распределение i.i.d. случайные величины имеют тенденцию к нормальному (гауссовскому) распределению , когда размер выборки достаточно велик.

Ожидаемое значение :
Долгосрочное среднее значение повторений одного и того же эксперимента.

Несмещенная оценка :
Ожидаемое значение несмещенного оценщика равно истинному значению оцениваемого параметра. Другими словами, распределения несмещенных оценок сосредоточены на правильном значении.

Учитывая большое гауссово распределение населения с неизвестным средним значением населения μ и дисперсией населения σ² , мы рисуем i 9.0i.010 n n выборки из генеральной совокупности, такие, что для каждой выборки X_I Из набора x ,

, в то время как ожидаемое значение x_i составляет μ , ожидаемое значение X_I² — более X_I² — более x_i² — x_i² — x_i² . . Это происходит из-за нелинейного отображения функции квадрата, где приращение больших чисел больше, чем приращение меньших чисел. Например, набор (1,2,3,4,5) имеет среднее значение 3 и дисперсию 2. Возводя каждый элемент в квадрат, мы получаем (1,4,9μ , как показано выше, так что псевдодисперсия вместо этого зависит от псевдосреднего.

Предположим, у нас есть правильные кости, но никто не знает, что они правильные, кроме Джейсона. Он знает среднее значение населения μ (3,5 балла). Бедный Уильям умоляет получить статистическое свойство, но Джейсон не сдвинется с места. Уильям должен делать оценки путем выборки, то есть бросая кости столько раз, сколько он может. Он устает после трех бросков и получает 1 и 3 очка в первых двух попытках. 9μ было 3,33 очка, вы были бы уверены, что третий бросок был 6, так как (1 + 3 + 6) / 3 = 3,33 — быстрые вычисления.

Другими словами, выборочное среднее инкапсулирует ровно один бит информации из выборочного набора, а среднее значение генеральной совокупности — нет. Таким образом, выборочное среднее дает на одну степень свободы меньше выборочному набору.

Это причины, о которых нам обычно говорили, но это не надежное и полное доказательство того, почему мы должны заменить знаменатель на 9μ (в данном случае 3,33 балла) при вычислении псевдодисперсии (оценка дисперсии, которую мы определили), которая составляет 4,22 балла².

На самом деле псевдодисперсия всегда занижает истинную выборочную дисперсию (если только среднее значение выборки не совпадает со средним значением генеральной совокупности), поскольку псевдосреднее минимизирует функции псевдодисперсии, как показано ниже.

Вы можете проверить это утверждение с помощью теста первой производной или проверки на основе выпуклости функции. 9№ есть. Мы ожидаем, что псевдодисперсия является смещенной оценкой, поскольку она занижает истинную дисперсию все время, как упоминалось ранее. Проверяя ожидаемое значение нашей псевдодисперсии, мы обнаруживаем, что:

Шаг за шагом. Ожидаемое значение x_j x_k (как показано ниже) зависит от того, выбираете ли вы разные (независимые) выборки, где j≠k , или одну и ту же (в данном случае определенно зависимую!) выборку, где 9μ , у нас есть

Подставляем эти формулы обратно, и мы обнаруживаем, что ожидаемое значение псевдодисперсии НЕ является дисперсией генеральной совокупности, а (n-1)/n ее. Поскольку коэффициент масштабирования меньше, чем 1 для всех конечных положительных n , это еще раз доказывает, что наша псевдодисперсия недооценивает истинную дисперсию населения.

Чтобы настроить несмещенную оценку дисперсии, мы просто применяем Поправка Бесселя , которая приводит ожидаемое значение оценки в соответствие с истинной дисперсией генеральной совокупности.

Вот оно. Мы определяем s² таким образом, что это несмещенная выборочная дисперсия . Знаменатель (n-1) получается из поправки Бесселя, которая получается из 1/n вероятности взятия одной и той же пробы (с замещением) в двух последовательных испытаниях.

При увеличении количества выборок до бесконечности n→∞ смещение исчезает ( n-1)/n→1 , поскольку вероятность выборки одной и той же выборки в двух испытаниях стремится к 0 .

Похожие статьи

Спасибо за внимание. Если вы интересуетесь Python или визуализацией данных, вам могут быть полезны следующие статьи:

5 функций Python, о которых я хотел бы знать раньше

Хитрости Python помимо лямбда, карты и фильтра

На пути к DATASCIence.com

Визуализация мобильности велосипедов в Лондоне с использованием интерактивных карт и анимации

Изучение инструментов визуализации данных в Python

TheDatascience. com

Ordiely Odicated по адресу EdenaU.Github.IO .

интуиция — Интуитивное объяснение деления на $n-1$ при расчете стандартного отклонения?

Задавать вопрос

спросил 12 лет, 4 месяца назад

Изменено 2 года, 1 месяц назад

Просмотрено 237 тысяч раз

$\begingroup$

Сегодня в классе меня спросили, почему при вычислении стандартного отклонения вы делите сумму квадратов ошибок на $n-1$, а не на $n$.

Я сказал, что не буду отвечать на него в классе (поскольку я не хотел вдаваться в беспристрастные оценки), но позже я задался вопросом — есть ли интуитивное объяснение этому?!

• стандартная ошибка
• интуиция
• обучение
• коррекция Бесселса
• faq

$\endgroup$

6

$\begingroup$

Стандартное отклонение, рассчитанное с делителем $n-1$, представляет собой стандартное отклонение, рассчитанное на основе выборки как оценка стандартного отклонения генеральной совокупности, из которой была составлена ​​выборка. Поскольку наблюдаемые значения в среднем ближе к выборочному среднему, чем к среднему по совокупности, стандартное отклонение, которое рассчитывается с использованием отклонений от выборочного среднего, занижает желаемое стандартное отклонение совокупности. Использование $n-1$ вместо $n$ в качестве делителя исправляет это, делая результат немного больше.

Обратите внимание, что коррекция имеет больший пропорциональный эффект, когда $n$ мало, чем когда оно велико, что нам и нужно, потому что, когда n больше, выборочное среднее, вероятно, будет хорошей оценкой среднего значения генеральной совокупности.

Когда выборка представляет собой всю совокупность, мы используем стандартное отклонение с $n$ в качестве делителя, потому что выборочное среднее равно среднему населению.

(Замечу в скобках, что ничто, начинающееся со слов «второй момент, центрированный вокруг известного, определенного среднего», не удовлетворит просьбу спрашивающего об интуитивном объяснении. ) 92$ правда.

$\endgroup$

1

$\begingroup$

Распространенным является то, что определение дисперсии (распределения) представляет собой второй момент, центрированный вокруг известного, определенного среднего значения, тогда как оценщик использует оцененное среднее значение. Эта потеря степени свободы (учитывая среднее значение, вы можете воссоздать набор данных, зная только $n-1$ значений данных) требует использования $n-1$, а не $n$ для «настройки» результат.

Такое объяснение согласуется с оценками дисперсии в ANOVA и анализе компонентов дисперсии. Это просто частный случай.

Необходимость внесения некоторой корректировки, увеличивающей дисперсию, я думаю, может быть интуитивно понятна с помощью веского аргумента, который не является просто постфактум маханием руками. (Я помню, что Стьюдент, возможно, привел такой аргумент в своей статье 1908 года о t-критерии.) Почему поправка на дисперсию должна быть ровно коэффициент $n/(n-1)$ обосновать труднее, особенно если учесть, что скорректированное стандартное отклонение равно , а не , что является объективной оценкой. (Это просто квадратный корень из несмещенной оценки дисперсии. Несмещенность обычно не выдерживает нелинейного преобразования.) Таким образом, на самом деле правильная корректировка стандартного отклонения для устранения смещения составляет , а не множитель $\ sqrt{n/(n-1)}$ вообще!

Некоторые вводные учебники даже не удосуживаются ввести скорректированное sd: в них преподают одну формулу (делить на $n$). Сначала я отрицательно отнесся к этому, когда преподавал по такой книге, но постепенно понял мудрость: чтобы сосредоточиться на концепциях и приложениях, авторы убрали все несущественные математические тонкости. Получается, что ничего не болит и никого не вводят в заблуждение. n x_i =\bar{x}$. 9n(x_i-\mu)(x_j-\mu)\tag{3} \end{выравнивание} За исключением тех случаев, когда у нас есть чрезвычайно необычный образец, в котором все $x_i$ больше, чем $\mu$ (или все они меньше, чем $\mu$), слагаемые $(x_i-\mu)(x_j-\mu)$ в двойной сумме на правая часть $(3)$ принимает как положительные, так и отрицательные значения и поэтому происходит много отмен. Таким образом, можно ожидать двойную сумму чтобы иметь малое абсолютное значение, и мы просто игнорируем его в сравнении члену $\frac 1nG(\mu)$ в правой части $(3)$. Таким образом, $(2)$ становится $$G(\mu) \ приблизительно G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \приблизительно \frac{n}{n-1}G(\bar{x})$$ как заявлено в $(1)$.

$\endgroup$

2

$\begingroup$

Зачем делить на $n-1$, а не на $n$? Потому что это принято и приводит к несмещенной оценке дисперсии. Однако это приводит к смещенной (заниженной) оценке стандартного отклонения, что можно увидеть, применив неравенство Дженсена к вогнутой функции, квадратному корню.

Так что же хорошего в беспристрастной оценке? Это не обязательно минимизирует среднеквадратичную ошибку. MLE для нормального распределения заключается в делении на $n$, а не на $n-1$. Научите своих студентов думать, а не изрыгать и бездумно применять устаревшие понятия столетней давности.

$\endgroup$

4

$\begingroup$

Вы можете получить более глубокое понимание термина $n-1$ с помощью одной лишь геометрии, не только почему это не $n$, но и почему он принимает именно такую ​​форму, но сначала вам может понадобиться развить свою интуицию, чтобы справиться с $n $-мерная геометрия. Оттуда, однако, это небольшой шаг к более глубокому пониманию степеней свободы в линейных моделях (т. е. модели df и остаточного df). Я думаю, мало кто сомневается, что Фишер так думал. Вот книга, в которой это постепенно строится:

Сэвилл Диджей, Вуд ГР. Статистические методы: геометрический подход . 3-е издание. Нью-Йорк: Springer-Verlag; 1991. 560 страниц. 9780387975177

(Да, 560 страниц. Я сказал постепенно.)

$\endgroup$

3

$\begingroup$

Оценка дисперсии генеральной совокупности дает смещение при применении к выборке генеральной совокупности. Чтобы скорректировать это смещение, необходимо разделить на n-1 вместо n. Можно математически показать, что оценка выборочной дисперсии несмещена, когда мы делим на n-1 вместо n. Формальное доказательство приведено здесь:

Proof of Unbiasedness of Sample Variance Estimator

Первоначально, я полагаю, именно математическая правильность привела к формуле. Однако, если кто-то хочет добавить к формуле интуицию, уже упомянутые предложения кажутся разумными.

Во-первых, наблюдения выборки в среднем ближе к выборочному среднему, чем к среднему по совокупности. Оценщик дисперсии использует среднее значение выборки и, как следствие, недооценивает истинную дисперсию генеральной совокупности. Деление на n-1 вместо n исправляет это смещение.

Кроме того, деление на n-1 делает дисперсию одноэлементной выборки неопределенной, а не равной нулю.

$\endgroup$

$\begingroup$

По предложению whuber этот ответ был скопирован из другого аналогичного вопроса.

Поправка Бесселя используется для исправления систематической ошибки при использовании выборочной дисперсии в качестве оценки истинной дисперсии. Смещение в нескорректированной статистике возникает из-за того, что среднее значение выборки ближе к середине наблюдений, чем истинное среднее значение, и поэтому квадраты отклонений от среднего значения выборки систематически занижают квадраты отклонений от истинного среднего. 92$. Поправка Бесселя заменяет знаменатель на $n-1$, что дает несмещенную оценку. В регрессионном анализе это распространяется на более общий случай, когда оценочное среднее является линейной функцией нескольких предикторов, и в этом последнем случае знаменатель еще больше уменьшается для меньшего числа степеней свободы.

$\endgroup$

1

$\begingroup$

Чтобы перейти от определения дисперсии случайной величины к определению выборочной дисперсии, необходимо оценить математическое ожидание по среднему значению, которое можно обосновать философским принципом типичности: выборка представляет собой типичное представление распределения. (Обратите внимание, что это связано с оценкой по моментам, но не то же самое.)

$\endgroup$

8

$\begingroup$ 92}{1} = 0\,. $$

Как ни странно, дисперсия будет нулевой только для одной выборки. И наличие второй выборки $y$ может увеличить вашу дисперсию, если $x\neq y$. Это не имеет никакого смысла. Интуитивно бесконечная дисперсия была бы более разумным результатом, и вы можете восстановить ее, только «разделив на $N-1=0$».

Оценка среднего значения представляет собой подгонку полинома степени $0$ к данным, имеющим одну степень свободы (степень свободы). Эта поправка Бесселя применима и к моделям с более высокими степенями свободы: конечно, вы можете идеально подогнать $d+1$ точек с помощью полинома степени $d$ с степенями свободы $d+1$. Иллюзия ошибки с нулевым квадратом может быть уравновешена только путем деления на количество точек минус количество степеней свободы. Эта проблема особенно актуальна при работе с очень небольшими наборами экспериментальных данных. 92$ — несмещенная оценка.

$\endgroup$

1

$\begingroup$

Обычно использование «n» в знаменателе дает меньшие значения, чем дисперсия населения, которую мы хотим оценить. Особенно это происходит, если берутся небольшие образцы. На языке статистики мы говорим, что выборочная дисперсия дает «смещенную» оценку дисперсии генеральной совокупности и должна быть сделана «непредвзятой».

Если вы ищете интуитивное объяснение, вы должны позволить своим ученикам самим увидеть причину, взяв образцы! Посмотрите это, это точно отвечает на ваш вопрос.

$\endgroup$

0

$\begingroup$

Интуитивная причина $n-1$ заключается в том, что $n$ отклонений при расчете стандартного отклонения не являются независимыми. Есть одно ограничение, заключающееся в том, что сумма отклонений равна нулю. Когда мы принимаем это во внимание, мы фактически имеем дело с величинами $n-1$, а не с $n$. (Геометрически вектор отклонения $x-\bar{x}$ есть проекция $x$ на пространство, ортогональное пространству, натянутому на вектор всех единиц, и пространство, на которое он проецируется, имеет размерность $n-1$. ) 92 \left(\frac{n+1}{n-1}\right),$$

, что даже больше, чем типичная коррекция. (У него $2n$ степеней свободы.)

Обобщенное T-распределение Стьюдента имеет три параметра и использует все три ваших статистики. Если вы решите выбросить некоторую информацию, вы можете дополнительно аппроксимировать свои данные, используя нормальное распределение с двумя параметрами, как описано в вашем вопросе.

С байесовской точки зрения вы можете себе представить, что неопределенность в гиперпараметрах модели (распределения по среднему значению и дисперсии) приводит к тому, что дисперсия апостериорного прогноза превышает дисперсию генеральной совокупности.

$\endgroup$

$\begingroup$

Я ОЧЕНЬ запоздал с этим, но хотел бы предложить ответ, возможно, более интуитивный, чем другие, хотя и неполный.

Как утверждали другие, среднее значение генеральной совокупности ($\mu$) и среднее значение выборки ($\overline{X}$) будут различаться (чем больше размер выборки, тем меньше разница).