Большая Советская Энциклопедия (цитаты)

Регрессия (математич.)

Регрессия (далее Р) в теории вероятностей и математической статистике, зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких величин. В отличие от чисто функциональной зависимости у = f(х), когда каждому значению независимой переменной х соответствует одно определенное значение величины у, при регрессионной связи одному и тому же значению х могут соответствовать в зависимости от случая различные значения величины у. Если при каждом значении х = xi наблюдается ni, значений yi1, ...,  величины у, то зависимость средних арифметических  от xi и является Р (математич.) в статистическом понимании этого термина. Примером такого рода зависимости служит, в частности, зависимость средних диаметров сосен от их высот; см. табл. в ст. Корреляция.

  Изучение Р (математич.) в теории вероятностей основано на том, что случайные величины Х и , имеющие совместное распределение вероятностей, связаны вероятностной зависимостью: при каждом фиксированном значении Х = х величина является случайной величиной с определенным (зависящим от значения х) условным распределением вероятностей. Р (математич.) величины по величине Х определяется условным математическим ожиданием , вычисленным при условии, что Х = х:

Е( êх) = u(х).

  Уравнение у = u(х), в котором х играет роль "независимой" переменной, называется уравнением регрессии, а соответствующий график — линией регрессии величины по X. Точность, с которой уравнение Р (математич.) по Х отражает изменение в среднем при изменении х, измеряется условной дисперсией величины , вычисленной для каждого значения Х = х:

D( êх) = s2(x).

  Если s2(х) = 0 при всех значениях х, то можно с достоверностью утверждать, что и Х связаны строгой функциональной зависимостью = u(X). Если s2(х) = 0 при всех значениях х и u(х) не зависит от х, то говорят, что Р (математич.) по Х отсутствует. Аналогичным образом определяется Р (математич.) Х по и в частности, уравнение Р (математич.) х = u(у), = Е(Хï = у). Функции у = u(х) и х = u(у), вообще говоря, не являются взаимно обратными.

  Линии Р (математич.) обладают следующим замечательным свойством: среди всех действительных функций f (х) минимум математического ожидания Е(f(X))2 достигается для функции f(x) = u(х), т. е. Р (математич.) по Х дает наилучшее, в указанном смысле, представление величины по величине X. Это свойство используется для прогноза по X: если значение непосредственно не наблюдается и эксперимент позволяет регистрировать лишь компоненту Х вектора (X, ), то в качестве прогнозируемого значения используют величину u (X).

  Наиболее простым является случай, когда Р (математич.) по Х линейна:

Е(ïx) = b0 + b1x.

  Коэффициенты b0 и b1, называются коэффициентами регрессии, определяются равенствами

,

где mХ и m математические ожидания Х и , и  — дисперсии Х и , а r — коэффициент корреляции между Х и . Уравнение Р (математич.) при этом выражается формулой



  В случае, когда совместное распределение Х и нормально, обе линии Р (математич.) у = u(х) и х = u(у) являются прямыми.

  Если Р (математич.) по Х отлична от линейной, то последнее уравнение есть линейная аппроксимация истинного уравнения Р (математич.): математическое ожидание Е( b0 — b1X)2 достигает минимума b0 и b1 при b0 = b0 и b1 = b1. Особенно часто встречается случай уравнения Р (математич.), выражающегося линейной комбинацией тех или иных заданных функций:

у = u(Х) = b0j0(x) + b1j1(x) + ... + bmjm(x).

  Наиболее важное значение имеет параболическая (полиномиальная) Р (математич.), при которой j0(x) = 1 , j1(x) = x, ..., jm(x) = xm.

  Понятие Р (математич.) применимо не только к случайным величинам, но и к случайным векторам. В частности, если — случайная величина, а Х = (X1, ..., Xk) случайный вектор, имеющие совместное распределение вероятностей, то Р (математич.) по X определяется уравнением

y = u ( x1, ..., xk),

где u( x1, ..., xk) = E{ïX = x1, ... , Xk = xk}.

  Если

u ( x1, ..., xk) = b0 + b1x1 + ... + bkxk,

то Р (математич.) называется линейной. Эта форма уравнения Р (математич.) включает в себя многие типы Р (математич.) с одной независимой переменной, в частности полиномиальная Р (математич.) по Х порядка k сводится к линейной Р (математич.) по X1, ..., Xk, если положить Xk = Xk.

  Простым примером Р (математич.) по Х является зависимость между и X, которая выражается соотношением: = u(X) + d, где u(x) = Е( X = х), а случайные величины Х и d независимы. Это представление полезно, когда планируется эксперимент для изучения функциональной связи у = u(х) между неслучайными величинами у и х.

  На практике обычно коэффициенты Р (математич.) в уравнении у = u(х) неизвестны и их оценивают по экспериментальным данным (см. Регрессионный анализ).

  Первоначально термин "Р (математич.)" был употреблен английским статистиком Ф. Гальтоном (1886) в теории наследственности в следующем специальном смысле: "возвратом к среднему состоянию" (regression to mediocrity) было названо явление, состоящее в том, что дети тех родителей, рост которых превышает среднее значение на а единиц, имеют в среднем рост, превышающий среднее значение меньше чем на а единиц.

  Лит.: Крамер Г., Математические методы статистики, пер. с англ., М., 1948; Кендалл М. Дж., Стьюарт А., Статистические выводы и связи, пер. с англ., М., 1973.

  А. В. Прохоров.


Для поиска, наберите искомое слово (или его часть) в поле поиска


Новости 29.03.2024 15:52:51