Большая Советская Энциклопедия (цитаты)

Наименьших квадратов метод

Наименьших квадратов метод (далее Н) один из методов ошибок теории для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Н применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при наблюдений обработке. Н предложен К. Гауссом (1794—95) и А. Лежандром (1805—06). Первоначально Н использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости Н даны А. А. Марковым (старшим) и А. Н. Колмогоровым. Ныне Н представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.

  Сущность обоснования Н (по Гауссу) заключается в допущении, что "убыток" от замены точного (неизвестного) значения физической величины и ее приближенным значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки: (X - m)2. В этих условиях оптимальной оценкой естественно признать такую лишенную систематической ошибки величину X, для которой среднее значение "убытка" минимально. Именно это требование и составляет основу Н В общем случае отыскание оптимальной в смысле Н оценки Х — задача весьма сложная, поэтому практически эту задачу сужают и в качестве Х выбирают линейную функцию от результатов наблюдений, лишенную систематической ошибки, и такую, для которой среднее значение "убытка" минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина m зависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Н), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Х также подчиняется нормальному распределению со средним значением m и, следовательно, плотность вероятности случайной величины Х



при х = Х достигает максимума в точке m = Х (это свойство и выражает точное содержание распространенного в теории ошибок утверждения "оценка X, вычисленная согласно Н, — наиболее вероятное значение неизвестного параметра m").

  Случай одного неизвестного. Пусть для оценки значения неизвестной величины m произведено n независимых наблюдений, давших результаты 1, 2,..., n, т. е. 1 = m + d1, 2 = m + d2,..., n = m + dn, где d1, d2,..., dn — случайные ошибки (по определению, принятому в классической теории ошибок, случайные ошибки — независимые случайные величины с нулевым математическим ожиданием: Еdi = 0; если же Edi ¹ 0, то Еdi, называются систематическими ошибками). Согласно Н, в качестве оценки величины m принимают такое X, для которого будет наименьшей сумма квадратов (отсюда и само название метода):



  где pi = k/si2 и si2 = Ddi = Edi2

(коэффициент k > 0 можно выбирать произвольно). Величину pi называют весом, a si — квадратичным отклонением измерения с номером i. В частности, если все измерения равноточны, то s1 = s2 =... = sn, и в этом случае можно положить p1 = p2 =... = pn = 1; если же каждое i, — арифметическое среднее из ni, равноточных измерений, то полагают pi = ni.

  Сумма (X) будет наименьшей, если в качестве Х выбрать взвешенное среднее:



Оценка  величины m лишена систематической ошибки, имеет вес Р и дисперсию



В частности, если все измерения равноточны, то — арифметическое среднее результатов измерений:



  При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то распределение оценки  мало отличается от нормального с математическим ожиданием m и дисперсией k/. В этом случае абсолютная погрешность приближенного равенства



меньше



с вероятностью, близкой к значению интеграла



(напр., (1,96) = 0,950; (2,58) = 0,990; (3,00) = 0,997).

  Если веса измерений pi заданы, а множитель k до наблюдений остается неопределенным, то этот множитель и дисперсия оценки  могут быть приближенно оценены по формулам:



и



(обе оценки лишены систематических ошибок).

  В том практически важном случае, когда ошибки di подчиняются нормальному распределению, можно найти точное значение вероятности, с которой абсолютная погрешность приближенного равенства



окажется меньше ts (t — произвольное положительное число). Эту вероятность, как функцию от t, называют функцией распределения Стьюдента с n - 1 степенями свободы и вычисляют по формуле



где постоянная n-1 выбрана таким образом, чтобы выполнялось условие: n-1(¥) = 1. При больших n формулу (2) можно заменить формулой (1). Однако применение формулы (1) при небольших n привело бы к грубым ошибкам. Так, например, согласно (1), значению = 0,99 соответствует t = 2,58; истинные значения t, определяемые при малых n как решения соответствующих уравнений ln-1(t) = 0,99, приведены в таблице:

n

2

3

4

5

10

20

30

t

63,66

9,92

5,84

4,60

3,25

2,86

2,76

Пример. Для определения массы некоторого тела произведено 10 независимых равноточных взвешиваний, давших результаты iг):

i

18,41

18,42

18,43

18,44

18,45

18,46

ni

1

3

3

1

1

1

(здесь ni — число случаев, в которых наблюдался вес i, причем n = ni, = 10). Так как все взвешивания равноточные, то следует положить pi = ni и в качестве оценки для неизвестного веса m, выбрать величину



Задавая, например, 9 = 0,95, по таблицам распределения Стьюдента с девятью степенями свободы можно найти, что t = 2,262, и поэтому в качестве предельной абсолютной погрешности приближенного равенства m " 18,431 следует принять величину



  Т. о. 18,420 < m < 18,442.

  Случай нескольких неизвестных (линейные связи). Пусть n результатов измерений 1, 2,..., n связаны с m неизвестными величинами x1, x2,..., хm (m < n) независимыми линейными отношениями



где aij — известные коэффициенты, а di — независимые случайные ошибки измерений. Требуется оценить неизвестные величины xj (эту задачу можно рассматривать как обобщение предыдущей, в которой m = x1 и m = ai1 = 1; i = 1,2,..., n).

  Так как Еdi = 0, то средние значения результатов измерений yi, = Eyi. связаны с неизвестными величинами x1, x2,..., хm линейными уравнениями (линейные связи):



  Следовательно, искомые величины xj представляют собой решение системы (4), уравнения которой предполагаются совместными. Точные значения измеряемых величин yi и случайные ошибки di обычно неизвестны, поэтому вместо систем (3) и (4) принято записывать так называемые условные уравнения



  Согласно Н, качестве оценок для неизвестных xj применяют такие величины Xj, для которых сумма квадратов отклонений



будет наименьшей (как и в предыдущем случае, pi — вес измерения i, — величина, обратно пропорциональная дисперсии случайной ошибки di). Условные уравнения, как правило, несовместны, т. е. при любых значениях Xj разности



не могут, вообще говоря, все обратиться в нуль, и в этом случае



также не может обратиться в нуль. Н предписывает в качестве оценок выбрать такие значения Xj, которые минимизируют сумму . В тех исключительных случаях, когда условные уравнения совместны и, значит, обладают решением, это решение совпадает с оценками, полученными согласно Н

  Сумма квадратов представляет собой квадратичный многочлен относительно переменных Xj; этот многочлен достигает минимума при таких значениях X1, X2,..., Хm, при которых обращаются в нуль все первые частные производные:



Отсюда следует, что оценки Xj, полученные согласно Н, должны удовлетворять системе так называемых нормальных уравнений, которая в обозначениях, предложенных Гауссом, имеет вид:



где



  Оценки Xj, получающиеся в результате решения системы нормальных уравнений, лишены систематических ошибок (Exj = xj); дисперсии Dxj; величин Xj равны kdjj/d, где d — определитель системы (5), а djj — минор, соответствующий диагональному элементу (раjaj) (иными словами, djj/d — вес оценки Xj). Если множитель пропорциональности k (k называется дисперсией на единицу веса) заранее неизвестен, то для его оценки, а также для оценки дисперсии Dxj служат формулы:

  k " /(n - m) и Dxj " s2j = Sdjj/d (n - m)

( — минимальное значение исходной суммы квадратов). При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то абсолютная погрешность приближенного равенства xi " Xj меньше tsj с вероятностью, близкой к значению интеграла (1). Если случайные ошибки наблюдений di подчиняются нормальному распределению, то все отношения (Xj - xj)/sj распределены по закону Стьюдента с n - m степенями свободы (точная оценка абсолютной погрешности приближенного равенства производится здесь с помощью интеграла (2) так же, как в случае одного неизвестного). Кроме того, минимальное значение суммы в вероятностном смысле не зависит от X1, X2,..., Xm и поэтому приближенные значения дисперсий оценок Dxj " s2j не зависят от самих оценок Xj.

  Один из наиболее типичных случаев применения Н — "выравнивание" таких результатов наблюдений i, для которых в уравнениях (3) aij = aj (ti), где aj (t) — известные функции некоторого параметра t (если t — время, то t1, t2,... — те моменты времени, в которые производились наблюдения). Особенно часто встречается в приложениях случай так называемой параболической интерполяции, когда aj (t) — многочлены (например, a1(t) = 1, a2(t) = t, a3(t) = t2,... и т.д.); если t2t1 = t3t2 =... = tntn-1, a наблюдения равноточные, то для вычисления оценок Xj можно воспользоваться таблицами ортогональных многочленов, имеющимися во многих руководствах по современной вычислительной математике. Другой важный для приложения случай — так называемая гармоническая интерполяция, когда в качестве aj (t) выбирают тригонометрические функции (например, aj (t) = cos (j - 1) t, j = 1, 2,..., m).

  Пример. Для оценки точности одного из методов анализа этим методом определялась концентрация в десяти эталонных пробах заранее известного состава. Результаты равноточных наблюдений указаны в таблице (i — номер эксперимента, ti — истинная концентрация , Ti — концентрация . определенная в результате анализа, i = Ti - ti — ошибка анализа):

i

1

2

3

4

5

6

7

8

9

10

ti

4

8

12,5

16

20

25

31

36

40

40

i

- 0,3

- 0,2

- 0,4

- 0,4

- 0,2

- 0,5

+ 0,1

- 0,5

-0,6

-0,5


Если результаты анализа не имеют систематических ошибок, то Eyi = 0. Если же такие ошибки имеются, то в первом приближении их можно представить в виде: Eyi = a + bti (a называется постоянной ошибкой, а bti — методической ошибкой) или, что то же самое,



где



  Для отыскания оценок a и b достаточно оценить коэффициенты



Условные уравнения в данном случае имеют вид:



поэтому ai1 = 1, ai2 = ti - t (согласно предположению о равноточности наблюдений, все pi = 1). Так как



то система нормальных уравнений записывается особенно просто:

(a1a1) X1 = (Ya1); (a2a2) X2 = (Ya2),

где



  Дисперсии компонент решения этой системы суть



где k — неизвестная дисперсия на единицу веса (в данном случае k — дисперсия любой из величин i). Так как в этом примере компоненты решения принимают значения X1 = -0,35 и X2 = -0,00524, то



  Dx1 " s12 = 0,00427,

  Dx2 " s22 = 0,0000272,

  s1 = 0,065, s2 = 0,00522.

  Если случайные ошибки наблюдений подчиняются нормальному распределению, то отношения |Xjxjl/sj (j = 1, 2) распределены по закону Стьюдента. В частности, если результаты наблюдений лишены систематических ошибок, то x1 = x2 = 0 и, значит, закону Стьюдента должны подчиняться отношения |X1|/s1 и |X2|/s2. С помощью таблиц распределения Стьюдента с nm = 8 степенями свободы можно убедиться, что если действительно x1 = x2 = 0, то с вероятностью 0,999 каждое из этих отношений не должно превосходить 5,04 и с вероятностью 0,95 не должно превосходить 2,31. В данном случае |X1|/s1 = 5,38 > 5,04, поэтому гипотезу отсутствия систематических ошибок целесообразно отвергнуть; в то же время следует признать, что гипотеза об отсутствии методической ошибки (x2 = 0) не противоречит результатам наблюдений, так как |X2|/s2 = 1,004 < 2,31. Т. о., можно заключить, что для определения t по результату наблюдения Т целесообразно пользоваться приближенной формулой t = Т + 0,35.

  Во многих практически важных случаях (и в частности, при оценке сложных нелинейных связей) количество неизвестных параметров бывает весьма большим и поэтому реализация Н оказывается эффективной лишь при использовании современной вычислительной техники.

  Лит.: Марков А. А., Исчисление вероятностей, 4 изд., М., 1924; Колмогоров А. Н., К обоснованию метода наименьших квадратов, "Успехи математических наук", 1946, т. 1, в. 1; Линник Ю. В., Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений, 2 изд., М., 1962; Helmert . R., Die Ausgieichungsrechnung nach der Methode der kleinsten Quadrate..., 2 Aufl., Lpz., 1907.

  Л. Н. Большев.

 


Для поиска, наберите искомое слово (или его часть) в поле поиска


Новости 06.03.2021 14:15:46
14:02 Песков ответил на сообщения о новом повышении пенсионного возраста
13:54 Путин отказался от изоляции после заражения своего помощника коронавирусом
13:49 Олимпийского чемпиона по хоккею обнаружили мертвым
13:45 Три человека попали под снежную лавину возле российской школы
13:41 В Венесуэле для борьбы с инфляцией напечатали деньги
13:30 Еще в одном регионе России отменили самоизоляцию для граждан старше 65 лет
13:20 Последствия схода 18 нефтяных цистерн с рельсов под Хабаровском попали на видео
13:09 Володин поспорил с Мишустиным о зарплатах учителей
12:21 Зеленский отреагировал на санкции США против Коломойского
Больше новостей
СегодняМир «Противостояние было неизбежным»75 лет назад Черчилль объявил СССР холодную войну. Готов ли Запад снова опустить железный занавес?
СегодняРоссия «Терпи, не визжи! Ножки раздвигать приятно было?»Беседы со священниками, угрозы и унижения: как проводят аборты по ОМС в России
5 марта 2021Россия «Ельцин продул бы с разгромным счетом»Глеб Павловский — о выборах 1996 года, поиске преемника Ельцина и испорченных отношениях с Украиной
12:52 Лучшая боксерша мира снова победила и попала в историю спорта
13:59 Jeep выпустит компактный гибрид на французских агрегатах
14:01 Aston Martin откажется от разработки мотора для суперкара Valhalla
СегодняКультура Я так вижнВедьмы, смех и чертовщина: каким вышел супергеройский сериал Marvel «Ванда/Вижн»
СегодняКультура Порно с «Медведем»Румынский секс-скандал, колесо фортуны и каратели под Брянском: кто победил на Берлинском фестивале
13:13 Путин поздравил Терешкову и похвалил за работу в Госдуме
11:59 Nissan показал видео процесса заводской реставрации Skyline GT-R
13:57 Стали известны сроки премьеры флагманского седана Cadillac
СегодняСиловые структуры «Надо идти на фронт, а то война без нас кончится»Как советский артиллерист стал лучшим истребителем «Тигров» и получил награды от Рузвельта и Сталина
4 марта 2021Ценности «Это женский инстинкт самосохранения»Россиянки идут в эскорт в погоне за роскошной жизнью. Чем они рискуют и чего боятся?
13:01 Россия потратит на транспортную инфраструктуру 780 миллиардов рублей
12:17 Выявлены главные приложения-распространители личных данных пользователей
11:48 В России предложили ввести новую выплату на детей
СегодняИнтернет и СМИ Группа захватаКак в мире противостоят огромным технологическим компаниям, захватившим контроль над пользователями
4 марта 2021Из жизни «Одним утром я проснулась и поняла: блин, а я не в кино»История россиянки, которая переехала в Милан за любовью и нашла дело всей жизни
11:59 Помощник президента России заразился коронавирусом
12:14 Российскую фигуристку отстранили от выступлений на десять лет за допинг
11:57 Культовую 37-летнюю Toyota Corolla продают за четыре миллиона рублей
3 марта 2021Россия «Мне казалось, что на всем свете я одна такая»Россиянка лишилась лица из-за пожара. Она провела жизнь в нищете и ненависти, но не сдалась
3 марта 2021Путешествия Русский город любви Казаки возвели русский Париж с Эйфелевой башней на Урале. Зачем туда ехать туристам?
11:21 Телеканал «Роскосмоса» рассказал о пришельцах с Венеры и апокалипсисе
12:01 Гарантия на Chery Tiggo 8 Pro в России достигнет 7 лет
11:53 Футболист «Челси» стал автором лучшего гола недели в АПЛ
5 марта 2021Культура Биполярные ночиБог порошков, депрессия Земфиры и отцы стадионного рока: главная музыка месяца
5 марта 2021Силовые структуры «Мне показалось, что она уже мeртва»Смерть женщины при родах потрясла российский город. Почему в трагедии обвинили врача?
11:58 ВОЗ заявила об улучшении ситуации с коронавирусом в России
11:55 Skoda показала интерьер самого доступного кроссовера
11:43 Американский боец UFC пообещал победить Яна за два раунда
2 марта 2021Россия «Миллион на операцию мне самой не заработать»Только срочная операция вернет Сашу к нормальной жизни. Ей нужна ваша помощь
5 марта 2021Спорт «Ей надо на всю страну извиниться»Косторная уходила от Тутберидзе со скандалом, а теперь возвращается. Чего ей не хватило у Плющенко?
11:24 На детском «Голосе» объяснили успешное выступление дочери известного певца
11:40 Путин поручил заняться защитой семьи и детей
11:12 Вратарь «Тоттенхэма» совершил лучший сейв недели АПЛ
Сегодня Кабрио-Гелик: мечта диктатораВидео: самый дорогой G-Class без крыши — кому нужен удлиненный внедорожный лимузин?
4 марта 2021Мир «Есть вещи, которые нельзя совершать даже принцу»Саудовский принц нажил много врагов на пути к престолу. Теперь его обвиняют в убийстве одного из них
10:58 Глава UFC объяснил уход звезд из промоушена
10:40 Преемник Нурмагомедова захотел боя с Макгрегором
10:36 Банки вручили россиянам рекордное количество карт
4 марта 2021 «Это больше чем просто синяки на коже»Последствия коронавируса, войн и ошибок власти — в объективах лучших фотографов мира
5 марта 2021 JAC S7: китайский кроссовер, который нарисовал бывший дизайнер MaseratiНовинка появилась в России и стоит от 1 449 900 рублей
10:08 Шесть украинцев погибли в ДТП в Польше
10:02 Российский боец UFC получил нового соперника после «украденной» победы
08:11 Женщина отсудила у назвавшего ее старухой начальника почти два миллиона рублей
2 марта 2021Экономика Найдется всеВ России объявили войну неплательщикам налогов. Теперь россияне заплатят даже за чужие долги
3 марта 2021Культура Воспитание чувствУчительница-порнозвезда, полицейский-убийца и брошенный дом: что показали на Берлинском фестивале
08:45 Елизавете II подарили двух новых корги
08:37 Россиянки назвали желаемую зарплату мужчин
07:41 Психологи назвали универсальный подарок на 8 марта
24 февраля 2021 Партнерский материал«Ты захочешь остаться здесь навсегда»Зумер-небоскреб, любимое место Тимати и цифровой квартал: чем поражает премиальное московское жилье
3 марта 2021Силовые структуры «На меня смотрело какое-то жуткое существо»На свободу вышел Скопинский маньяк. Школьница рассказала, как была секс-рабыней в его бункере
07:20 Раскрыта доля привившихся от коронавируса москвичей
07:38 Кинолог развеял популярные мифы о маленьких собаках
06:58 Россиянам раскрыли опасность кредита на некоторые товары и услуги
3 марта 2021Дом «У меня начались панические атаки»История российской семьи, которая купила квартиру и оказалась на улице
2 марта 2021Ценности «Почему я не сделала этого раньше?»Канье Уэст и Ким Кардашьян разводятся после семи лет брака. Как они будут делить нажитые миллионы?
07:02 Участница «ВИА Гры» раскрыла условия контракта с Меладзе
06:02 Николас Кейдж женился в пятый раз
06:11 Россиянам назвали ошибку при парковке автомобиля весной
3 марта 2021 «Мы совершили все возможные ошибки»Все больше армян присоединяются к военным, требуя отставки Пашиняна. Почему он не намерен уходить?
05:42 Лолита захотела «раздеться» от взгляда Путина
05:59 В США заблокировали кандидатуру главы ЦРУ ради санкций по «Северному потоку-2»
05:33 Лифт насмерть раздавил американца