Метод наименьших квадратов

Метод наименьших квадратов (часть 2)

Метод наименьших квадратов, разработанный знаменитыми математиками К. Гауссом и А. Лежандром, берет свое начало от задач геодезии и астрономии. Рассмотрим его существо на примере линейной модели.

Пусть после измерений был получен некоторый набор данных в виде

       (1)

Для дальнейшей их обработки необходимо заменить этот набор чисел некоторой функцией, с которой удобно работать в дальнейшем. При этом можно будет находить значение этой функции в любой другой точке, принадлежащей области, в пределах которой получены эти данные, а также производить другие математические действия (дифференцирование, интегрирование, нахождение корней и др.).

Итак, пусть для представления полученных данных мы выбрали линейную модель , где x – независимая переменная, т.е. переменная, которую экспериментатор может изменить по своему усмотрению;   зависимая переменная или отклик; a и b – коэффициенты (параметры). В общем случае  не обязательно соответствует линейной модели.

Реально получаемые из эксперимента значения отклика  обычно несколько отличаются от откликов  соответствующих уравнению модели, что обусловлено погрешностью измерений. Таким образом, каждому значению независимой переменной в общем случае соответствует некоторая ошибка:

.                     (2)

Естественно, что в зависимости от того, как будет проведена прямая, аппроксимирующая набор экспериментальных данных , будут различны.

Существует несколько норм [2], которые можно использовать с остатками в (2), чтобы оценить, насколько далеко от данных лежит кривая .

Максимальная ошибка:            (3)

Средняя ошибка:             (4)

Среднеквадратичная ошибка:         (5)

Пример 1. Найти максимальную, среднюю и среднеквадратическую ошибки для линейного приближения функции  по заданным точкам:

(–1; 10), (0; 9), (1; 7), (2;5), (3; 4), (4;3 ), (5; 0) и (6; 1).

Решение

E∞(f)=max(0,2; 0,4; 0; 0; 0,4; 0,2; 0,8; 0,6; 0; 0) = 0,8

E1(f)=2,6/8=0,325

E2(f) = (1,4/8)1/20,418

Ясно, что максимальная ошибка наибольшая и если одна точка плохая, то её значение  определяет E∞(f). Средняя ошибка – это просто среднее абсолютных значений ошибок различных точек. Она часто используется благодаря простоте вычислений, однако в аналитических расчетах  она неудобна вследствие использования модуля. Ошибку E2(f) часто используют при изучении ошибок статистической природы. Линия, построенная методом наименьших квадратов, минимизирует среднеквадратическую ошибку E2(f).

Именно для того, чтобы избежать субъективности при построении эмпирической модели, и был разработан метод наименьших квадратов, позволяющий однозначно определять параметры выбранной модели. В основе этого метода лежит критерий минимизации суммы квадратов ошибок, т.е. требование, чтобы

              (6)

была минимальной [1].

Рассмотрим, как используется метод наименьших квадратов на примере оценки параметров для уравнения .

Начнем с преобразования формулы (6)

  .

Опуская для краткости индекс i, получим:

  .         (7)

Нас интересует нахождение таких значений параметров a и b, которые обращают в минимум (7). Как известно, для этого необходимо найти частные производные  и  и приравнять их к нулю. В общем случае после такой процедуры необходимо убедиться, что в данной точке имеет место минимум (а не максимум или точка перегиба). Итак,

         (8)

 .     (9)

Из (8) и (9) получаем систему двух уравнений, построенных по методу наименьших квадратов:

;

                (10)

Если ввести следующие обозначения,

, , ,              (11)

то можно определить коэффициенты a и b:

                (12)

Таким образом, если задан некоторый набор данных, то для их аппроксимации некоторой функцией f необходимо найти константы. Для этого следует решить следующие задачи.

1. Написать уравнение для функционала S:

,                 (13)

где   некоторые константы.

2. Найти частные производные этого функционала по каждой из констант и приравнять их к нулю

, , .

3. Решить систему полученных уравнений относительно неизвестных параметров ().

4. Записать полученную функцию  с учетом полученных значений для констант и построить её график, показав также точки исходных данных.

При решении данного задания в пакете Matlab следует изучить главу 17 [3] (символьные вычисления).

Литература

1. Владимирский Б.М., Горстко А.Б., Ерусалимский Я.М. Математика. Общий курс: Учебник.  СПб.: Изд-во «Лань», 2006.  960 с.

2. Мэтьюз Д.Г., Финк К.Д. Численные методы. Использование MATLAB, М.: Издательский дом «Вильямс», 2001, 720 с.

3. Ануфриев И.Е., Смирнов А.Б., Смирнова Е.Н. MATLAB 7.  СПб: БХВ-Петербург, 2005 г.  1104 с.

Задание на лабораторную работу №5 (метод наименьших квадратов, часть 2)

Таблица вариантов заданий к лабораторной работе представлена в таблице. Студентам необходимо выполнить следующие действия:

1) нанести на координатную сетку (x, y) экспериментальные точки (xi, yi);

2) для каждой из трех предложенных аппроксимирующих функций найти методом наименьших квадратов значения коэффициентов  и , и построить графики полученных функций в декартовой системе координат .

3) на основе исходных данных рассчитать для каждой функции среднеквадратическую ошибку и выбрать аппроксимирующую функцию.

4) построить пространственное распределение функционала для выбранной аппроксимирующей функции в некоторой точке, зафиксировав один из коэффициентов:

, ,  для диапазонов ,  и , соответственно.

5) оформить отчет по лабораторной работе.

Таблица

№ п.Исходные данныеАппроксимирующие функции1231.2.3.4.5.6.7.8.9.10.

← Предыдущая
Страница 1
Следующая →

Метод наименьших квадратов, разработанный знаменитыми математиками К. Гауссом и А. Лежандром, берет свое начало от задач геодезии и астрономии.

У нас самая большая информационная база в рунете, поэтому Вы всегда можете найти походите запросы

Искать ещё по теме...

Похожие материалы:

Сохранить?

Пропустить...

Введите код

Ok