Методнайменших квадратів
У процесівивчення різних питань природознавства, економіки і техніки, соціології,педагогіки доводиться на основі великої кількості дослідних даних виявлятисуттєві фактори, які впливають на досліджуваний об’єкт, а також встановлюватиформу зв’язку між різними зв’язаними одна з одною величинами (ознаками).
Нехай урезультаті досліджень дістали таку таблицю деякої функціональної залежності:
Таблиця 1x
x1
x2 …
xn y
y1
y2 …
yn
Треба знайтианалітичний вигляд функції />, яка добре відображала б цютаблицю дослідних даних. Функцію /> можна шукати у виглядіінтерполяційного поліному. Але інтерполяційні поліноми не завжди добревідображають характер поведінки таблично заданої функції. До того ж значення /> дістають урезультаті експерименту, а вони, як правило, сумнівні. У цьому разі задачаінтерполювання табличної функції втрачає сенс. Тому шукають таку функцію />, значення якоїпри /> доситьблизькі до табличних значень /> />. Формулу /> називають емпіричною, або рівняннямрегресії /> на/>.Емпіричні формули мають велике практичне значення, вдало підібрана емпіричнаформула дає змогу не тільки апроксимувати сукупність експериментальних даних,«згладжуючи» значення величини />, а й екстраполювати знайденузалежність на інші проміжки значень />.
Процес побудовиемпіричних формул складається з двох етапів: встановлення загального виду цієїформули і визначення найкращих її параметрів.
Щоб встановитивигляд емпіричної формули, на площині будують точки з координатами /> />. Деякі з цих точоксполучають плавною кривою, яку проводять так, щоб вона проходила якомога ближчедо всіх даних точок. Після цього візуально визначають, графік якої з відомихнам функцій найкраще підходить до побудованої кривої. Звичайно, намагаються підібратинайпростіші функції: лінійну, квадратичну, дробово-раціональну, степеневу,показникову, логарифмічну.
Встановившивигляд емпіричної формули, треба знайти її параметри (коефіцієнти). Найточнішізначення коефіцієнтів емпіричної формули визначають методом найменшихквадратів. Цей метод запропонували відомі математики К. Гаусс і А.Лежандр.
Розглянемо сутьметоду найменших квадратів.
Нехай емпіричнаформула має вигляд
/>, (1)
де />, />, …, /> - невідомі коефіцієнти.Треба знайти такі значення коефіцієнтів />, за яких крива (1) якомога ближчепроходитиме до всіх /> точок />, />, …, />, знайдених експериментально. Зрозуміло,що жодна з експериментальних точок не задовольняє точно рівняння (1).Відхилення від підстановки координат /> у рівняння (1) дорівнюватимутьвеличинам />.
За методомнайменших квадратів найкращі значення коефіцієнтів /> ті, для яких сума квадратіввідхилень
/> (2)
дослідних даних /> від обчисленихза емпіричною формулою (1) найменша. Звідси випливає, що величина (2), яка єфункцією від коефіцієнтів />, повинна мати мінімум. Необхіднаумов мінімуму функції багатьох змінних ─ її частинні похідні маютьдорівнювати нулю, тобто
/>, />, …, />.
Диференціюючивираз (2) по невідомих параметрах />, матимемо відносно них системурівнянь:
/>/>
Система (3)називається нормальною. Якщо вона має розв’язок, то він єдиний, і будешуканим.
Якщо емпіричнафункція (1) лінійна відносно параметрів />, то нормальна система (3) будесистемою з /> лінійнихрівнянь відносно шуканих параметрів.
Будуючи емпіричніформули, припускатимемо, що експериментальні дані /> додатні.
Якщо середзначень /> і/> євід’ємні, то завжди можна знайти такі додатні числа /> і />, що /> і />.
Томурозв’язування поставленої задачі завжди можна звести до побудови емпіричноїформули для додатних значень />.
Побудовалінійної емпіричної формули. Нехай між даними /> існує лінійна залежність.Шукатимемо емпіричну формулу у вигляді
/>, (4)
де коефіцієнти /> і />невідомі.
Знайдемо значення/>і />, за яких функція/>матимемінімальне значення. Щоб знайти ці значення, прирівняємо до нуля частинніпохідні функції />
/>
Звідси,врахувавши, що />, маємо
/> (5)
Розв’язавшивідносно /> і/> останнюсистему, знайдемо
/>, (6)
/>. (7)
Зазначимо, що,крім графічного, є ще й аналітичний критерій виявлення лінійної залежності міжзначеннями /> і/>.
Покладемо />, />, />.
Якщо />, то залежністьміж /> і /> лінійна, боточки /> лежатимутьна одній прямій. Якщо />, то між /> і /> існує майже лінійна залежність,оскільки точки /> лежатимуть близько до деякоїпрямої.
Побудоваквадратичної емпіричної залежності. Нехай функціональна залежність між /> та /> - квадратична.Шукатимемо емпіричну формулу у вигляді
/>. (8)
Тоді формулу (2)запишемо наступним чином
/>
Для знаходженнякоефіцієнтів />, />, />, за яких функція/>мінімальна, обчислимочастинні похідні />, />, /> і прирівняємо їх до нуля. Врезультаті дістанемо систему рівнянь
/>
Післярівносильних перетворень маємо систему
/> (9)
Розв’язок цієїсистеми і визначає єдину параболу, яка краще від усіх інших парабол (8) подаєна розглядуваному проміжку задану таблично функціональну залежність.
Сформулюємоаналітичний критерій для квадратичної залежності. Для цього введемо поділенірізниці першого і другого порядку />
і />, де />.
Точки /> розміщені напараболі (8) тоді і тільки тоді, коли всі поділені різниці другого порядкузберігають сталі значення.
Якщо точки /> рівновіддалені,тобто />,то для існування квадратичної залежності (8) необхідно і достатньо, щоб буласталою скінчена різниця другого порядку />, причому />.
Побудоваемпіричних формул найпростіших нелінійних залежностей. Нехай у системі координат /> маємонелінійну залежність />, неперервну і монотонну навідрізку />.
Введемо змінні />, /> так, щоб уновій системі координат /> задана емпірична нелінійназалежність стала лінійною
/>. (10)
Тоді точки зкоординатами /> в площині /> лежатимуть на прямійлінії.
Покажемо, як віднелінійних залежностей
/>, 2) />, 3) />,
/>, 5) />, 6) />
перейти долінійних.
1) Розглянемостепеневу залежність />, де />, />, />.
Логарифмуючи її,знаходимо />.Звідси, поклавши />, />, />, />, маємо />.
2) Логарифмуючипоказникову залежність />, маємо />. Поклавши />, />, />, /> в системі координат /> дістанемозалежність (10).
Зазначимо, щозамість показникової залежності /> часто шукають залежність />. Останняперетвориться в лінійну, якщо позначити />, />, />, />.
3) Щоб перейти відлогарифмічної залежності /> до лінійної />, досить зробитипідстановку />,/>.
4) Угіперболічній залежності замінимо змінні />, />. Тоді гіперболічна залежністьперетвориться в лінійну (10), в якій />, />.
5) Розглянемодробово-лінійну функцію />. Знайдемо обернену функцію />. Тоді ввівшинові координати />, />, дістанемо лінійну залежність(10), де />,/>.
6) Нехай маємодробово-раціональну залежність />. Оберненою до неї буде залежність/>. Ввівшинові змінні />,/>,дістанемо лінійну залежність (10) з коефіцієнтами />, />.
Отже, дляпобудови будь-якої з емпіричних формул 1)-6) треба:
а) за вихідноютаблицею даних /> побудувати нову таблицю />, використавшивідповідні формули переходу до нових координат;
б) за новоютаблицею даних знайти методом найменших квадратів коефіцієнти /> і /> лінійної функції (10);
в) завідповідними формулами знайти коефіцієнти /> і /> даної нелінійної залежності.
Вибрати емпіричнуформулу для нелінійних залежностей графічним методом часто буває важко. Тодівдаються до перевірки аналітичних критеріїв існування певної залежності. Для цьогозводять її до лінійної і перевіряють виконання критерію лінійної залежності міжперетвореними вихідними даними />. Але є й власні аналітичнікритерії наявності кожної з розглянутих вище нелінійних залежностей.Найпростіші необхідні умови їх наявності подано в табл. 2.
Таблиця 2№ пор. Емпірична формула
/>
/> Спосіб вирівнювання 1
/>
/>
/> 2
/>
/>
/>
/>, де />, />, />, /> 3
/>
/>
/>
/>, де />, />, /> 4
/>
/>
/>
/>, де /> 5
/>
/>
/>
/>, де /> 6
/>
/>
/>
/>, де /> 7
/>
/>
/>
/>, де />, />
Умови перевіряютьу такий спосіб. На заданому відрізку змінинезалежної змінної /> вибирають дві точки, доситьнадійні і розміщені якомога далі одна від одної. Нехай, наприклад, це будутьточки />, />. Потім, залежновід типу емпіричної формули, що перевіряється, обчислюють значення />, яке є абосереднім арифметичним, або середнім геометричним, або середнім гармонічнимзначень />, />. Маючизначення /> і/> аналогічнообчислюють і відповідне значення />. Далі, користуючись даноютаблицею значень />, для значення /> знаходять відповіднейому значення />. Якщо /> немає в таблиці, то /> знаходятьнаближено з побудованого графіка даної залежності або за допомогою лінійноїінтерполяції />, де /> і /> ─ проміжні значення, міжякими лежить />. Обчисливши />, знаходять величину />. Якщо цявеличина велика, то відповідна емпірична формула не придатна для апроксимаціїзаданих табличних даних. З кількох придатних емпіричних формул перевагу надаютьтій, для якої відхилення /> якомога менше.