ОЦІНЮВАННЯ ПАРАМЕТРІВ РОЗПОДІЛІВ
Задача оцінюванняпараметрів розподілів полягає в побудові на основі статистичної інформації,отриманої за даними вибірки, статистичних висновків про істинне значенняневідомого параметра />, в знаходженнівеличини />, яку можна буде взяти вякості його оцінки, і в визначенні припустимих меж їхньої розбіжності.
1. Загальніположення теорії оцінювання параметрів розподілів
Оскільки існує великакількість функцій від вибіркових значень, які можна використати як оцінкипараметрів, для вибору найкращої оцінки необхідно ввести критерій порівнянняякості оцінок, вибрати міру, яка характеризує близькість оцінки /> до істинного значенняпараметра />, який оцінюється. Проблемаполягає в тому, що будь-яка оцінка, є величиною випадковою, тому що вона подає,собою функцію від вибірки обмеженого обсягу. Тому судити про її якість зреалізації тільки у даній вибірці не можна. Необхідно за законом розподілуоцінки, за формою кривої розподілу, з її розташування на числовій осі щодооцінюваного параметра розсудити про те, або добре, чи незадовільно їїпідібрано.
Наприклад, на рис. 1продемонстровано три криві розподілу оцінок різної якості під номерами 1-Очевидно, що розподіл типу 3 є дуже незадовільним, тому що середнє значенняцієї оцінки є зміщеним вправо щодо істинного значення /> і, отже, значення /> буде оцінюватися ізсистематичною похибкою убік завищення. У розподілу цієї оцінки порівняновеликим є і розсіювання.
/>
Рисунок 1 – Кривірозподілу оцінок
Подібність розподілівоцінок 1 і 2 між собою полягає в тому, що їхні середні значення оцінокзнаходяться біля істинного значення параметра а, тобто зміщення в оцінціпараметра при цьому відсутні чи є незначними. Однак розподіл типу 2 маєістотно меншу дисперсію в порівнянні з розподілом 1. Тобто розсіювання значеньоцінки 2, отриманої за даними вибірки, щодо істинного значення параметра уцьому разі буде меншим, ніж для оцінки 1, тому її слід вважати кращою.
Функції результатівспостережень (вибірки), що використовують для оцінки параметрів розподілів,називаються статистиками. У цій термінології оцінкою параметра є статистика />; реалізація якої, отриманапо даній вибірці, приймається за невідоме значення параметра />.
/>.
Взагалі, відповідно до узагальненої теореми великих чисел у виглядіграниці ибірковаоцінка /> називається обґрунтованою,якщо під час збільшення обсягу вибірки /> воназбігається за ймовірністю до оцінюваного параметра />.
Оцінка параметра /> називається незміщеною,якщо математичне сподівання оцінки дорівнює оцінюваному параметру />:
/>.
У противному випадкуоцінка називається зміщеною.
Оцінка параметра /> називається ефективною,якщо її дисперсія є мінімальною з усіх можливих дисперсій його оцінок:
/>
Якщо зі збільшеннямобсягу вибірки дисперсія оцінки прагне до будь-якого граничного (мінімального)значення, наприклад, як на рис. 2, оцінка називається асимптотично ефективною.
/>
Рисунок 2 – Дисперсіяасимптотично ефективної оцінки
Задовольнитивсім трьом вимогам оцінки параметра розподілу (обґрунтованості, незміщеності таефективності) разом звичайно не вдається. Насамперед це стосується спільноговиконання останніх двох вимог.
Оцінювання параметратрадиційно проводять у два етапи. На першому етапі визначають статистику />, значення якої при данійреалізації вибірки приймають за наближене значення оцінюваного параметра />: />.
Цю процедуру вматематичній статистиці називають точковим оцінюванням, а величину /> – точковою оцінкою.
На другому етапіоцінюють точність і надійність точкової оцінки, яка за своєю природою євеличиною випадковою. Ця процедура полягає в знаходженні інтервалу, де іззаданою ймовірністю міститься невідоме значення параметра, що оцінюється. Цейетап звичайно називають інтервальним оцінюванням.
Далі розглянемоосновні методи, що дозволяють провести точкове і інтервальне оцінюванняпараметрів.
2. Точкове оцінювання параметрів
Головними методамиодержання точкових оцінок параметрів є метод моментів і метод максимальноїправдоподібності.
Метод моментів. Цейметод (Пірсона) полягає в порівнюванні визначеної кількості вибірковихмоментів, що співпадає з числом підлягаючих оцінці параметрів, з відповіднимитеоретичними моментами розподілу, що є функціями від невідомих параметрів. Прирозв’язанні системи рівнянь, що при цьому одержують, знаходять точкові оцінкипараметрів.
Задля прикладузастосуємо метод моментів для визначення параметрів рівномірного законурозподілу випадкової величини /> зіщільністю ймовірності, що задано функцією
/> (1)
Обчислимо математичне сподівання і дисперсію величини />:
/>, (2)
/> (3)
Для визначення оцінок параметрів /> і />, тобто визначення /> і /> замінимо в рівняннях (2) і(3) /> і /> їхніми оцінками /> і /> (1),(2). Одержимо системурівнянь для точкових оцінок />, />, звідки знаходимо:
/>.
Відомо, що методмоментів при досить загальних умовах дозволяє знайти оцінки, для якихвиконується вимога асимптотичної ефективності. Однак, як доведено Фішером,отримані цим методом оцінки з погляду їхньої ефективності не є найкращими зможливих, тобто при великих вибірках вони мають не найменшу можливу дисперсію.Тому отримані цим методом оцінки слід розглядати лише як перше наближення.
Метод максимальноїправдоподібності. Найбільш поширеним методом точкового оцінювання є методмаксимальної правдоподібності (Фішера). Оцінки, отримані цим методом при доситьвеликих вибірках, звичайно задовольняють усім перерахованим вище вимогамобґрунтованості, незміщеності та ефективності.
Сутність цього методуполягає у наступному. Нехай дана вибірка /> обсягу/> з генеральної сукупності знеперервно розподіленою випадковою величиною />.Нехай щільність ймовірності /> маєвигляд />, тобто містить невідомийпараметр />, який треба оцінити завибіркою.
Функцією правдоподібності називають функцію параметра />, що визначається формулою:
/>. (4)
У разі дискретної випадкової величини /> з можливими значеннями /> та ймовірностями /> позначимо через /> найбільше з можливих значень,що зустрічається у вибірці, а через /> абсолютні частоти, з якими з'являються значення />,/> ,.../> у вибірці />. У цьому випадку функцієюправдоподібності називають функцію параметра />,що задана співвідношенням
/>. (5)
Метод найбільшої правдоподібності полягає в тому, що заоцінку параметра береться таке його значення, при якому функціяправдоподібності досягає свого максимуму.
Параметр /> знаходять,розв’язуючи відносно нього рівняння
/>. (6)
Часто длязручності функцію правдоподібності заміняють її логарифмом і замість (6)розв’язують рівняння вигляду
/> , />. (7)
Якщо щільність ймовірності /> абоймовірність можливого значення /> залежатьвід /> параметрів, то найбільшправдоподібну оцінку системи параметрів /> одержуютьпід час розв’язання системи рівнянь
/> (8)
або
/>. (9)
Найбільш правдоподібні оцінки при досить загальних умовахмають такі важливі властивості:
– вони є обґрунтованими,
– асимптотично нормальнорозподіленими, однак не завжди незміщеними,
– серед усіх асимптотично нормально розподілених оціноквони мають найбільшу ефективність.
Має місце також наступне положення: якщо взагалі єефективна оцінка, її можна отримати методом найбільшої правдоподібності.
3. Інтервальнеоцінювання параметрів
Інтервальною називаютьоцінку, що визначається двома числами – кінцями інтервалу. Інтервальні оцінкидозволяють визначити точність і надійність точкових оцінок.
Надійністю (довірчоюймовірністю) оцінки невідомого параметра /> задопомогою знайденої за даними вибірки статистичної характеристики /> називають ймовірність />, з якою виконуєтьсянерівність />:
/>
чи, що те ж саме
/>.
Звичайновикористовують рівень надійності, що має значення: 0,95; 0,99 і 0,999.
Довірчим називаютьінтервал (/> ), який покриває невідомийпараметр із заданою надійністю />.
1 Довірчі інтервали для оцінки математичного сподівання нормальногорозподілу при відомому />. Розглянемозадачу інтервальної оцінки невідомого математичного сподівання /> кількісної ознаки /> по вибірковій
середній /> нормально розподіленоїсукупності з відомим середньо квадратичним відхиленням />. Знайдемодовірчий інтервал, що покриває параметр /> знадійністю />.
Вибіркова середня /> змінюється від вибірки довибірки. Тому її можна розглядати, як випадкову величину />, а вибіркові значенняознаки />, />,…, /> (ці числа також змінюютьсявід вибірки до вибірки) – як однаково розподілені незалежні випадкові величини />, />,…, />. Тобто, математичнесподівання кожної з цих величин дорівнює /> ісереднє квадратичне відхилення – />.
Можна показати, що уразі нормального розподілення випадкової величина /> вибірковасередня />, знайдена за незалежнимиспостереженнями, також розподілена нормально з параметрами:
/>, />. (12)
Поставимо вимогу, щоббуло виконано співвідношення
/>, (13)
де /> – задана надійність.
Застосуємо донормально розподіленої випадкової величини /> відомуз теорії ймовірностей формулу про ймовірність відхилення нормально розподіленоївипадкової величини /> зісередньоквадратичним відхиленням /> відйого математичного сподівання /> небільше ніж на />
/> , (14)
де /> – табульована функціяЛапласа (3).
При цьому у формулі(14) відповідно до (12) необхідно замінити /> на/>, /> на />, залишивши математичнечекання /> без зміни.
Тоді одержимо:
/>, (15)
де введено такепозначення
/>. (16)
Підставивши у формулу(15) вираз величини /> через /> з (16)
/>, (17)
перетворивши її довигляду:
/>.
З огляду на те, щоймовірність /> задана і дорівнює /> (13), а також, щовипадкова величина /> є формальнимподанням вибіркової середньої />,остаточно одержимо:
/>. (18)
Цю оцінку називаютькласичною. Відповідно до неї з надійністю /> можнастверджувати, що довірчий інтервал /> покриваєневідомий параметр />. При цьомувеличина /> визначається з рівності(18), а точність оцінки /> – з(17).
З формули (17) видно,що із зростанням обсягу вибірки /> величина/> зменшується, тобтоточність оцінки підвищується. З співвідношення (18), де />, із врахуванням відомогозростаючого характеру функції Лапласа /> (3),випливає, що підвищення надійності класичної оцінки (18) призводить допогіршення її точності.
2 Довірчі інтервалидля оцінки математичного сподівання нормального розподілу при невідомому />. Ускладнимо постановкузадачі, розглянутої в попередньому пункті, вважаючи, що тепер середнєквадратичне відхилення /> нормальнорозподіленої кількісної ознаки /> невідомо.
У цьому випадку заданими вибірки побудуємо випадкову величину /> (їїзначення будемо традиційно позначати відповідною малою буквою />), що є функціональнимперетворенням випадкової величини />,введеної в попередньому пункті:
/> . (19)
Тут збереженопозначення, які введені в попередньому пункті. Крім того, вжито />, що є«виправлене» середнє квадратичне відхилення (1.7).
Можна показати, щовипадкова величина /> (19) маєрозподіл Стьюдента (2.8) з /> ступенямиволі і щільністю розподілу:
/>,
Де
/>,
/> – Гама-функція Эйлера (2.4).
Очевидно, що розподілСтьюдента визначається параметром /> –обсягом вибірки та не залежить від невідомих параметрів /> і />, що зумовило йогопрактичну цінність. Оскільки функція /> єпарною відносно />, ймовірністьвиконання нерівності /> можнаперетворити таким чином:
/>.
При заміні нерівностів круглих дужках на еквівалентну йому подвійну нерівність і заміні /> на /> так само, як упопередньому пункті, остаточно одержимо:
/>.
Тобто, використовуючирозподіл Стьюдента, можна знайти довірчий інтервал />,що покриває невідомий параметр /> ізнадійністю />. Величина /> при цьому знаходиться втаблиці розподілу Стьюдента у залежності від значень параметрів /> і />.
3 Довірчі інтервалидля оцінки середнього квадратичного відхилення /> нормальногорозподілу. Тепер вирішимо задачу інтервальної оцінки з надійністю /> невідомого генеральногосереднього квадратичного відхилення /> нормальнорозподіленої кількісної ознаки /> за його«виправленим» вибірковим середньо квадратичним відхиленням s. Цеозначає, що має виконуватися умова:
/>
чи, що те ж саме,
/>. (20)
Подвійну нерівність увиразі (20) зручно перетворити до вигляду:
/> /> (21)
/> /> /> />
/>, (22)
де введено позначення
/> (23)
і враховано, щовідхилення /> відносно />, тобто /> – мала величина впорівнянні з />, так що />.
Вибіркове середнєквадратичне відхилення /> змінюється відвибірки до вибірки, тому його можна розглядати як випадкову величину, що мидотримуючись традиції позначимо відповідною великою літерою />. Помноживши всі члениостанньої нерівності (22) на />,одержимо нову нерівність
/>,
що після введенняпозначення
/> (24)
прийме остаточнийвигляд:
/>. (25)
Відзначимо, щонерівності (21) і (25) еквівалентні. Тому рівність (20) можна тепер переписатитак:
/>. (26)
Пірсон показав, щовеличина /> (24) після її підвищеннядо квадрату, тобто у вигляді />,підкоряється закону розподілу «хі-квадрат» (5), тому і має такепозначення. Можна показати, що щільність розподілу самої випадкової величини /> має при цьому наступнийвигляд:
/> . (27)
Важлива особливість цього розподілу полягає в тому, що воно єінваріантним відносно оцінюваного параметра />,і залежить лише від обсягу вибірки />.
Відомо, що ймовірністьнеперервній випадковій величині /> знаходитисяна інтервалі (/> ,/> ) виражається у такийспосіб через щільність її розподілу:
/>.
Застосувавши цюформулу в нашому конкретному випадку ймовірності перебування випадковоївеличини /> (24) із щільністю увигляді (27) на інтервалі (25), одержимо:
/>. (28)
Співвідношення (28) можна розглядати як рівняння щодо невідомої величини /> (23) при заданих значеннях/> і />. Це рівняння булорозв’язано в загальному вигляді зі складанням таблиць, по яких можна знайтизначення />. Знаючи величину /> і «виправлене»вибіркове середнє квадратичне відхилення s по формулам (21), (23) визначаємодовірчий інтервал для оцінки середнього квадратичного відхилення /> нормального розподілу.
4 Оцінки істинногозначення величини, що вимірюється, і точності вимірів. Ця задача подає великийпрактичний інтерес для метрології.
Нехай проведено /> незалежних однаково точнихвимірів деякої фізичної величини, істинне значення /> якоїневідомо. До того ж невідомо також і середнє квадратичне відхилення /> випадкових похибоквимірювання. Результати окремих вимірів />,/>,…, /> можна розглядати, яквипадкові величини />, />,…, />, що є незалежні (виміринезалежні), мають те ж саме математичне сподівання /> (істиннезначення величини, що вимірюється), однакові дисперсії /> (виміри однаково точні) інормально розподілені (таке допущення підтверджується досвідом).
Отже, усі припущення,що було зроблено під час отримання довірчих інтервалів у пунктах 1 і 2,виконуються. Тому можна безпосередньо використати отримані в них формули.Іншими словами, істинне значення величини, що вимірюється, можна оцінювати посередньому арифметичному результатів окремих вимірів за допомогою довірчихінтервалів.
Середнє квадратичневідхилення /> випадкових похибок виміріву теорії помилок характеризує точність вимірів (точність приладу).
Для оцінки /> використовують«виправлене» середнє квадратичне відхилення />. Оскільки звичайнорезультати вимірів взаємно незалежні, мають одне й теж саме математичнесподівання (істинне значення величини, що вимірюється) і однакову дисперсію (увипадку однаково точних вимірів), то теорію, викладену в пункті 3, можназастосувати і для оцінки точності вимірів.
5 Інтервальна оцінкаймовірності біноміального розподілу. У підрозділі 2 у якості приклада 1 буловирішено задачу точкової оцінки ймовірності біноміального розподілу. Як точковуоцінку невідомої ймовірності /> булоузято відносну частоту /> появи події (/> – число появ події, /> – число випробувань). Булоотримано математичне сподівання і дисперсію оцінки.
Тепер буде знайденодовірчий інтервал для оцінки ймовірності за відносною частотою.
Для спрощенняприпустимо, що кількість іспитів /> доситьвелика, а ймовірність /> не є близькою нідо одиниці, ні до нуля (досить, щоб обидві величини /> і/> були більше чотирьох).Тоді можна вважати, що частота події /> євипадковою величиною />, розподіл якої єнаближеним до нормального закону (у сенсі функції розподілу). Параметрами цьогозакону будуть /> і />.
Тому до випадковоївеличини /> можна застосувати відомуформулу про ймовірність відхилення нормально розподіленої випадкової величини /> зі середньо квадратичнимвідхиленням /> від її математичногосподівання /> не більше ніж на />
/> , (29)
де /> – табульована функціяЛапласа.
Зажадавши, щоб умовадля ймовірності у формулі (29) виконувалося з надійністю />, і, замінивши в ній /> на />, /> на />, /> на />, а також увівши позначення/> />, одержимо
/>
або інакше
/>.
При практичномузастосуванні цієї формули випадкову величину /> необхіднозамінити невипадковою відносною частотою />,що спостерігається, і підставити />:
/>.
Під час розв’язанняцієї нерівності щодо невідомої ймовірності /> уприпущенні /> підвищимо до квадратаобидві її частини. При цьому одержимо еквівалентну квадратну нерівністьвідносно />:
/>.
Її коефіцієнт пристаршому члені та дискримінант позитивні, тому її корені /> і /> дійсні, причому не дорівнюютьодин одному. Отже ця нерівність має розв’язання:
/>,
дисперсіякрива розподіл сподівання
що і визначає довірчийінтервал, який слід знайти.
Аналогічний розв’язокнерівності отримуємо і у разі />.