Метод розгалужень і меж Евристичні алгоритми Застосування принципу оптимальності

Реферат на тему:

Метод розгалужень і меж
.
Евристичні алгоритми
.
Застосування принципу оптимальності

1.
Метод розгалужень і меж

Обхід усіх вузлів дерева пошуку варіантів може виявитися надто довгим. Наприклад, якщо в дереві всі вузли є допустимими, кожний проміжний вузол має m
синів, а глибина дерева n
, то всього в дереві 1+m
+m
²
+ … +mⁿ

=(m<sup>n

+1</sup>
-1)/(m
-1) вузлів. Уже за m
=10 та n
=10 це більш, ніж 10¹⁰
. Якщо припустити, що комп'ютер здатний обробити 10⁵
вузлів за секунду, то обхід такого дерева триватиме 10⁵
секунд, або приблизно добу.

Існує багато практичних задач, де вимагається відшукати чи побудувати не всі можливі варіанти, а лише один із них, найкращий у деякому розумінні, визначеному в задачі. Отже, тут з'являється таке поняття, як цінність

варіантів. Загальним принципом розв'язання таких задач є скорочення обходу дерева варіантів. У ньому відкидаються деякі гілки, про які можна стверджувати, що вони не містять варіантів більш цінних, ніж уже знайдені. Розглянемо приклад.

Задача про три процесори
. Нехай є три процесори, здатні виконувати завдання з однаковою швидкістю. Є набір завдань, про кожне з яких відомий час його виконання. Порядок виконання завдань неважливий. Якщо процесор почав виконувати завдання, то виконує його до кінця протягом зазначеного часу. Переключення процесора на виконання нового завдання відбувається миттєво. Треба так розподілити завдання між процесорами, шоб момент закінчення останнього завдання був мінімальним. Назвемо цю величину вартістю

розподілу

. Отже, займемося обчисленням мінімальної вартості серед можливих розподілів. Сам розподіл, що забезпечує таку вартість, для початку нас не цікавитиме.

Приклад
. Нехай є 6 завдань, час виконання яких відповідно 7, 8, 9, 10, 11, 12. Якщо в зазначеному порядку розподілити перші три завдання між процесорами, а потім давати їх у тому ж порядку процесорам, що звільняються, то перший процесор закінчить роботу в момент 7+10=17, другий – у момент 8+11=19, а третій – 9+12=21. Маємо вартість 21. Проте їх можна розподілити інакше – 7+12, 8+11, 9+10, одержавши вартість 19.-

Перше, що ми зробимо в розв'язанні задачі – упорядкуємо завдання за незростанням часу їх виконання. Отже, нехай P
₁
, … , P_n

– завдання, часи виконання T
₁
, … , T_n

яких задовольняють нерівності T
₁
³ … ³T_n

. Розподіл можна подати послідовністю пар вигляду (i
; k
), де i
– номер завдання, k
– номер процесора, на якому воно виконується. Наприклад, за часів 12, 11, 10, 9, 8, 7 найкращий розподіл подається як

<(1; 1), (2; 2), (3; 3), (4; 3), (5; 2), (6; 1)>.

Подібно до розміщень ферзів, можна говорити про повний розподіл – довжини n
, та неповний – меншої довжини. Так само утворимо дерево пошуку розподілів. Його коренем є порожній розподіл, синами кореня – три розподіли <(1; 1)>, <(1; 2)>, <(1; 3)> тощо, тобто синами кожного розподілу вигляду

v
=<(1; k
₁
), … , (i
; k_i

)>

за i
<n
є три розподіли

v
₁
=<(1; k
₁
), … , (i
; k_i

), (i
+1; 1)>,

v
₂
=<(1; k
₁
), … , (i
; k_i

), (i
+1; 2)>,

v
₃
=<(1; k
₁
), … , (i
; k_i

), (i
+1; 3)>.

Повні розподіли є листками вигляду <(1; k
₁
), … , (n
; k_n

)>.

Тепер займемося упорядкуванням обходу дерева таким чином, щоб варіанти з меншою вартістю оброблялися якомога раніше, а варіанти з більшою вартістю – якомога пізніше. За розподілом v
=<(1; k
₁
), … , (i
; k_i

)>, де i
£
n
, неважко обчислити трійку часів роботи процесорів (S
₁
, S
₂
, S
₃
) з його виконання. Очевидно, його вартістю є найбільше з S
₁
, S
₂
, S
₃
. Такий розподіл за i
<n
та час T<sub>i

+1</sub>
дають три варіанти трійок, відповідних його розподілам-синам v
₁
, v
₂
, v
₃
:

(S
₁
+T<sub>i

+1</sub>
, S
₂
, S
₃
), (S
₁
, S
₂
+T<sub>i

+1</sub>
, S
₃
), (S
₁
, S
₂
, S
₃
+T<sub>i

+1</sub>
).

За i
+1=n
неважко вибрати найменшу з цих трьох вартостей. Проте за i
+1<n
нас будуть цікавити не стільки вартості цих неповних розподілів, скільки нижні оцінки вартості тих повних розподілів, які з них можна одержати. Цією оцінкою є вартість, менше якої не може бути вартість повних розподілів
.

Розглянемо найпростіший спосіб такого оцінювання. Очевидно, що за неповного розподілу v
перших i
завдань із трійкою часів (S
₁
, S
₂
, S
₃
) всі розподіли, що є його нащадками, мають вартість не меншу, ніж

E
(v
)=max{S
₁
, S
₂
, S
₃
, min{S
₁
, S
₂
, S
₃
}+T<sub>i

+1</sub>
}.

Отже, оцінка E
(v
) є нижньою межею

для вартості нащадків розподілу v
.

Організуємо обхід дерева розподілів таким чином, що:

1. для кожного з вузлів обчислюється зазначена оцінка вартості,

2. вузли розглядаються у порядку зростання їх оцінок,

3. вузли з оцінкою, більшою від вартості вже одержаного повного розподілу, взагалі не розглядаються.

Ці міркування складають суть методу розгалужень і меж

. Упорядкування вузлів робить обхід цілеспрямованим, а відкидання явно неперспективних піддерев скорочує його.

Уточнимо організацію даних для обробки вузлів у зазначеному порядку. Оскільки нас цікавлять не самі розподіли, а лише їх вартість, у вузлах дерева будемо зберігати тільки трійку часів та номер завдання, розподіленого останнім. Маючи список часів T
[1], … , T
[n
] обробки завдань, неважко за цими даними обчислити оцінку вартості для неповних розподілів та саму вартість для повних. Для наочності цю величину також зберігатимемо у вузлі. Отже, вузол дерева подається трійкою часів S
[1], S
[2], S
[3], номером завдання i
та оцінкою вартості E
, яка за i
<n
обчислюється як

max{ S
[1], S
[2], S
[3], min{ S
[1], S
[2], S
[3]}+T
[i
+1]}.

Очевидно, що за i
=n
-1 ця величина є вартістю повного розподілу, який подається "кращим із синів" цього вузла дерева.

Проміжні вузли записуються не в магазин, а в чергу, елементи якої упорядковано за зростанням оцінок вартості. Таким чином, для подання черги зручно скористатися лінійним списком (п.16.3.3). Вузли, відповідні повним розподілам, в чергу не записуються, оскільки оцінка вартості є власне їх вартістю.

Очевидно, що спочатку з трьох розподілів <(1;1)>, <(1;2)>, <(1;3)> в чергу достатньо записати лише один, для визначеності <(1; 1)>. Очевидно також, що коли обробляється вузол із однаковими часами S
[1], S
[2], S
[3], то з трьох його синів до черги достатньо додати лише одного. Якщо ж два з трьох часів у вузлі рівні, то до черги не додається один із двох синів, що відрізняються лише порядком часів.

Опишемо обробку вузлів дерева таким алгоритмом.

Занести до черги розподіл
(T[1], 0, 0; 1; T[1]);

Cmin:=¥;

while
(черга не порожня
) and
(її перший елемент має оцінку
E<Cmin)

do

begin

Вилучити з черги її перший елемент
Node=(S[1], S[2], S[3]; i; E);

if
i=n-1 then
{синами вузла є листки}

Обчислити вартість синів вузла
Node та за необхідності

запам'ятати нову поточну мінімальну вартість
Cmin

else

Обчислити оцінку вартості синів вузла
Node та

додати до черги лише тих із них, чия оцінка не більше
Cmin

end

Уточнення цього алгоритму залишаємо вправою.

Розглянемо приклад обчислення мінімальної вартості розподілу за наведеним алгоритмом. Нехай задано час виконання п'яти завдань 9, 8, 7, 5, 4. Очевидно, що найкращий розподіл (9, 8+4, 7+5) має вартість 12. Значення Cmin
та зміст черги, що виникають за наведеним алгоритмом, подамо таблицею:

Як бачимо, перший елемент черги має оцінку вартості, гіршу за Cmin
, тому подальше дослідження дерева варіантів не відбувається. За виконання алгоритму до черги додається 9 проміжних вузлів, а вилучається 4. Між тим, неважко підрахувати, що з урахуванням симетричних варіантів дерево містить 19 проміжних вузлів. Фактично, ми одержали потрібний розподіл взагалі без перебирання варіантів.

У загальному випадку метод розгалужень і меж не позбавляє перебирання
. У цьому неважко переконатися, імітувавши наведений алгоритм на прикладі часів виконання завдань (12, 8, 7, 5, 4, 2).

Задача про розподіл завдань представляє чималу групу задач, які розв'язуються методом розгалужень і меж. Подивимося на цю задачу більш узагальнено. Розподіл (повний чи частковий) v
(i
)=<(1; k
₁
), … , (i
; k_i

)> подамо як послідовність <a
₁
, a
₂
, … , a_i

>, де a_j

позначає пару (j
; k_j

). Очевидно, що v
(i
) одержується з v
(i
-1) додаванням компонента a_i

. Вартість розподілу при цьому не зменшується, тобто

C
(v
(i
-1))£C
(v
(i
)). (19.1)

Існує чимало задач, в яких розв'язок-послідовність <a
₁
, a
₂
, … , a_n

> будується шляхом "нарощування" часткових розв'язків <a
₁
, a
₂
, … , a<sub>i

-1</sub>
> новими компонентами a_i

. Умова (19.1) дозволяє відкидати ті часткові розв'язки та всіх їх нащадків, якщо їх вартість не може бути меншою вартості Cmin
уже побудованого повного розв'язку. Таким чином, Cmin
виступає верхньою межею
для вартості розв'язків, які є сенс будувати. Але, як правило, обчислити вартість повного розв'язку можна лише після його побудови. Для запобігання побудови всіх повних розв'язків треба мати можливість оцінювати
знизу
їх вартість за вартістю побудованих часткових. Чим точнішою буде така оцінка, тим ефективнішим буде скорочення перебору.

Отже, алгоритм розв'язання багатьох задач за методом розгалужень і меж має таку загальну структуру:

Для кожного можливого a
₁
занести до черги частковий розв'язок

<a
₁
>
;

Обчислити нижню оцінку
E вартості його нащадків, що є

повними розв'язками
;

Cmin:=¥;

while
(черга не порожня
) and
(її перший елемент має оцінку
E<Cmin)

do

begin

Вилучити з черги її перший елемент
Node;

if
синами вузла
Node є листки
then

Обчислити вартість синів
Node та за необхідності

запам'ятати нову поточну мінімальну вартість
Cmin

else

Обчислити оцінку вартості синів вузла
Node та

додати до черги лише тих із них, чия оцінка не більше
Cmin

end
.

2
. Евристичні алгоритми

Повернемося до задачі про розподіл завдань по трьох процесорах і спробуємо розв'язати її у зовсім інший спосіб.

Нехай ми маємо неповний розподіл (S
₁
, S
₂
, S
₃
) усіх завдань, крім останнього. У цьому випадку найкраще розподілити останнє завдання, додавши його час до найменшого з S
₁
, S
₂
, S
₃
, тобто передати його до найменш завантаженого процесора.

Тепер правилом "передати чергове завдання до найменш завантаженого процесора
" будемо керуватися при розподілі кожного з завдань
. Застосування цього правила виражається алгоритмом, за яким завдання розподіляються без будь-якого перебирання варіантів:

розподілити перші три завдання по одному на процесор
;

for
i:=4 to
n do

begin

обчислити
k – номер найменшого з
S[1], S[2], S[3];

додати
T[i] до
S[k]

end

За цим алгоритмом завдання (12, 8, 7, 5, 4) розподіляються як (12, 8+4, 7+5). Очевидно, що краще не може бути.

Проте розподіл завдань за цим алгоритмом не завжди є найкращим
. Наприклад, завдання (12, 8, 7, 5, 4, 2) розподіляються за ним як (12+2, 8+4, 7+5) з вартістю 14, хоча є кращий розподіл (12, 8+5, 7+4+2) з вартістю 13.

Правило "передати чергове завдання до найменш завантаженого процесора
", яким ми керувалися при розподілі завдань, є прикладом евристики

. Взагалі, значенням цього слова є "мистецтво відшукання істини", а в інформатиці евристика

– це правило, метод або прийом, призначений для підвищення ефективності пошуку розв'язку задачі [Сл].

Алгоритм, побудований на основі застосування евристики, називається евристичним

. Як правило, евристичні алгоритми дозволяють швидко побудувати розв'язок задачі, але не завжди гарантують, що він дійсно буде найкращим.

Приклад
1.
Розглянемо ще одну задачу та дві евристики для неї. Нехай, як і раніше, задано упорядкований за незростанням список часів виконання завдань T
₁
, T
₂
, … , T_n

, але кількість процесорів не фіксовано. Замість цього задано час T
₀
, і треба визначити найменшу кількість процесорів, яка забезпечує виконання всіх завдань у межах T
₀
. Зрозуміло, що T
_0
³
T
₁
.

Спочатку переформулюємо цю задачу в інших термінах. Час виконання завдання можна розглядати як об'єм предмету, а час T
₀
– як об'єм ящиків, по яких розподіляються предмети (форма ящиків та предметів неважлива). Отже, треба обчислити найменшу кількість ящиків, необхідних для розподілу всіх предметів. Тепер сформулюємо дві евристики.

Е1. "Перший прийнятний
". Перший предмет кладемо в перший ящик. Другий також, якщо він там уміщається. Якщо не уміщається, то кладемо його в другий ящик. Взагалі, черговий предмет кладемо в ящик із найменшим номером, в якому він уміщається
.

Е2. "Найкращий прийнятний
". Черговий предмет кладеться в той ящик, у якому залишається найменший ще допустимий незайнятий об'єм
. Якщо таких ящиків кілька, то з них вибираємо ящик із найменшим номером.

Запис відповідних евристичних алгоритмів залишаємо вправою.

3
. Застосування принципу оптимальності

Знайомство з принципом оптимальності почнемо з розв'язання задачі.

Приклад 2.
Нехай паперовий прямокутник складено з клітин – m
по вертикалі та n
по горизонталі. У кожній клітині записано натуральне число. Уявімо, що з прямокутника зробили вертикальний циліндр, з'єднавши першу та останню вертикалі. Ми можемо рухатися по клітинах циліндра та підраховувати суму чисел у них. Рух починається з будь-якої клітини першого кільця. Далі, якщо ми перебуваємо в якійсь клітині, то можемо перейти на наступне кільце в одну з тих трьох клітин, що мають спільні точки з поточною. Рух закінчується на останньому, m
-му кільці клітин. Треба обчислити найбільшу суму, яку можна набрати на одному з можливих шляхів довжини m
.

Якщо m
=1, то достатньо вибрати клітину з найбільшим числом. Нехай m
>1. Занумеруємо клітини кожного кільця числами від 0 до n
-1. Позначимо через C_ki

число, записане в клітині з номером i
у кільці k
, а через S_ki

– найбільшу суму, яку можна набрати на шляху, що веде в цю клітину. Очевидно, що S
_1i

=C
_1i

. Для початку обчислимо для кожної клітини другого кільця найбільшу суму S
_2i

на шляху довжини 2. За умовою задачі очевидно, що

S
_2i

=C_2i

+max{S
_{1, i
-1}
, S
_1i

, S
_{1, i
+1}
} за i
=1, … , n
-2,

S
₂₀
=C
₂₀
+max{S
_{1, n
-1}
, S
₁₀
, S
₁₁
}, S
_2,n
-1
=C
_{2, n
-1}
+max{S
_{1, n
-2}
, S
_{1, n
-1}
, S
₁₀
}.

За цими сумами можна аналогічно підрахувати суми для клітин третього кільця. Так само при переході до четвертого кільця достатньо знати лише найбільші суми для клітин третього кільця тощо. Діставши суми для клітин останнього кільця, вибираємо найбільшу з них, і задачу розв'язано.

Уточнення алгоритму залишаємо вправою. Скажемо лише, що суми S_ki

, k
=2, … , m
, i
=0, … , n
-1, обчислюються за єдиною формулою

S_ki

=C_ki

+max{S<sub>k

-1, (i
-1+n
) mod
n</sub>

, S<sub>k

-1, i</sub>

, S<sub>k

-1, (i
+1) mod
n</sub>

}.

Оцінимо складність наведеного алгоритму. Очевидно, що при переході на наступне кільце обчислюються n
сум за сталу кількість дій кожна. Таких переходів відбувається m
-1, тому загальна кількість дій оцінюється як O
(nm
).-

У наведених обчисленнях сум ми керувалися правилом: при переході на наступне кільце неважливо, якими були шляхи до клітин попереднього кільця
. Аби вони давали найбільші суми, можливі для їх кінцевих клітин
. Ішими словами, вибір шляхів від клітин попереднього кільця в клітини наступного не залежить від того, як саме ми вибирали клітини раніше
.

Наведене правило є окремим конкретним випадком принципу оптимальності

, одного з головних у теорії динамічного програмування

. Її автор, Р.Беллман, сформулював цей принцип так:

"Оптимальна поведінка має таку властивість, що, якими б не були початковий стан і рішення в початковий момент, наступні рішення повинні складати оптимальну поведінку відносно стану, який одержується в результаті першого рішення
."

Обсяг книжки не дозволяє викладати тут теорію динамічного програмування. Вона велика й серйозна. Наведемо натомість ще один приклад застосування принципу оптимальності.

Приклад 3.
Розглянемо обчислення добутку n
матриць

A
= A
_1
´
A
_2
´
… ´A_n

,

де кожна A_i

– матриця з s<sub>i

-1</sub>
рядками та s_i

стовпцями. Як відомо, операція множення матриць є асоціативною, і результат не залежить від порядку її застосування. Але від нього залежить кількість множень їх елементів.

За традиційним алгоритмом множення матриць розмірами a
´
b
та b
´
c
відбувається abc
множень їх елементів. Наприклад, множення матриць A
_1
´
A
_2
´
A
₃
розмірами 100´ 1, 1´ 100, 100´ 1 відповідно у порядку (A
_1
´
A
₂
)´A
₃
вимагає 100× 1× 100+100× 100× 1=20000 множень, тоді як у порядку A
_1
´
(A
_2
´
A
₃
) – лише 1× 100× 1+100× 1× 1=200, тобто в 100 разів менше.

Отже, за послідовністю розмірів матриць s
₀
, s
₁
, s
₂
, … , s_n

треба обчислити найменшу кількість множень їх елементів, необхідних для обчислення добутку матриць A
= A
_1
´
A
_2
´
… ´A_n

.

Очевидно, що при обчисленні добутку останнім виконується одне з множень, тобто A
=(A
_1
´
…´A_i

)´ (A<sub>i

+1
´</sub>
…´A_n

), де 1£i
£
n
-1. Якщо добутки A
_1
´
…´A_i

та A<sub>i

+1
´</sub>
…´A_n

обчислено, то виконання останнього множення вимагає s
_0
×
s<sub>i

×</sub>

s_n

множень. Позначимо m_ik

мінімальну кількість множень, необхідних для обчислення A<sub>i

´</sub>

A<sub>i

+1
´</sub>
…´A_k

за i
<k
, m_ii

=0. Тоді шукана кількість

m
_1n

={m
_1i

+m<sub>i

+1,n</sub>

+s
_0
×
s<sub>i

×</sub>

s_n

}

Отже, задача відшукання m
_1n

, тобто задача розміру n
, зводиться до 2(n
-2) задач меншого розміру. Але головним тут є той факт, що числа m
_1i

та m<sub>i

+1,n</sub>

не залежать одне від одного, тобто найменша кількість множень при обчисленні добутку A
_1
´
…´A_i

не залежить від того, як обчислюється добуток A<sub>i

+1
´</sub>
…´A_n

, і навпаки. Завдяки саме цій незалежності можна застосувати принцип оптимальності
.

Спочатку обчислимо всі m<sub>i

,i
+1</sub>
за i
=1, … , n
-1. Очевидно, m<sub>i

,i
+1</sub>
=s<sub>i

-1
×</sub>
s<sub>i

×</sub>

s<sub>i

+1</sub>
. Запам'ятавши їх, обчислимо m<sub>i

,i
+2</sub>
і також запам'ятаємо. Потім обчислимо всі m<sub>i

,i
+3</sub>
тощо, збільшуючи різницю d
між другим та першим індексами, поки не дійдемо до m
_1n

. При цьому ми обчислюємо m_ij

за формулою

m_ij

={m_ik

+m<sub>k

+1,j</sub>

+s<sub>i

-1
×</sub>
s<sub>k

×</sub>

s_j

}

Наведений алгоритм уточнюється таким чином:

for
i:=1 to
n-1 do
m[i, i+1]:=s[i-1]*s[i]*s[i+1];

for
d:=1 to
n-1 do

for
i:=1 to
n-d do

begin

j:=i+d;

У
m[i, j] запам'ятати мінімальне зі значень

m[i,k]+m[k+1,j]+s[i-1]*s[k]*s[j] по всіх
k=i+1, …, j-1

end

{m[1, n] – шукане значення
}

Безпосередньо за алгоритмом неважко переконатися, що оцінкою його складності є O
(n
³
).-

Підіб'ємо підсумок. В обох прикладах ми будували послідовності – шляхи на циліндрі або послідовності дужок. Характерним для них є те, що, кажучи неформально, коли зафіксовано якийсь компонент у їх середині, то оптимальний вибір компонентів у початку не впливає на оптимальний вибір у кінці, і навпаки. Саме ця незалежність позбавляє необхідності перебирати всі можливі послідовності і забезпечує складність наведених алгоритмів порядку O
(mn
) та O
(n
³
) відповідно.

У задачі про три станки такої незалежності рішень на початку їх послідовності та в її кінці немає. Саме це змушує перебирати всі можливі послідовності та зумовлює незастосовність принципу оптимальності
. Для цієї задачі немає алгоритмів, які б дозволяли будувати розв'язок із незалежних частин подібно до задачі про добуток матриць.

Існує величезний клас задач, розв'язки яких є послідовностями заданого вигляду, причому їх початок і кінець взаємозалежні. Для таких задач побудовано алгоритми складності не менше O
(2ⁿ

), де n
– це величина, що характеризує розмір вхідних даних задачі. Але для них досі не побудовано алгоритмів, складність яких можна було б оцінити поліноміальною функцією від n
. Поки що не доведено, що таких алгоритмів узагалі не можна побудувати
, але саме до такої думки схиляються майже всі, хто мав справу з цими задачами.

Серед задач, розв'язок яких будується перебиранням варіантів, виділяються так звані NP-складні та NP-повні задачі
. Обсяг і характер цієї книжки не дозволяють розпочинати знайомство з ними, тому зацікавлений читач може подивитися в книги [АХУ, РНД, ГД].