Мултикласна класификација

Вишекласна, мултикласна или мултиномна класификација, у машинском учењу, представља проблем класификације примерака у једну од три или више класа (класификација примерака у једну од две класе назива се бинарна класификација).

Иако многи алгоритми класификације (посебно мултиномна логистичка регресија) природно дозвољавају употребу више од две класе, неки су по природи бинарни алгоритми; међутим, они могу бити претворени у мултиномне класификаторе разним стратегијама.

Класификацију више класа не треба мешати са класификацијом више ознака, где вишеструке ознаке треба предвидети за сваки примерак.

Опште стратегије[уреди | уреди извор]

Постојеће вишеразредне технике класификације могу се категорисати у:

трансформације у бинарно
проширење из бинарне и
хијерархијско класификовање.^[1]

Трансформација у бинарну[уреди | уреди извор]

Овај одељак разматра стратегије за смањење проблема класификације више класа на проблеме вишеструке бинарне класификације. Може се сврстати у један против свих и свако против сваког. Технике развијене на основу смањења проблема више класе на вишеструке бинарне проблеме могу се назвати и техникама трансформације проблема.

Један против свих[уреди | уреди извор]

Стратегија један против свих ^[2] укључује обучавање једног класификатора по класи, са узорцима те класе као позитивним узорцима и свим осталим узорцима као негативним. Ова стратегија захтева да основни класификатори дају стварну вредност оцена поузданости за своју одлуку, а не само ознаку разреда; саме дискретне ознаке класе могу довести до нејасноћа, где се за један узорак предвиђа више класа.^[3]

У псеудокоду, алгоритам тренинга за ученика један против свих конструисан од ученика бинарне класификације L је следећи алгоритам:

Улази:

$L$ , ученик (алгоритам обуке за бинарне класификаторе)
узорци $X$
ознаке $y$ где $y i$ ∈ {1, … $K$ } је ознака за узорак $X i$

Излаз:

Списак класификатора $f k$ за $k$ ∈ {1, …, $K$ }

Процедура:

За сваки k у {1, …, K}
- Конструисати нови вектор ознаке $z$ где $z i$ = $y i$ ако је $y i = k$ и $z i = 0$ или
- Применити $L$ на $X$ , $z$ да би сте добили $f k$

{\hat {y}}={\underset {k\in \{1\ldots K\}}{\arg \!\max }}\;f_{k}(x)

Иако је ова стратегија популарна, она је хеуристика и има неколико проблема. Прво, скала вредности поузданости може се разликовати између бинарних класификатора. Друго, чак и ако је расподела класа уравнотежена у скупу обуке, полазници бинарне класификације виде неуравнотежене расподеле јер је скуп негатива које они виде типично много већи од скупа позитива.

Свако против сваког[уреди | уреди извор]

У редукцији један према један, један обучава $K (K - 1) / 2$ бинарне класификаторе за $K$ -пут вишеразредни проблем; сваки добија узорке пар класа из оригиналног сета за обуку, и мора научити да разликује ове две класе. У време предвиђања примењује се шема гласања: сви $K (K - 1) / 2$ класификатори примењују се на невиђени узорак и класу која је добила највиши број предвиђања "+1" предвиђа комбиновани класификатор.

Као и jедан против свих, свако против сваког има нејасноће у томе што неки региони његовог улазног простора могу добити исти број гласова.

Проширење из бинарног[уреди | уреди извор]

Овај одељак разматра стратегије проширења постојећих бинарних класификатора за решавање проблема класификације вишеструких класа. Неколико алгоритама је развијено на основу неуронских мрежа, стабала одлучивања, алгоритам к најближих суседа, наивног Бајес-а, метода потпорних вектора и метода екстремног учења за решавање проблема класификације вишеструких класа. Ове врсте технике се такође могу назвати техникама адаптација алгоритма.

Неуронске мреже[уреди | уреди извор]

Вишеразредни перцептрони пружају природно проширење проблема више класе. Уместо да имате само један неурон у излазном слоју, са бинарним излазом, можете имати N бинарних неурона што доводи до вишеразредне класификације. У пракси, последњи слој неуронске мреже је обично слој софтмакс функције, који је алгебарско поједностављење N логистичких класификатора, нормализован по класи према збиру N-1 осталих логистичких класификатора.

Методе екстремног учења[уреди | уреди извор]

Методе екстремног учења су посебан случај неуралног једноструког сакривеног слоја мреже за прослеђивање повратних информација где се у улазним тежинама и скривеном чвору одступања могу одабрати насумично. Много је варијанти и развоја метода екстремног учења за класификацију више класа.

K-најближи суседи[уреди | уреди извор]

K-најближи суседи се сматра међу најстаријим алгоритмима за непараметарску класификацију. Да бисмо класификовали непознати пример, мери се удаљеност од тог примера до сваког другог примера за обуку. Идентификују се к најмања растојања и највише приказана класа ових к-најближих суседа сматра се ознаком излазне класе.

Наивни Бајес[уреди | уреди извор]

Наивни Бајес је успешан класификатор заснован на принципу максималног претходног искуства. Овај приступ је природно проширив на случај да имамо више од две класе и показало се да има добре резултате упркос основној поједностављујућој претпоставци о условној независности.

Стабла одлучивања[уреди | уреди извор]

Учење по принципу стабала одлучивања моћна је техника класификације, Стабло покушава да изведе поделу података о обуци заснованој на вредностима доступних карактеристика како би се произвела добра генерализација. Алгоритам може природно да реши бинарне или вишеразредне проблеме класификације. Чворови листа могу се односити на било коју К класу.

Методе потпорних вектора[уреди | уреди извор]

Методе потпорних вектора заснивају се на идеји максимизирања маргине, тј. максимизирања минималне удаљености од раздвајајуће хипер равни до најближег примера. Основна метода потпорних вектора подржава само бинарну класификацију, али су предложена проширења како би се решио случај вишекласне класификације. У овим проширењима, додатни параметри и ограничења додати су проблему оптимизације ради решавања раздвајања различитих класа.

Хијерархијска класификација[уреди | уреди извор]

Хијерархијска класификација се бави проблемом класификације више класа поделом излазног простора у стабло. Сваки родитељски чвор подељен је на више подређених чворова и процес се настављено све док сваки подређени чвор не представља само једну класу. Неколико метода предложено је на основу хијерархијске класификације.

Парадигме учења[уреди | уреди извор]

На основу парадигми учења, постојеће вишеразредне технике класификације могу бити класификоване у групно учење и учење на мрежи. Алгоритми групног учења захтевају да сви узорци података буду претходно доступни. Он обучава модел користећи све податке о обуци, а затим предвиђа тест узорак користећи пронађену везу. С друге стране, алгоритми за учење на мрежи поступно граде своје моделе у секвенцијалним итерацијама (понављањима). У итерацији t, интернет алгоритам прима узорак x_t и предвиђа његову ознаку ŷ_t користећи тренутни модел; алгоритам затим прима y_t, истинску ознаку x_t и ажурира свој модел на основу пара узорак-ознака: (x_t, y_t). Недавно је развијена нова парадигма учења која је названа прогресивна техника учења. ^[4]Техника прогресивног учења способна је не само да учи из нових узорака, већ је способна и за учење нових класа података, а опет задржава до сада стечено знање.^[5]

Види још[уреди | уреди извор]

Референце[уреди | уреди извор]

^ Aly, Muhamed (2005). „"Survey on multiclass classification methods"” (PDF). Архивирано из оригинала (PDF) 10. 05. 2017. г. Приступљено 19. 01. 2021.
^ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Singapore: Springer. ISBN 978-0387310732.
^ Bishop, Christopher (2006). Pattern Recognition and Machine Learning. Springer.
^ Venkatesan, Rajasekar (2016). "A novel progressive learning technique for multi-class classification".
^ Venkatesan, Rajasekar. „"Progressive Learning Technique"”. Архивирано из оригинала 10. 05. 2017. г. Приступљено 19. 01. 2021.

[1] Aly, Muhamed (2005). „"Survey on multiclass classification methods"” (PDF). Архивирано из оригинала (PDF) 10. 05. 2017. г. Приступљено 19. 01. 2021.

[2] Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Singapore: Springer. ISBN 978-0387310732.

[3] Bishop, Christopher (2006). Pattern Recognition and Machine Learning. Springer.

[4] Venkatesan, Rajasekar (2016). "A novel progressive learning technique for multi-class classification".

[5] Venkatesan, Rajasekar. „"Progressive Learning Technique"”. Архивирано из оригинала 10. 05. 2017. г. Приступљено 19. 01. 2021.

[1]

[2]

[3]

[4]

[5]