Подржано учење из људских повратних информација

У машинском учењу, подржано учење из људских повратних информација (енгл. Reinforcement learning from human feedback, RLHF), такође познато као учење уз помоћ људских преференција, техника је усклађивања интелигентног агента са људским преференцијама. У класичном подржаном учењу, циљ таквог агента је да научи функцију која се назива политика која максимизира награду коју добија на основу тога колико добро обавља свој задатак. У случају људских преференција, међутим, обично је тешко експлицитно дефинисати функцију награђивања која се приближава људским преференцијама. Стога, РЛХФ настоји да обучи „модел награђивања“ директно из повратних информација људи. Модел награђивања се прво обучава на надзирани начин — независно од политике која се оптимизује — да би се предвидело да ли је одговор на дати упит добар (висока награда) или лош (ниска награда) на основу података о рангирању прикупљених од људских анотатора. Овај модел се затим користи као функција награђивања за побољшање политике агента кроз алгоритам оптимизације као што је проксимална оптимизација политике.

РЛХФ се може применити на различите домене у машинском учењу, укључујући задатке обраде природног језика као што су сумирање текста и конверзацијски агенти, задатке компјутерског вида као што су модели текста у слику и развој робота за видео игре. Док је РЛХФ ефикасан метод обучавања модела да боље делују у складу са људским преференцијама, он се такође суочава са изазовима због начина на који се прикупљају подаци о људским преференцијама. Иако РЛХФ не захтева огромне количине података за побољшање перформанси, проналажење висококвалитетних података о преференцијама је и даље скуп процес. Штавише, ако подаци нису пажљиво прикупљени из репрезентативног узорка, резултујући модел може показати нежељене пристрасности.

Преглед високог нивоа подржаног учења из људских повратних информација.

Мотивација

Оптимизација модела заснованог на љуским повратним информацијама је пожељна када је задатак тешко специфицирати, али лако проценити. На пример, за задатак генерисања убедљиве приче, док би настојање да се од људи генеришу примери добрих и лоших прича било тешко и дуготрајно, људи могу лако и брзо да процене квалитет различитих прича генерисаних вештачком интелигенцијом. Циљ би тада био да модел користи ове људске повратне информације како би побољшао своје генерисање прича.

Било је различитих претходних покушаја коришћења повратних информација од људи за оптимизацију излазних резултата модела, укључујући подржано учење, али већина покушаја је била или уска и тешко их је генерализовати, разложити на комплексне задатке, или су се суочили са потешкоћама у учењу из оскудне или бучне функције награђивања. РЛХФ је био покушај да се створи општи алгоритам за учење из практичне количине повратних информација људи. Такође се показало да РЛХФ побољшава робусност и истраживање РЛ агенаса.