Ուսանողները վերարտադրել են Իլոն Մասկի գաղտնի նեյրոցանցը

Բրաունի ամերիկյան մասնավոր համալսարանի երկու ուսանողներ կարողացել են վերարտադրել Իլոն Մասկի հիմնադրած OpenAI ընկերության GPT-2 նեյրոցանցը: Դրա ամբողջական տարբերակն ուսանողները չեն հրապարակել, քանի որ այն կարող էր համացանցային խարդախությունների համար օգտակար միջոց դառնալ:

OpenAI-ը GPT-2-ը ստեղծել է կապակցված տեքստը գեներացնելու համար: Այս նեյրոցանցը ռեկորդային քանակությամբ՝ 1,5 մլրդ տվյալ ունի. դա ավելի շատ է, քան, օրինակ, Google-ի BERT նեյրոցանցը: Նմանատիպ նեյրոցանցերը հիմնականում ունենում են 100-300 մլն տվյալ, իսկ ինչքան շատ են տվյալները, այնքան շատ խնդիրներ կարող է լուծել:

GPT-2-ն աշխատում է առանց ուսուցչի՝ մեքենայացված ուսուցման տեխնոլոգիայի հիման վրա: Այսինքն՝ ինքնուրույն է գտնում ճիշտ պատասխանը՝ տվյալներն ուսումնասիրելուց հետո: Նախորդ տարբերակը՝ GPT-ն, սովորել էր գրքային տեքստերից և Վիկիպեդիայից, սակայն անհրաժեշտ արդյունքը չէր տրամադրում: Այդ պատճառով GPT-2-ին սովորեցրել են 8 մլն էջ, որոնց աղբյուրը աշխարհի ամենահայտնի կայքերից մեկն է՝ Reddit-ը: Այստեղ օգտատերերը հավանած տեղեկատվության հղումներն են տեղադրում, գնահատում են մյուս օգտատերերի հղումները՝ ձևավորելով նրանց վարկանիշը, նաև շփվում են միմյանց հետ:

Նախկին սխալները չկրկնելու, ինչպես նաև գովազդը և սպամը բացառելու համար մշակողները նեյրոցանցին բոլոր հղումները չեն ուսուցանել. միայն նրանք, որոնք լավ վարկանիշ են ունեցել: Արդյունքում՝ GPT-2-ը սովորել է գեներացնել կապակցված տեքստերով ամբողջական էջեր: Այդ իսկ պատճառով 2019թ. փետրվարին OpenAI-ը հրաժարվել է հրապարակել նեյրոցանցի ամբողջական տարբերակը՝ սահմանափակվելով կրճատված կրկնօրինակով: