223

Ուսանողները վերարտադրել են Իլոն Մասկի գաղտնի նեյրոցանցը

GPT-2 նեյրոցանց աշխատում է առանց ուսուցչի՝ մեքենայացված ուսուցման տեխնոլոգիայի հիման վրա: Այսինքն՝ ինքնուրույն է գտնում ճիշտ պատասխանը՝ տվյալներն ուսումնասիրելուց հետո:

Նեյրոնային ցանցի ուսուցում
Նեյրոնային ցանցի ուսուցում / ©mipt.ru / Հեղինակ՝ неизвестен, фото предоставлено пользователем

Բրաունի ամերիկյան մասնավոր համալսարանի երկու ուսանողներ կարողացել են վերարտադրել Իլոն Մասկի հիմնադրած OpenAI ընկերության GPT-2 նեյրոցանցը: Դրա ամբողջական տարբերակն ուսանողները չեն հրապարակել, քանի որ այն կարող էր համացանցային խարդախությունների համար օգտակար միջոց դառնալ:

OpenAI-ը GPT-2-ը ստեղծել է կապակցված տեքստը գեներացնելու համար: Այս նեյրոցանցը ռեկորդային քանակությամբ՝ 1,5 մլրդ տվյալ ունի. դա ավելի շատ է, քան, օրինակ, Google-ի BERT նեյրոցանցը: Նմանատիպ նեյրոցանցերը հիմնականում ունենում են 100-300 մլն տվյալ, իսկ ինչքան շատ են տվյալները, այնքան շատ խնդիրներ կարող է լուծել:

GPT-2-ն աշխատում է առանց ուսուցչի՝ մեքենայացված ուսուցման տեխնոլոգիայի հիման վրա: Այսինքն՝ ինքնուրույն է գտնում ճիշտ պատասխանը՝ տվյալներն ուսումնասիրելուց հետո: Նախորդ տարբերակը՝ GPT-ն, սովորել էր գրքային տեքստերից և Վիկիպեդիայից, սակայն անհրաժեշտ արդյունքը չէր տրամադրում: Այդ պատճառով GPT-2-ին սովորեցրել են 8 մլն էջ, որոնց աղբյուրը աշխարհի ամենահայտնի կայքերից մեկն է՝ Reddit-ը: Այստեղ օգտատերերը հավանած տեղեկատվության հղումներն են տեղադրում, գնահատում են մյուս օգտատերերի հղումները՝ ձևավորելով նրանց վարկանիշը, նաև շփվում են միմյանց հետ:

Նախկին սխալները չկրկնելու, ինչպես նաև գովազդը և սպամը բացառելու համար մշակողները նեյրոցանցին բոլոր հղումները չեն ուսուցանել. միայն նրանք, որոնք լավ վարկանիշ են ունեցել: Արդյունքում՝ GPT-2-ը սովորել է գեներացնել կապակցված տեքստերով ամբողջական էջեր: Այդ իսկ պատճառով 2019թ. փետրվարին OpenAI-ը հրաժարվել է հրապարակել նեյրոցանցի ամբողջական տարբերակը՝ սահմանափակվելով կրճատված կրկնօրինակով:

Տեքստում վրիպա՞կ եք գտել։ Նշեք հատվածը և սեղմեք Ctrl (Cmd) + Enter։
Հետևեք մեզ Telegram-ում, Facebook-ում և Google News-ում

Հանրաճանաչ

Նոյեմբերի 9, 13:05
Հ. Թումանյան

Չիկագոյի համալսարանի Hyde Park Labs կենտրոնում սկսել է աշխատել IBM-ի՝ Իլինոյս նահանգում տեղակայված առաջին քվանտային համակարգիչը։ Այն նախատեսված է քվանտային ալգորիթմներ մշակելու և իրական սարքի վրա փորձարկելու համար։

Նոյեմբերի 9, 14:04
Հ. Թումանյան

Մեծ յոթնյակի երկրների արտգործնախարարները նոյեմբերի 9-ին և 10-ին հանդիպում են Փարիզում։ Օրակարգում են Ուկրաինային տրամադրվող օգնությունը, Մերձավոր Արևելքի իրավիճակը և էներգամատակարարման անվտանգությունը։

Նոյեմբերի 8, 13:08
Հ. Թումանյան

Ավստրալիացի հետազոտողները նեյրացանցերի ուսուցման արդյունքների տարբերությունը կապել են մեկնարկային պայմանների ֆրակտալ կառուցվածքի հետ։ Նրանց փորձերում նույնիսկ գրեթե նույն կարգավորումներով ուսուցանված ցանցերը կարող էին տարբեր պատասխաններ տալ։

Նոյեմբերի 3, 10:10
Հ. Թումանյան

ԱՄՆ-ի միջնորդությամբ Ուկրաինայի և Ռուսաստանի ներկայացուցիչները նոյեմբերի 10–11-ին Աբու Դաբիում աշխատանքային բանակցություններ կանցկացնեն։ Այդ մասին նոյեմբերի 2-ին հայտարարել է ԱՄՆ հատուկ բանագնաց Սթիվ Ուիթքոֆը՝ նշելով, որ օրակարգում կլինեն հետպատերազմյան անվտանգության պայմանավորվածություններն ու պատերազմի ավարտին ուղղված քայլերը։

Նոյեմբերի 4, 14:03
Հ. Թումանյան

Չինաստանի և Ֆիլիպինների արտգործնախարարները նոյեմբերի 3-ի հեռախոսազրույցում պայմանավորվել են պահպանել դիվանագիտական կապը։ Հարավչինական ծովում կողմերի հավակնությունները շարունակում են բախվել, իսկ վեճի կարգավորման նոր համաձայնության մասին չի հայտարարվել։

Նոյեմբերի 3, 16:15
Հ. Թումանյան

Բջջային մշակույթների և մկների վրա կատարված փորձերը ցույց են տվել, որ cGAS սպիտակուցի կորուստը մեծացնում է բջիջներում խոլեստերինի կուտակումը և նպաստում ուռուցքի աճին։ Աշխատանքը բացահայտում է այս իմունային սպիտակուցի ևս մեկ գործառույթ՝ բջջակորիզում գեների ակտիվության կարգավորումը։

Հոկտեմբերի 16, 17:03
Հ. Թումանյան

Tesla-ն ներկայացրել է նոր սերնդի Roadster-ը, որը կարողանում է կարճ ժամանակով օդ բարձրանալ, պտույտ կատարել և վայրէջք կատարել անիվների վրա։ Ընկերության հայտարարությամբ՝ մեքենան 0-ից մինչև 97 կմ/ժ արագացել է 0,81 վայրկյանում, իսկ արտադրությունը նախատեսվում է սկսել 2028-ին։

Հոկտեմբերի 11, 21:17
Հ. Թումանյան

Գիտնականներն ուսումնասիրել են Սուրբ Հեղինե կղզում ապրող Ջոնաթան հսկա կրիայի գենոմն ու գեների ակտիվությունը կարգավորող քիմիական նշումները։ Ըստ գնահատականների՝ 194 տարեկան կենդանու մոտ հայտնաբերված որոշ առանձնահատկություններ կարող են առնչվել նրա երկարակեցությանը, սակայն այդ կապը դեռ ապացուցված չէ։

Հոկտեմբերի 14, 09:35
Հ. Թումանյան

NASA-ի Parker Solar Probe սարքի տվյալներով գիտնականները պարզել են, որ արևային քամու մագնիսական տատանումների պտույտի ուղղությունը փոխվում է՝ կախված դիտարկվող մասշտաբից։ Արդյունքն օգնում է հասկանալ տիեզերական պլազմայի տուրբուլենտ վարքը և կարող է օգտակար լինել տիեզերական եղանակի մոդելավորման համար։

[miniorange_social_login]

Մեկնաբանություններ

Գրել մեկնաբանություն