Ստենֆորդի համալսարանի և Կալիֆորնիայի համալսարանի հետազոտողների թիմը պարզել է, որ ChatGPT-ի վճարովի տարբերակի պատասխանների ճշգրտությունը կտրուկ նվազել է:
Գիտնականները պարզել են, որ եթե այս տարվա մարտին ChatGPT-4-ը մաթեմատիկական խնդիրներ էր լուծում 97,6% ճշգրտությամբ, ապա հունիսին այդ ցուցանիշը կտրուկ իջել էր մինչև 2,4%:
Միևնույն ժամանակ, GPT-3.5 տարբերակի պատասխանների ճշգրտությունը միայն աճում է։ Եթե մարտին մաթեմատիկական հաշվարկների ճշգրտությունը կազմել է 7,4%, ապա հունիսին այն աճել է մինչև 86,8%։
Բացի մաթեմատիկական հաշվարկներից, գիտնականները վերլուծել են AI մոդելների ճշգրտության դինամիկան կոդերի ստեղծման, տեսողական մտածողության և զգայուն կամ վտանգավոր հարցերի պատասխանների առումով:
Փոխվել են GPT-4-ի՝ վտանգավոր հարցերին պատասխանելու ցուցանիշները, հունիսին բոտն ավելի քիչ պատասխաններ է տվել, քան մարտին։ Միևնույն ժամանակ, երկու տարբերակներն էլ հունիսից դադարեցրել են բացատրել, թե ինչու չեն կարողացել պատասխանել այս կամ այն հարցին։ Դեռ մարտին օգտատերերը մանրամասն բացատրություն էին ստանում։
Բացի այդ, ավելացել է ծրագրային կոդի գեներացման սխալների թիվը։ Եթե մարտին GPT-4-ը կատարել է հանձնարարված 50 առաջադրանքների 50%-ը, ապա հունիսին կարողացել է կատարել միայն 10%-ը։ Նման միտում է նկատվում GPT-3.5 տարբերակում:
Ի դեպ, վերջին շաբաթների ընթացքում օգտատերերը նույնպես դժգոհում են ChatGPT-ի «մտավոր ունակությունների» նվազումից։ Միաժամանակ, դեռ պարզ չէ, թե ինչու է դա տեղի ունեցել, և արդյոք OpenAI-ն ինչ-որ բան կձեռնարկի, թե՝ ոչ։
Մեկնաբանություն