ChatGPT-4-ի պատասխանի ճշգրտությունը մի քանի ամսում 97%-ից իջել է մինչև 2,4%

Ստենֆորդի համալսարանի և Կալիֆորնիայի համալսարանի հետազոտողների թիմը պարզել է, որ ChatGPT-ի վճարովի տարբերակի պատասխանների ճշգրտությունը կտրուկ նվազել է: Գիտնականները պարզել են, որ եթե այս տարվա մարտին ChatGPT-4-ը մաթեմատիկական խնդիրներ էր լուծում 97,6% ճշգրտությամբ, ապա հունիսին այդ ցուցանիշը կտրուկ իջել էր մինչև 2,4%: Միևնույն ժամանակ, GPT-3.5 տարբերակի պատասխանների ճշգրտությունը միայն աճում է։ Եթե ​​մարտին մաթեմատիկական հաշվարկների ճշգրտությունը կազմել է 7,4%, ապա հունիսին այն աճել է մինչև 86,8%։ Բացի մաթեմատիկական հաշվարկներից, գիտնականները վերլուծել են AI մոդելների ճշգրտության դինամիկան կոդերի ստեղծման, տեսողական մտածողության և զգայուն կամ վտանգավոր հարցերի պատասխանների առումով: Փոխվել են GPT-4-ի՝ վտանգավոր հարցերին պատասխանելու ցուցանիշները, հունիսին բոտն ավելի քիչ պատասխաններ է տվել, քան մարտին։ Միևնույն ժամանակ, երկու տարբերակներն էլ հունիսից դադարեցրել են բացատրել, թե ինչու չեն կարողացել պատասխանել այս կամ այն ​​հարցին։ Դեռ մարտին օգտատերերը մանրամասն բացատրություն էին ստանում։ Բացի այդ, ավելացել է ծրագրային կոդի գեներացման սխալների թիվը։ Եթե ​​մարտին GPT-4-ը կատարել է հանձնարարված 50 առաջադրանքների 50%-ը, ապա հունիսին կարողացել է կատարել միայն 10%-ը։ Նման միտում է նկատվում GPT-3.5 տարբերակում: Ի դեպ, վերջին շաբաթների ընթացքում օգտատերերը նույնպես դժգոհում են ChatGPT-ի «մտավոր ունակությունների» նվազումից։ Միաժամանակ, դեռ պարզ չէ, թե ինչու է դա տեղի ունեցել, և արդյոք OpenAI-ն ինչ-որ բան կձեռնարկի, թե՝ ոչ։