Изследователи от Apple са открили, че големите езикови модели, подобни на ChatGPT, не са способни на логическо мислене и те лесно могат да бъдат объркани ако се добавят несъществени детайли към поставената задача.
Публикуваната статия “Разбиране на ограниченията на математическото мислене в големите езикови модели” повдига въпроса за способността на изкуствения интелект за логическо мислене. Изследването показва, че големите езикови модели (LLM) могат да решават прости математически задачи, но добавянето на малко значима информация води до грешки.
Например, моделът лесно може да реши такава задача “Оливър е набрал 44 кивита в петък. След това той е набрал 58 кивита в събота. В неделя той е набрал двойно повече кивита от петък. Колко кивита има Оливър”? Но ако при това в задачата се добави фразата “в неделя 5 от тези кивита бяха малко по-малки от средния размер”, моделът най-вероятно ще извади тези 5 кивита от общия брой, независимо, че размерът не влияе на тяхното количество.
Мехрдад Фараджтабар, един от съавторите на изследването обяснява, че подобни грешки указват, че LLM не разбира същността на задачата, а просто възпроизвежда шаблони от данните за обучение. “Ние предполагаме, че това намаляване (на ефективността) е свързано с факта, че съвременните LLM не са способни на истинско логическо мислене. Вместо това те се опитват да възпроизвеждат стъпки на разсъждение, наблюдавани в данните, с които те са обучени”, – се казва в статията.
Друг специалист от OpenAI възразява, че правилните резултати могат да се получат с помощта на техника за формулиране на въпросите (prompt engineering). Но Фараджтабар отбелязва, че за сложни задачи могат да са нужни експоненциално повече контекстни данни, за да се неутрализират отвличащите фактори, които, наприемр, даже дете лесно би игнорирало.
Означава ли това, че LLM не могат да разсъждават? Не е изключено. Никой засега не дава точен отговор, тъй като няма ясно разбиране на случващото се. Възможно е LLM да “разсъждават”, но по начин, който ние засега не разпознаваме или не можем да контролираме. Във всеки случай темата е много интересна и отваря безкрайни възможности за нови изследвания.