Tytuł pozycji:
Od halucynacji do rzetelnych rozwiązań: jak zwiększyć wiarygodność odpowiedzi ChatGPT w nauczaniu matematyki
Jednym z głównych zarzutów stawianych ChatGPT są jego halucynacje. W artykule przedstawiono wyniki pilotażowego badania, mającego na celu zwiększenie wiarygodności odpowiedzi generowanych przez ChatGPT. Badanie dotyczyło obliczania całek nieoznaczonych. Przeanalizowano liczbę poprawnych odpowiedzi uzyskanych w trzech etapach: w pierwszym podejściu, po weryfikacji oraz po zastosowaniu procedury polegającej na powtarzaniu procesu weryfikacji, aż do uzyskania dwóch identycznych wyników z rzędu. Wyniki badania wskazują, że weryfikacja oraz opisana procedura istotnie poprawiają jakość odpowiedzi. Niemniej jednak, mimo wzrostu liczby poprawnych odpowiedzi, ich ostateczny odsetek nadal pozostaje niezadowalający.
One of the main criticisms of ChatGPT is its tendency to hallucinate. This paper presents the results of a pilot study aimed at improving the reliability of answers generated by ChatGPT. The study focused on solving indefinite integrals. The number of correct answers obtained was analysed at three stages: in the initial attempt, after verification, and after applying a procedure in which the verification process was repeated until two identical results were obtained consecutively. The results indicate that verification and the described procedure significantly improve the quality of the responses. However, despite an increase in the number of correct answers, the final percentage of correct responses remains unsatisfactory.
Opracowanie rekordu ze środków MNiSW, umowa nr POPUL/SP/0154/2024/02 w ramach programu "Społeczna odpowiedzialność nauki II" - moduł: Popularyzacja nauki (2025).
