Un estudio realizado por la Universidad Purdue ha descubierto que ChatGPT no es muy preciso al responder preguntas de ingeniería de software; más de la mitad de las respuestas son incorrectas. Aunque las respuestas son completas y extensas, el lenguaje complejo y enrevesado dificulta la identificación de la información errónea por parte del usuario.
Los resultados del estudio indican que ChatGPT es menos fiable que los recursos tradicionales como Stack Overflow para obtener respuestas en ingeniería de software. Por lo tanto, se recomienda seguir utilizando recursos tradicionales como Stack Overflow cuando se necesite ayuda en ingeniería de software, en lugar de depender únicamente de ChatGPT.