Evaluación de la calidad de la información de la IA de ChatGPT sobre cirugía oral, odontología preventiva y cáncer oral: un estudio exploratorio
Nov 12 de 2024 0
Resumen
Objetivo
Evaluación de la calidad de la información dental producida por el modelo de lenguaje de inteligencia artificial ChatGPT en el contexto de la cirugía oral, la odontología preventiva y el cáncer oral.
Metodología
Este estudio adoptó un enfoque de métodos cuantitativos. Los expertos prepararon 50 preguntas (que incluían dimensiones de, factores de riesgo, medidas preventivas, métodos de diagnóstico y opciones de tratamiento) que se presentarían a ChatGPT, y sus respuestas se calificaron por su precisión, integridad, relevancia, claridad o comprensibilidad y posibles riesgos utilizando una rúbrica estandarizada. Para llevar a cabo la evaluación de las respuestas de ChatGPT, se utilizó una rúbrica de puntuación estandarizada. El proceso de evaluación incluyó comentarios sobre las fortalezas, debilidades y áreas potenciales de mejora en las respuestas proporcionadas por ChatGPT. Resultados
Si bien la herramienta obtuvo la puntuación más alta en odontología preventiva (4,3/5) y fue capaz de comunicar información compleja de manera coherente, mostró una precisión menor en cirugía oral y cáncer oral (3,9/5 y 3,6/5, respectivamente), con varias lagunas en las instrucciones posoperatorias, evaluaciones de riesgo personalizadas y métodos de diagnóstico especializados. Se observaron riesgos potenciales, como la falta de asesoramiento individualizado, en el 53 % del cáncer oral y en el 40 % de la cirugía oral. Si bien ChatGPT mostró resultados prometedores en algunos dominios, tuvo limitaciones importantes en áreas especializadas que requieren experiencia matizada.
Conclusión
Los hallazgos apuntan a la necesidad de una supervisión profesional al utilizar la información generada por IA y una evaluación continua a medida que evolucionan las capacidades, para garantizar una implementación responsable en el mejor interés de la atención al paciente.
Arwa A. Alsayed, Mariam B. Aldajani, Marwan H. Aljohani, Hamdan Alamri, Maram A. Alwadi, Bodor Z. Alshammari, Falah R. Alshammari,
Assessing the quality of AI information from ChatGPT regarding oral surgery, preventive dentistry, and oral cancer: An exploration study,
The Saudi Dental Journal, 2024, ISSN 1013-9052,
https://doi.org/10.1016/j.sdentj.2024.09.009.