2023 Fevral 8
ChatGPT, ABŞ-da Həkimlərin Sertifikasiya İmtahanında Nə Nəticə Göstərdi? Tibb Təhsili və Məlumatların Qiymətləndirilməsində Böyük Dil Modellərinin Təsirləri
Tədqiqatın üzvlər
Biomedikal İnformasiyanın İşlənməsi və İnformasiya Bölümü, Yale Universiteti Tibb Fakultəsi, New Haven, CT, Amerika Birləşmiş Ştatları.
Təcili Yardım Bölümü, Yale Universiteti Tibb Fakultəsi, New Haven, CT, Amerika Birləşmiş Ştatları.
Bioloji Hesablama və Bioinformatika Proqramı, Yale Universiteti, New Haven, CT, Amerika Birləşmiş Ştatları.
Tibb Fakultəsi, Dublin Universitet Kolleji, İrlandiya Milli Universiteti, Dublin, Dublin, İrlandiya.
Bərabər şəkildə töhvə veriblər

• PMID: 36753318           PMCID: PMC9947764               DOI: 10.2196/45312

Abstrakt

Arxa plan: ChatGPT (Chat Generative Pre-trained Transformer), yazılı suallara danışıq tərzində cavablar verə bilən 175 milyard parametrli bir təbii dil işləmə modelidir.

Məqsəd: Bu çalışmada ChatGPT-nin ABŞ-da Həkimlərin Sertifikasiya İmtahanının 1-ci və 2-ci mərhələrində imtahan suallarını cavablandırma performansının qiymətləndirilməsi və cavabların analiz edilməsi hədəfə alınmışdır.

Metodlar: ChatGPT-nin performansını qiymətləndirmək üçün, hər birində, 1-ci və 2-ci mərhələyə aid olmaqla 2  test toplusudan istifadə etdik. İlk toplu, tibb tələbələri üçün geniş istifadə edilən bir test bankı olan və sual çətinliyi və praktiki qiymətləndirməyə görə bir imtahandakı performans haqqında statistikası olan AMBOSS-dan götürülmüşdür. İkinci toplu, ABŞ Milli Müayinə Qurumundan (NBME) Free (ödənişsiz) əldə edilmiş 120 sual idi. ChatGPT-nin performansı digər 2 böyük dil modeli olan GPT-3 və InstructGPT ilə müqaisə edildi. ChatGPT-nin hər bir mətn cavabının, 3 metrik üzərindən keyfiyyət qiymətləndirilməsi aparıldı: verilmiş cavabın məntiqi əsası, sualın daxilində mövcud olan informasiyanın cavabın tərkibində olması, sualda mövcud olmayan informasiyanın cavabın tərkibində olması.

Nəticələr: AMBOSS-Mərhələ1, AMBOSS-Mərhələ2, NBME-Free-Mərhələ1 və NBME-Free-Mərhələ2 olmaqla, toplanmış 4 data yığını (imtahan nəticələri), ardıcıl olaraq,  ChatGPT 44% (44/100), 42% (42/100), 64,4% ( 56/87) və 57,8% (59/102) nisbətlərində doğruluq əldə edilmişdir. ChatGPT, bütün data yığınlarında  InstructGPT-dən orta hesabla 8,15% daha yaxşı performans göstərdi və GPT-3-ün göstərdiyi performans isə şansa əsaslanaraq təxmini verilmiş cavablara oxşayırdı. AMBOSS-Mərhələ1 data yığınında sualların çətinliyi artdıqca (P=.01) modelin (ChatGPT) performansında əhəmiyyətli bir azalma meydana çıxdı. NBME data yığını nəticələrinin 100%-də  ChatGPT-nin verdiyi cavabların məntiqli olması təstiqləndi. Sualla bağlı daxili informasiya, bütün cavabların 96,8%-də (183/189) mövcud idi. Sualda olmayan informasiyanın cavabda mövcud olması isə 44.5% olmuşdur və ardıcıl olaraq NBME-Free-Step1-də (P<.001) və NBME-Free-Step2-də (P=.001) alınan data toplusundakı yalnış cavablar, düzgün cavablara nisbətən 27% daha aşağı  olmuşdur.

Son nəticə: ChatGPT-nin tibbi sualları cavablandırması  tapşırığında, təbii dil işləmə modellərində önəmli bir inkişafın olduğunu meydana çıxdı. NBME-Free-Step-1 data toplusunda 60%-dən yüksək bir səviyədə performans göstərib, modelin topladığı balın, 3-cü kurs tibb tələbəsinin  imtahandan keçməsi üçün gərəkli olan bala bərabər olduğunu bildirmək istəyirik. Əlavə olaraq, ChatGPT-nin, cavabların çoxunda məntiq və konteks daxilində informasiya verməsi kimi məqamları da vurğulamaq istəyirik. Bu həqiqətləri nəzərə alaraq, ChatGPT-nin, öyrənməni dəstəkləmək məqsədiylə interaktiv bir tibbi təhsil vasitəsi kimi istifadə edilməsi üçün əsasların olduğunu deyə bilərik.

Açar Sözlər: ChatGPT; GPT; MedQA; NLP; süni intelekt; suni; sohbet robotu; konuşma ajanı; tehsil texnologiyası; maşın öyrənməsi; Tibb təhsili; təbii dil işləmə

©Aidan Gilson, Conrad W Safranek, Thomas Huang, Vimig Socrates, Ling Chi, Richard Andrew Taylor, David Chartash. İlk olaraq JMIR Medical Education'da (https://mededu.jmir.org), 08.02.2023-də yayınlandı.

Original məqalə: Pubmed

Tərcümə: Azad Ağayev

Bu və ya saytdakı digər məqalələrin istifadəsi zamanı istinad etməyiniz və www.medicalgroup.az saytına linklə yönləndirmə etməniz mütləqdir. Bütün müəllif hüquqları qorunur.