블로그

May 16, 2023

ChatGPT, 또 다른 의료 시험 통과, MD에 한 걸음 더 다가가다

ChatGPT는

ChatGPT는 훌륭한 의료 시험 응시자가 되어가고 있습니다.

최신 버전이자 가장 발전된 버전인 ChatGPT-4는 이미 미국 의료 면허 시험을 성공적으로 통과할 수 있습니다. 그리고 이제 전문의가 되는 길에 한걸음 더 다가섰습니다. 글쎄요.

화요일에 과학자들은 OpenAI의 최신 챗봇 소프트웨어가 캐나다 또는 미국 스타일의 방사선학 위원회 시험을 쉽게 통과할 수 있다고 발표했습니다. 이는 70% 합격 기준점보다 10점 이상 높은 점수를 받았습니다.

그러나 문제가 있습니다. ChatGPT는 (지금까지) 언어를 처리하도록 설계되었기 때문에 AI의 방사선학 시험에는 이미지가 포함되지 않았습니다. 엑스레이, MRI 및 기타 신체 사진을 기반으로 한 진단과 관련된 의학 분야에 대한 일종의 주요 감독처럼 느껴집니다.

ChatGPT는 SAT, 변호사 시험, 까다로운 마스터 소믈리에 테스트 등을 포함한 시험을 통과하여 강력한 시험 응시자임을 입증했습니다.

방사선학 시험에서 ChatGPT-4는 81%의 합격 점수를 받았습니다. 봇은 분석, 종합, 평가 등 단순한 기억 회상 이상의 기술이 필요한 고차원적 사고 질문에서 특히 높은 점수를 받았습니다. ChatGPT-4는 이미징 결과를 설명하고(85%) 개념을 적용하는 데(90%) 우수한 성능을 보였습니다. 그러나 테스트의 좀 더 간단한 질문 중 일부에서는 그다지 좋은 성적을 거두지 못했고 실제로 이전 버전인 GPT 3.5가 맞힌 질문 중 12개를 틀렸습니다.

토론토 종합병원의 복부 방사선 전문의인 연구 저자인 Rajesh Bhayana 박사는 보도 자료에서 "처음에는 몇 가지 어려운 방사선학 질문에 대한 ChatGPT의 정확하고 자신감 있는 답변에 놀랐습니다."라고 말했습니다. "그러나 매우 비논리적이고 부정확한 주장에도 똑같이 놀랐습니다."

기본적으로 ChatGPT는 다음으로 내뱉을 가장 좋은 단어를 예측하도록 설계되었습니다. 즉, 채팅을 위해 만들어졌습니다. 그러한 수다스러움은 시험에 대한 거만함을 쉽게 활용하여 매우 자신감 있는(그러나 때로는 틀린) 시험 응시자를 만들어낼 수 있습니다.

자연어 처리 전문가이자 브라운 컴퓨터 과학 교수인 Ellie Pavlick은 이 문제가 챗봇에만 국한된 것이 아니라고 말합니다. 그녀는 항상 학생들이 필기 시험 답안을 바탕으로 자신이 가르친 개념을 실제로 이해하고 있는지 확인하기 위해 고심하고 있습니다.

Pavlick은 최근 Brown University에서 열린 ChatGPT 라운드 테이블에서 "잘 구성된 언어를 제공하면 아는 것처럼 보이지만 알고 있을 수도 있고 그렇지 않을 수도 있습니다"라고 말했습니다. "이것은 실제로 ChatGPT가 실제보다 훨씬 더 많은 지식과 인식을 부여하려는 이유를 보여주는 좋은 표시입니다. 잘 구성된 언어에는 실제로 [불량한] 이해를 가릴 수 있는 무언가가 있기 때문입니다."

의사들은 ChatGPT가 환자를 진단하거나 치료하는 데 사용되어서는 안 되며, 항상 사람이 의학적 정확성을 확인해야 한다고 말합니다. 그러나 의료 전문가들은 ChatGPT가 의사와 환자의 의사소통을 개선하는 데 어떻게 좋은 도구가 될 수 있는지도 발견하고 있습니다. ChatGPT가 농담에 탁월하기 때문에 서두르는 의사보다 더 동정심이 많은 것으로 간주되는 경우가 많습니다.

다음 읽기