소식

Jul 24, 2023

10가지 AI로 자신을 테스트해보세요

뉴스 퀴즈는 1935년으로 거슬러 올라가는 TIME의 전통입니다.

뉴스 퀴즈는 1935년부터 시작된 TIME의 전통입니다. 이 시험은 시사 지식을 조사하기 위해 전국의 학교에서 사용되었으며 심지어 크로스워드 버전으로도 나왔습니다.

이제 최근 TIME의 디지털 페이월이 제거되면서 모든 사람을 위한 저널리즘의 한 세기가 열렸습니다. 역사를 형성한 사람들에 대한 지식을 테스트할 수 있는 기회가 무르익었습니다. TIME의 아카이브에는 2억 단어가 포함되어 있기 때문에 인간이 생성한 엄청난 양의 텍스트를 몇 초 만에 분석할 수 있는 차세대 AI 기술에 매우 적합한 작업입니다.

그렇다면 최첨단 AI의 힘을 잡지 기사를 기반으로 뉴스 퀴즈를 생성하는 작업에 적용하면 어떻게 될까요?

아래에는 TIME 아카이브에서 엄선한 10개의 스토리를 기반으로 ChatGPT 기반 기술을 교육하여 제작한 10개의 퀴즈가 있으며, 이제 모든 사람이 무료로 사용할 수 있습니다. 원래 발행 날짜 옆에 있는 기사 헤드라인을 클릭하면 각 퀴즈의 기반이 되는 기사로 이동할 수 있습니다. 대화형 아래에서는 우리가 요청한 작업을 수행하도록 인공 지능을 가르치기 위해 어떻게 인공 지능과 협상했는지 논의합니다.

ChatGPT가 생성할 수 있는 정말 놀라운 출력(예: 공상 과학 소설의 줄거리 또는 모조 성서 텍스트)을 고려할 때 퀴즈를 생성하는 것은 (말하자면) 사소한 과제처럼 보일 수 있습니다. 그리고 얼핏 보면 그렇습니다. ChatGPT에 간단히 "이 기사를 기반으로 퀴즈를 만들어 보세요"라고 요청하고 Taylor Swift에 대한 TIME의 2014년 커버 스토리 링크를 제공했을 때 각 답변에 대해 4개의 선택지가 포함된 10개의 질문으로 구성된 퀴즈가 즉시 내보였습니다.

질문 중 일부가 맞았습니다. (Q: Taylor Swift의 팬은 무엇으로 유명합니까? A: Swifties.) 그러나 많은 사람들이 이야기가 출판된 이후에 발생한 앨범과 이벤트를 언급했는데 그중 하나가 틀렸습니다. ("어떤 사건으로 인해 그녀가 처음으로 정치 후보를 공개적으로 지지하게 되었나요?" ChatGPT는 그것이 2020년 선거라고 주장했지만 그녀가 2018년에 두 명의 테네시 민주당 의원을 지지했다는 사실을 우리가 상기하자 철회하고 사과했습니다.)

많은 경우 ChatGPT와 다양한 경쟁업체는 마법과 구별할 수 없는 것처럼 보일 수 있습니다. 따라서 봇이 즉시 완벽에 가까워질 수 없는 과제를 찾는 것이 유익합니다. 모든 실패는 내부에서 무슨 일이 일어나고 있는지에 대한 단서입니다.

이제 객관식 질문 퀴즈의 내용과 기계가 수행해야 하는 작업을 분석해 보겠습니다.

인간, 특히 몇 가지 뉴스 퀴즈를 보고 연습에 익숙한 사람의 경우 이는 아마도 필요한 것보다 더 많은 지침일 것입니다. 그러나 최근까지만 해도 기계로는 충분하지 않았습니다. 1년 전 이 연습에는 많은 코드를 작성하고, 다양한 알고리즘과 사전 훈련된 언어 모델 중에서 선택하고, "초매개변수" 또는 훈련 프로세스를 위해 인간이 정의한 시작 조건을 지속적으로 조정하는 작업이 포함되었습니다.

이 새로운 세계에서 과제는 중간 어딘가에 있습니다. 한 번의 잘못된 키 입력으로 인해 전체 작업이 중단될 수 있는 Python으로 지침을 작성하는 대신, 가능한 한 정확하고 문자 그대로 일반 영어로 지침을 기계에 전달합니다.

이는 "생각의 사슬" 프롬프트로 알려져 있으며, 챗봇과의 대화를 우회하고 대신 ChatGPT의 두뇌와 직접 인터페이스하여 OpenAI API에 직접 전달할 수 있습니다. 소개를 위해 여전히 Python과 같은 언어를 사용하지만 모든 어려운 작업을 수행하는 것은 봇입니다.

위 지침의 버전을 API에 보내고 "온도"(결과를 무작위로 지정하는지 여부)를 0으로 설정했습니다. 즉, 동일한 명령을 보낼 때마다 모델이 동일한 방식으로 응답한다는 의미입니다. 동일한 Taylor Swift 스토리를 제공하고 10개의 객관식 질문 세트를 다시 받았습니다. 다음은 하나입니다.

2014년 빌보드 올해의 여성으로 선정된 사람은 누구입니까?

답: 리한나

b: 테일러 스위프트

c: 레이디 가가

d: 비욘세

추측이 있나요? 힌트: 나머지 9개 질문 중 5개에 대한 답변도 "Taylor Swift"였습니다.