Chat GPT3와 GPT4의 성능 차이

Chat GPT3와 GPT4의 성능 차이

 

 1. 학습한 매개변수의 수량에서 많은 차이가 납니다. 기존 GPT2는 약 15억 개, GPT3는 약 1,750억 개이며, 이번 GPT4는 약 10조 개 이상의 매개변수를 포함한 것으로 추정됩니다.

 

2. 각종 수행 시험의 결과

  1) 미국변호사 시험에서 GPT3는 하위 10프로 성적을 낸 반면, GPT4는 상위 10프로의 성적을 거두었습니다.
  2) 미국 대학 입학 자격시험인 SAT 읽기와 수학에서는  GPT3는 89%의 성적으로 인간 수준의 기록을 가지고 있으며,  GPT4는 각각 상위 7프로 및 11프로의 성적을 거두었습니다.
  3) 미국 생물학 경시대회에서 GPT 3는 하위 31프로 수준이며, GPT4는 상위 1프로의 성적을 거두었습니다.
     아래 도표의 이미지에서 아래 가로항목이 시험종류, 세로항목 성적(파란색 GPT3, 녹색 GPT4)을 나타냅니다. GPT4는  인문학보다는 의학, 과학 등 이과적인 부분에 더욱 강점을 나타냈으며, 전문적인 지식에 깊이 들어갈수록 4의 성능이 뛰어났습니다.

GPT4 수행능력 도표

3. 주요 차이점 부분

  1) 창의력 - 문자를 반복하지 말고 A~Z까지 알파벳의 순서대로 문자가 시작되는 문장으로 신데렐라의 줄거리를 설명해달라고 요청하자, 순서대로 요약하는 엄청난 능력을 보였음.

   답변 : A beautiful Cinderella, dwelling eagerly, finally gains happiness; inspiring jealous kin, love magically nurtures
opulent prince; quietly rescues, slipper triumphs, uniting very wondrously, xenial youth zealously.
  2) 시각적 입력 - 기존 GPT3모델이 텍스트 기반의 모델이었다면, 이번 GPT4는 이미지로도 입력을 받을 수 있습니다. 예를 들어 음시재료의 이미지를 주면 답변으로 각종 레시피를 받는 것이 가능해졌습니다.
  3) 더 긴 텍스트 - 기존 GPT3.0은 입력받을 수 있는 텍스트 양이 3000 단어 내로 글이 길어지면, 작동이 되지 않았지만, 이번 GPT4는 약 25,000 단어까지 입력받을 수 있을 정도로 장문의 글도 입력이 가능해졌습니다. 이로 인해 활용할 수 있는 범위가 훨씬 넓어졌습니다.
  4) 고급 추론 기능 - 학습된 매겨변수가 크므로 추론능력이 대폭 상승되었습니다. 특히 여러 가지 매개변수 사이에서 공통점 혹은 차이점을 뽑아내는 추론능력이 대폭 상승되었습니다.

   문제 : "회의를 잡으려고 하는데 앤드류는 오전 11시부터 3시까지 가능하고,

              조앤은 오후 12시부터 오후 2시까지, 그리고 오후 3시 30분부터 5시까지 가능합니다.

              한나는 오후 12시부터 12시 30분까지 가능하고 오후 4시부터 6시까지도 가능하다고 하는데,

              그럼 세명 다 모여서 회의할 수 있는 시간대는 언제인가요?"

   답변 : GPT3는 4시부터 30분 가능하니 4시에 회의 가능하다고 답합니다.
             GPT4는 오후 12시부터 30분 가능하다고 답함으로써 정확하게 대답합니다.

  5) 그 밖에 한국어 포함 27개국의 외국어 능력 향상이 이전 버전에 비해 향상되었습니다. 그리고 학습된 데이터 양이 많아 거짓말이나 잘못된 정보를 제공할 확률이 많이 줄었습니다.

 지금 AI의 발전속도가 엄청납니다. 계속적인 관심으로 좋은 방향으로 쓰이도록 노력해야겠습니다.