정리 노트추론 모델·AGI 논쟁
모델에게 물어 얻은 숫자를 근거로 쓴 보도
같은 주에 나온 안전 경고와 성능 돌파를 한자리에 묶은 짧은 보도의 정리다. 구성이 특이한데, 두 상용 모델에 각자 소속 회사가 책임 있게 개발하고 있다고 확신하느냐고 직접 물어 그 답을 근거로 쓰고, 나아가 10년 내 인류 멸종 확률까지 물어 5~10%와 1~5%라는 숫자를 받아 전문가 추정치와 같은 층위로 나열한다. 이 숫자는 측정값도 조사 결과도 아니라 모델이 생성한 문장이어서, 모델에게 물어 얻은 답을 근거로 삼는 시도가 어디서 어긋나는지를 보여 주는 사례로 읽는 편이 맞다. 대비되는 사건으로는 미공개 차세대 모델이 90년 넘게 풀리지 않던 수학 난제의 해법을 8시간에 찾았다는 발표가 붙고, 스스로 후속 모델을 개발하는 수준에 이르렀다는 우려로 연결된다. 한 오용 보고서에서 치료 목적과 무기 개발 목적의 구분이 특히 어렵다고 지적된 대목은, 질의 의도를 모델이 구분하지 못한다는 구조적 한계로 읽을 수 있다.
기억할 것
- 모델에게 자사 안전성과 멸종 확률을 물어 그 답을 보도 근거로 삼음
- 제시된 확률은 측정값이 아니라 모델이 생성한 문장
- 미공개 차세대 모델이 수학 난제 해법을 8시간에 찾았다는 발표
- 치료와 무기 목적의 구분 난이도는 질의 의도 식별의 구조적 한계
이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.