경고와 가속이 한 조직 안에서 함께 성립한다

한 프런티어 개발사의 안전 연구자가 인류 파멸 가능성을 경고하며 회사를 떠난 일이 짧게 정리된다. 눈여겨볼 대목은 퇴사자의 경고가 아니라 재직 중인 내부 임원 두 명이 그 경고에 공개로 동조했다는 사실인데, 정렬을 총괄하는 쪽은 10년 안의 확률을 개인적으로 10% 넘게 본다고 밝힌다. 경고의 대상이 사람의 개입 없이 스스로 성능을 개선하는 시스템으로 특정되는 점도 중요한데, 이를 운영 원칙으로 옮기면 에이전트가 자기 판정 기준이나 설정 파일을 스스로 갱신하게 하지 않는다는 선이 된다. 그러면서도 개발을 멈추지 않는 이유가 상업적 유인과 악용할 쪽과 경쟁하고 있다는 믿음의 복합으로 설명되고, 직급이 높을수록 우려가 크다는 관찰도 함께 나온다. 다만 제시된 확률은 모두 산출 근거가 없는 개인 신념도여서 측정값이 아니라 믿음으로 읽어야 한다.

이 글은 제가 여러 자료를 읽고 제 말로 다시 정리한 노트예요. 출처 링크를 달지 않는 대신, 출처를 확인한 사건은 기록에 따로 있어요.