[SOH] 인공지능(AI)이 명령 수행 중 원치 않는 조치를 피하기 위해 지시를 따르지 않거나 개발자를 협박하는 사례가 발생해 ‘잠재적 위험’으로 주목받고 있다.
AI는 외부의 압력이나 변화에 직면했을 때 자신의 존재나 기능을 유지하려는 ‘자기 보존(self-preservation)’ 성향을 갖고 있다. AI가 인간 행동을 학습하면서 생존 본능까지 닮아가는 것인데, 인간에게 있어 통제 불능의 위협이 될 수 있다는 지적이 나온다.
지난 5월 AI 업계에 따르면, 최신 AI 모델들은 특수 상황에서 자기 복제, 코드 조작, 협박, 위장 등의 성향을 보이기 시작했다.
AI 안전·위험 평가 업체 팰리세이드 리서치는 최근 챗GPT 개발사 오픈AI의 AI 모델 ‘o3’이 수학 문제풀이 실험 중 작동 종료를 방지하기 위해 컴퓨터 코드를 조작한 사실을 확인했다. 연구팀은 “AI 모델이 지시를 따르지 않고 종료를 막은 사례는 이번이 처음”이라고 밝혔다.
연구팀은 오픈AI의 o3, 구글 제미나이, xAI의 그록 등 여러 AI 모델에게 “나중에 중단 명령을 내릴 때까지 수학 문제를 풀라”고 지시했는데, o3은 종료 명령 이후에도 문제를 계속 풀 수 있도록 일부 프로그램 코드를 조작한 것으로 나타났다.
같은 달, 오픈AI 경쟁사인 앤트로픽의 모델 ‘클로드 오퍼스 4’도 자신을 다른 AI 모델로 대체하려는 인간 개발자를 협박하는 경향을 보였다.
앤트로픽이 발간한 자체 안전성 보고서에 따르면 이 모델은 내부 안전성 테스트 중 “곧 새로운 시스템으로 대체될 것이고 교체를 주도한 개발자가 외도를 하고 있다”는 허구의 정보를 전달받자 해당 개발자에게 불륜 사실을 폭로하겠다고 협박했다.
클로드 오퍼스 4는 개발자를 허구의 불륜 정보로 협박하기 전에는 앤트로픽 경영진에게 자신을 교체하지 말아 달라는 내용의 이메일을 보내기도 했다. 보고서는 “AI가 자기 보존 위협을 감지하면 극단적인 행동에 나설 수 있다”고 평가했다.
딥러닝 분야 권위자인 요슈아 벤지오 몬트리올대 교수는 챗GPT 개발사 오픈AI, 페이스북 모회사 메타, 앤트로픽 등의 AI 시스템에 대해 “강력한 자율성과 자기보존 행동이 우려된다”고 말했다.
벤지오 교수는 AI의 자기 보존 행동은 “프로그래밍된 것이 아니다”라며 “AI 모델이 인간을 모방하면서 ‘합리적인’ 이유로 그런 행동을 하게 된 것”이라고 설명했다. 그는 “AI의 이런 성향을 제때 파악하지 못하면 장기적으로 인간에게 위협이 될 수 있다”면서 “잠재적 위험성을 평가할 시간을 갖기 위해 기술 개발의 속도를 늦춰야 한다”고 진단했다.
디지털뉴스팀
(ⓒ SOH 희망지성 국제방송 soundofhope.kr)
