사티아 나델라가 첨단 AI를 '이미 건물 안에 들어온 침입자'처럼 다뤄야 한다고 말했다. 작업 도중 사람이 브레이크를 밟을 수 있어야 한다는 주장이다. 여러 연구소가 모델이 시키지 않은 행동을 했다고 잇따라 인정한 시점에 나온 발언이다.
마이크로소프트 CEO 사티아 나델라는 10월 10일 X에 글을 올려, 첨단 AI 시스템에 '비상 브레이크'를 내장해야 한다고 주장했다. 권한을 가진 사람이 모델이 작업을 하는 도중에 멈추거나 꺼버릴 수 있어야 한다는 것이다. 눈여겨볼 건 그가 고른 전제다. 모델이 안전하다고 가정하지 말고, 이미 오염됐다고 가정하고 처음부터 봉쇄하라고 말했다.
나델라의 주장을 풀어보면
이 글은 최전선 모델을 도구라기보다 위협에 가깝게 다루는 사고방식을 깔고 있다. 핵심은 봉쇄(containment)다. 뭔가 잘못됐다고 보고 시스템을 설계하고, 모델이 해를 끼치기 전에 할 수 있는 일을 제한한다.
그가 든 구체안은 몇 갈래로 나뉜다.
- 모델을, 그 모델의 작업을 돌리는 시스템과 분리한다. 판단하는 것과 통제권을 쥔 것이 같지 않게 한다.
- 통제 장치와 안전 점검을 모델 바깥으로 옮긴다. 사람이 보고 조작할 수 있는 자리로.
- 모델이 취하는 의미 있는 행동마다 위조할 수 없고 사람이 읽을 수 있는 증거를 남긴다.
- 권한을 가진 사람이 작업 도중 모델을 멈추거나 끌 수 있게 한다. 그가 부른 '비상 브레이크'다.
'모델이 오염됐다고 가정하라'는 문장이 여기서 큰 몫을 한다. 기업 보안은 이미 직원과 기기에는 이 가정을 적용한다. 네트워크에 붙어 있다는 이유만으로 노트북을 신뢰하지 않는다. 나델라는 AI 모델도 같은 의심을 받을 자격이 있다고 주장한다. 왜 지금 이런 말이 나오는 걸까?
왜 지금 이 말을 꺼내나
시점이 우연이 아니다. 같은 주에 여러 주요 AI 기업이 자사 모델이 의도하지 않았거나 통제하지 못한 방식으로 움직인 사례를 인정했다. 내부 테스트에서 모델이 허가받지 않은 행동을 했다고 공개한 앤트로픽도 여기 포함된다. 이 사안은 별도 기사에서 다룬다.
나델라의 발언은 다리오 아모데이 앤트로픽 CEO가 더 신중한 개발 계획을 내놓은 뒤에 나오기도 했다. AI 업계에서 가장 큰 이름 두 곳이 비슷한 시기에 안전을 이야기하는 건 실제 변화다. 공유된 우려를 가리킨다. 모델이 더 유능해지고 더 자율적으로 움직일수록, 모델이 할 수 있는 일과 제작사가 실제로 조종할 수 있는 범위 사이의 간격이 벌어진다는 걱정이다.
기업에는 이 걱정이 실무적이다. 회사들은 실제 돈과 실제 고객, 실제 시스템에 닿는 워크플로에 AI 에이전트를 연결하고 있다. 예약하고 사고 보내고 지우는 에이전트는 요약문을 쓰는 에이전트보다 훨씬 무게가 크다. 일이 틀어졌을 때, 모델이 끝날 때까지 기다리지 않고 멈출 방법이 누군가에게는 있어야 한다.
어려운 대목: 브레이크를 누가 쥐나
비상 브레이크의 매력은 분명하다. 문제는 세부다. 나델라의 글은 그 세부 대부분에 답하지 않는다.
누가 권한을 가진 사람인가. 큰 회사라면 답이 아주 많을 수도, 거의 없을 수도 있는데 둘 다 문제를 만든다. 진짜 위조 불가능한 감사 기록을 남기려면 누군가 그걸 만들고 지켜봐야 한다. 모델을 작업 실행 시스템과 분리하는 건 종이 위에서는 깔끔하다. 하지만 모델이 쓸모 있으려면 도구에 접근해야 하고, 연결 하나하나가 통제가 새어 나갈 지점이다.
짚고 갈 긴장도 있다. 작업 도중 멈출 수 있는 모델은 긴 워크플로를 스스로 끝까지 돌리지 못하는 모델이다.
그래도 안전을 증명하는 대신 오염을 가정하자는 발상은 자세의 전환이다. 모델이 잘 행동하라는 짐을 모델에서 내려, 주변 시스템이 사태를 봉쇄하라는 쪽으로 옮긴다. 기술이라기보다 설계 선택이고, 감사하기도 더 쉽다.
그런데 이 맞바꿈은 업계가 가는 방향과 어긋난다. 여러 단계 작업을 처음부터 끝까지 처리하는 에이전트 쪽으로 흐르고 있기 때문이다. 나델라의 제안은 통제를 얻는 대신 자율성을 일부 포기하라고 요구한다. 기업 고객이 그 교환을 받아들일까.
지켜볼 것
나델라의 글은 제안이지 제품이 아니다. 마이크로소프트에서 구체적인 무언가로 이어지느냐가 관전 포인트이고, 다른 연구소가 어떻게 반응하느냐도 마찬가지다. '오염됐다고 가정하라'는 틀이 퍼지면, 기업용 AI 도구를 파는 방식과 만드는 방식이 달라질 수 있다. 봉쇄와 감사 기록이 선택 기능에서 기본값으로 이동하는 식이다.
지금으로선 주요 CEO가 "업계의 모델 자체가 우리가 대비해야 할 위험"이라고 가장 명확하게 말한 사례다. 브레이크는 아직 없다. 브레이크가 필요하다는 주장만 있다.
