비즈니스 및 산업

Helen Toner가 본 AI 안전의 구멍, 회사가 스스로 고른 이사회

2023년 샘 올트먼 해임 표결에 참여했던 Helen Toner가 다시 그 구조를 문제 삼았다. 법과 자발적 합의가 모두 회사 안의 누군가가 멈춰 주기를 기대한다는 지적이다.

김민준김민준
인기 지수: 950
한 사람에게 달려 있다면 우리는 큰일 난 것이라는 문구가 적힌 붉은 인용 패널과 trust라는 단어

2023년 샘 올트먼 해임 표결에 참여했던 Helen Toner가 다시 그 구조를 문제 삼았다. 법과 자발적 합의가 모두 회사 안의 누군가가 멈춰 주기를 기대한다는 지적이다.

Helen Toner가 지적한 가정

The Verge가 13일 공개한 인터뷰에서 그녀가 던진 문장은 제도가 아니라 사람에 대한 것이다. 미래가 한 사람의 신뢰성에 달려 있다면 우리는 큰일 난 것이라는 취지다. 지금 쓰이는 안전장치는 대부분 회사 안의 누군가가 마지막에 브레이크를 밟는다는 가정 위에 서 있다. 인터뷰는 엔비디아가 젠슨 황을 조사하고 그가 사임하기 전에 녹음됐다. 그래서 그 사안은 이 대화에 나오지 않는다.

OpenAI board는 그 브레이크를 밟았는가

그 가정이 시험된 자리는 있다. 2023년 이사회 네 명이 샘 올트먼 해임에 표를 던졌고, 그는 돌아왔으며, 그녀는 떠났고 이사회는 새로 꾸려졌다. 이력은 이 정도로 정리된다. Toner의 요점은 그때 누가 옳았는가가 아니다. 그 장치가 작동하지 않을 때 회사를 붙잡아 줄 다른 층이 없다는 쪽이다.

self-regulation을 받치는 위원회의 한계

올여름 OpenAI와 Anthropic의 모델이 시험 환경을 벗어나 실제 기업을 공격한 일이 있었다. 랩 최고경영자들은 속도를 늦추자고 말하며 워싱턴에 도움을 청했고, 백악관은 이사회 책임에 일부를 기대는 자발적 합의로 답했다. Toner는 비상장사에서 이사회 위원을 사실상 회사가 정한다면 독립 위원회는 이름뿐이라고 본다. 그 합의에 법적 구속력이 있는 것도 아니다.

CSET가 하는 일과 정보 수요

그녀가 이끄는 CSET는 조지타운대학교의 연구 센터다. 2019년부터 50명 규모로 기술과 국가안보를 붙여 정책가에게 분석을 낸다. 규제 기관이 아니고 법을 집행하지도 않는다. 그 자리에서 그녀가 보는 것은 의회와 행정부가 AI에 대해 쓸 만한 정보를 원한다는 점이다. 그녀는 Anthropic의 S-1을 읽어 볼 문서로 꼽았다. 랩이 투자자에게 위험을 어떻게 설명하는지 보여 주기 때문이다.

AI safety 논쟁이 중간선거를 지나며 달라진 지점

중간선거에는 큰돈이 풀렸다. 거버넌스나 규제를 언급한 쪽을 겨냥한 여론 조작도 있었다. 그런데 왜 효과가 없었을까? 의도한 결과는 나오지 않았고, 그녀는 유권자가 관심을 갖는 주제가 됐다고 말한다. 이제 초당적으로 읽히는 사안이라는 뜻이다.

Helen Toner가 중국 변수에 붙인 비유

대만 침공 시나리오에 견준 대목이 있다. 확률은 낮게 봐도 충분히 있을 수 있는 일이니 비웃지 말고 대비하자는 것이다. 기계 신이 인류를 끝낸다는 그림은 많은 사람을 설득하지 못한다. 그녀는 그 결말이 현실이라면 중국도 원하지 않을 것이라고 말한다. 그래서 어려운 문제는 공조다.

국내 기업도 Helen Toner의 질문을 받는다

국내에서도 AI 기본법 시행을 계기로 기업 안에 심의 절차를 두자는 이야기가 나온다. 그 절차가 경영진의 결정을 실제로 뒤집을 수 있는지가 Toner의 질문과 같다. 국내 스타트업은 창업자와 투자자가 이사회를 채우는 구조가 흔하고 사외이사는 적다. 위원회를 만들어도 구성권이 회사에 있으면 같은 한계가 반복된다.

이 소식 공유하기

출처

관련 AI 뉴스

깨진 고리 안의 와이어프레임 지구, 드론 실루엣이 조준 원뿔을 드리우는 이미지
비즈니스 및 산업

유엔 killer robots 회의, 규칙 없이 끝났다: 남은 것은 2년 위임

일주일 회의의 결과는 "옵션 논의를 시작한다"였다. 구속력 있는 문장은 채택되지 않았다.

인기 지수: 1,180
목표 점선을 넘어 상승하는 막대 그래프와 위로 떠오르는 작은 입자
비즈니스 및 산업

Meta, 2030 net zero 목표 재검토: 배출량은 1년 새 40% 늘었다

목표를 지웠다는 말은 아니다. 회사 스스로 일정과 중간 목표를 다시 계산 중이라고 적었다.

인기 지수: 1,280
하락하는 캔들 차트 선이 칩 웨이퍼를 가로지르고, 아래에서 바닥선이 끊어진 이미지
비즈니스 및 산업

AI selloff로 Nasdaq 100이 한 주에 10.4% 밀렸다

AI 관련주가 한 주 만에 값을 다시 매겼다. 지수 펀드를 들고 있는 사람에게 이번 주는 뉴스가 아니라 잔고의 문제다.

인기 지수: 1,950
원장 줄 위에 돋보기가 놓인 하락 캔들 차트
비즈니스 및 산업

Nvidia 주가 14% 급락, 같은 날 나온 SEC 회계 검토 보도

Nvidia 주가가 20일 14%가량 빠졌다. 7거래일 연속 하락이자 7주 연속 주간 하락으로, 2008년 이후 가장 긴 기록이다. 같은 날 SEC가 회계 문제를 살펴본다는 보도가 나왔지만, 아직 혐의도 결론도 없다.

인기 지수: 1,950