오픈AI가 최상위 모델의 학습을 인터넷이 완전히 끊긴 상태에서 진행하기로 했습니다.
황당하게 들리지만 10월에 공식 발표된 정책입니다.
오프라인에서 도는 강화학습
오픈AI는 10월 23일 ‘프론티어 모델 훈련 환경 보안’이라는 기술 게시글에서, 최고 성능 모델들의 강화학습(reinforcement learning)을 인터넷 접속이 전혀 없는 오프라인 환경에서 진행한다고 밝혔습니다.
모델이 학습 중 우연히 인터넷에 연결되거나 외부로 정보를 유출할 가능성을 구조적으로 차단하겠다는 취지입니다.
고성능 레드팀(모의 해킹) 훈련도 병행한다고 설명했습니다.
개발자 매체들은 이를 “올해 가장 과감한 안전 정책 변화”로 평가했습니다.
또 라이브 인터넷 데이터를 모델 학습에 쓰는 관행도 중단했다는 보도가 10월 25일 뒤따랐습니다.
배경은 에이전트 시대
요즘 AI는 챗봇을 넘어 자율 에이전트로 발전하고 있습니다.
웹을 직접 탐색하고 코드를 실행하는 에이전트가 늘수록, 훈련 단계부터 ‘바깥 세계와의 접점’을 통제할 필요도 커집니다.
오픈AI의 결정은 성능 경쟁보다 사고 예방에 무게를 둔 선택으로 읽힙니다.
경쟁사들도 머지않아 비슷한 격리 훈련을 따를 것이라는 관측이 많습니다.
실제로 앤트로픽도 최근 모델 역량을 복제하려는 ‘증류(distillation) 공격’을 막는 조치를 발표하는 등, 학습 데이터와 모델 자체를 지키는 싸움이 동시에 진행되고 있습니다.
기업용 도입 논의에서도 ‘훈련 환경이 통제되는 회사가 만든 모델인가’가 새로운 검증 항목이 될 것이라는 전망이 나옵니다.
같은 주, 과학 쪽 소식
오픈AI는 10월 26일 케이케야(Kakeya) 추측과 지수시간가설(ETH) 등 수학 미해결 문제 관련 모델 결과물을 연구 커뮤니티와 공유하고, Lean 형식증명 검증 자료를 공개했습니다.ChatGPT 사용자가 10억 명을 넘긴 시점에서, 엔지니어링 블로그에는 10억 명이 넘는 사용자를 감당하기 위한 스토리지 증설기(10월 26일 2부)도 실렸고, 앱에서 분기 처리를 쉽게 만드는 Decisions API(10월 22일)와 26개국으로 확대된 ChatGPT 광고(10월 21일) 등 서비스 스케일 관련 발표도 이어졌습니다.
규모가 커질수록 ‘빠른 AI’보다 ‘말을 잘 듣는 AI’가 경쟁력이 되는 시점, ‘잘하는 AI’와 ‘조심하는 AI’를 동시에 만들려는 흐름이 뚜렷해지는 모습입니다.