OpenAI는 알트먼이 투자한 보안 팀을 조용히 모집했지만 슈퍼 정렬과는 관련이 없다

저자: 조젠, 갑자광년

OpenAI의 수석 과학자 일리야 수츠케버(Ilya Sutskever)가 퇴사 발표한 지 8일 후, OpenAI는 조용히 전체 보안 관련 팀을 모집했다.

이 팀의 이름은 「Indent」로, 미국 캘리포니아주에 위치한 데이터 보안 스타트업이다. 5월 23일, Indent의 공동 창립자이자 CEO인 후아드 마틴(Fouad Matin)은 X에서 OpenAI에 합류하여 보안 관련 업무를 담당할 것이라고 발표했다.

양측은 세부 사항을 발표하지 않았지만, Indent는 대부분 OpenAI에 통합될 가능성이 높다. Indent는 자사 웹사이트에서 "신중한 고려 끝에 매우 어려운 결정을 내렸으며, Indent는 향후 몇 개월 내에 폐쇄될 것"이라고 발표하며, "7월 15일 이후 서비스는 중단된다"고 밝혔다.

특히 언급할 점은 OpenAI CEO 샘 알트먼(Sam Altman)이 2021년에 Indent의 560만 달러 시드 라운드 투자에 참여했으며, 양측은 오래된 인연이 있다는 것이다.

최근 OpenAI는 여러 논란에 휘말렸으며, 특히 일리야 수츠케버의 퇴사로 촉발된 연쇄 반응이 주목받고 있다. OpenAI의 보안을 담당하는 슈퍼 팀의 공동 책임자인 잔 레이크(Jan Leike)도 퇴사 발표를 했다. 두 사람이 공동으로 이끌던 슈퍼 정렬 팀은 지난해 7월에 막 설립되었으나, 지금은 이미 분열된 상태다.

그러나 자세히 살펴보면, Indent 팀의 합류는 보안 팀에 신선한 혈액을 보충하는 것이지만, 슈퍼 정렬 팀과는 아무런 관계가 없다.

Indent 팀의 합류는 한 가지를 더욱 분명히 했다: 샘 알트먼은 OpenAI를 완전히 상업화된 회사로 변모시키고 있다.

1. Indent는 누구인가?

먼저 Indent라는 회사를 소개하겠다.

Indent는 2018년에 설립되어 데이터 보안 관련 업무를 수행하며, 제공하는 서비스는 매우 간단하다—접근 권한 승인 프로세스를 자동화하는 것이다.

예를 들어, 엔지니어가 생산 서버 로그를 확인해야 하거나 고객 지원이 민감한 시스템의 관리자 권한이 필요할 때, 그들은 IT 부서의 도움 없이 Indent의 애플리케이션을 사용하여 접근 권한을 요청할 수 있다. 검토자는 Slack을 통해 메시지를 받고 거기서 직접 승인할 수 있으며, 시간이 만료되면 접근 권한이 자동으로 철회된다.

Indent는 회사의 모든 직원에게 필요에 따라 접근 제어를 제공하여, 필요할 때 자신이 필요한 내용을 접근할 수 있도록 한다.

이 간단해 보이는 서비스는 중요한 수요를 해결한다—팀 규모가 커짐에 따라 점점 더 많은 직원들이 점점 더 많은 서비스에 접근해야 하며, 이러한 서비스의 승인은 며칠, 몇 주, 심지어 몇 개월이 걸릴 수 있다. 물론 승인 프로세스를 간소화할 수 있지만, 가장 간단한 방법이 항상 가장 올바른 방법은 아니다. 이는 보안 문제를 초래할 수 있기 때문이다. 핵심 비즈니스와 관련된 경우, 몇 시간 내에 고객에게 응답하는 것과 며칠 내에 응답하는 것은 완전히 다른 결과를 가져올 수 있다.

많은 회사는 서로 다른 팀의 핵심 서비스, 협업 또는 고객 데이터를 처리하기 위해 최소 수십 개의 애플리케이션을 사용하며, 각 애플리케이션에는 수십 개의 잠재적인 역할이나 하위 권한이 있어 쉽게 통제 불능 상태가 된다.

따라서 Indent는 팀에 민주적인 접근 관리 및 책임 제도를 구현하는 가장 간단하고 안전한 방법을 제공한다.

2023년, 대형 모델의 부상 이후 Indent는 데이터 보안 사업을 대형 모델 분야로 확장했다.

2024년 3월, Indent의 공동 창립자이자 CEO인 후아드 마틴은 "백만 달러 가치의 인공지능 엔지니어링 문제"라는 제목의 기사를 발표했다.

그는 모델 가중치, 편향 및 이를 훈련하는 데 사용되는 데이터가 인공지능의 왕관에 있는 보석이며, 회사의 가장 소중한 자산이라고 언급했다. 맞춤형 모델을 개발하거나 기존 모델을 미세 조정하는 회사는 엔지니어링 시간, 계산 능력 및 훈련 데이터 수집에 수백만 달러를 투자할 것이다.

하지만 대형 언어 모델은 유출의 위험이 있다. 그는 Llama를 예로 들며, 메타는 처음에 Llama를 완전히 오픈 소스할 생각이 없었지만 일부 제한을 두었다. 그러나 누군가가 이를 4chan 웹사이트에 유출했다. 메타는 어쩔 수 없이 Llama를 완전히 오픈 소스해야 했다.

따라서 Indent는 모델 가중치, 훈련 데이터 및 미세 조정 데이터의 보안 솔루션을 제안했다.

2. 알트먼과의 깊은 인연

Indent와 OpenAI 간의 인연은 오래되었다.

Indent에는 두 명의 공동 창립자가 있으며, 후아드 마틴(Fouad Matin)은 CEO를, 단 길레스피(Dan Gillespie)는 CTO를 맡고 있다.

후아드 마틴은 엔지니어이자 프라이버시 옹호자이며 스트리트 패션 애호가로, 이전에는 Segment에서 데이터 인프라 제품을 다루었다. 2016년 그는 비당파적인 유권자 등록 및 투표율 비영리 조직인 VotePlz를 공동 설립했다. 그는 사람들이 만족스러운 일을 찾도록 돕는 데 열정을 가지고 있으며, 이전에는 YC W16 프로그램을 통해 추천 채용 회사를 설립했다.

단 길레스피는 첫 번째 비구글 직원으로 Kubernetes 릴리스를 관리했으며, 프로젝트 초기부터 정기 기여자였다. 그는 K8s에 진입하기 전, 협업 배포 도구의 공동 창립자이자 CTO(YC W16)로서 Minikube를 구축했다. 그의 회사는 CoreOS에 인수되었고, 이후 CoreOS는 RedHat의 일부가 되었으며, 다시 IBM의 일부가 되었다.

이력서를 통해 두 사람은 젊은 시절 YC와 밀접한 관계를 맺고 있었음을 알 수 있다. 샘 알트먼은 2011년에 스타트업 인큐베이터 YC에 투자했으며, 2014년부터 YC의 사장을 맡아 2019년까지 OpenAI의 CEO를 역임했다.

2021년 12월 21일, Indent는 560만 달러의 시드 라운드 자금을 확보했다고 발표했으며, 주요 투자자로는 샤르둘 샤(Shardul Shah, Index Ventures 파트너), 케빈 마하페이(Kevin Mahaffey, Lookout CTO) 및 스위프트 벤처스(Swift Ventures)가 포함되었고, 후원 투자자에는 샘 알트먼과 그의 동생 잭 알트먼(Jack Altman)이 포함되었다.

양측의 밀접한 관계와 Indent의 대형 모델 보안 분야 진출은 Indent가 OpenAI에 통합되는 데 기초를 마련했다.

3. Indent는 슈퍼 정렬에 합류하지 않는다

Indent 팀 전체를 모집하는 것은 OpenAI가 슈퍼 정렬 팀을 보충하는 것인가? 답은 부정적이다. 두 팀은 완전히 다른 팀이다.

OpenAI의 보안 팀은 실제로 세 개로 나뉜다: 안전 시스템 팀(Safety Systems), 준비 팀(Preparedness), 슈퍼 정렬 팀(Superalignment).

세 팀의 분업은 다음과 같다: 안전 시스템 팀은 현재 모델의 배포 위험에 주목하며, 기존 모델과 ChatGPT와 같은 제품의 남용을 줄이는 데 집중한다; 준비 팀은 최전선 모델의 안전 평가에 집중한다; 슈퍼 정렬 팀은 슈퍼 지능을 조정하는 데 집중하며, 더 먼 미래에 존재할 슈퍼 지능 모델의 안전성을 위한 기초를 마련한다.

안전 시스템 팀은 상대적으로 성숙한 팀으로, 네 개의 하위 시스템으로 나뉜다: 안전 공학, 모델 안전 연구, 안전 추론 연구, 인간-컴퓨터 상호작용. 이 팀은 공학, 연구, 정책, 인공지능 협력 및 제품 관리 등 다양한 분야의 전문가들로 구성되어 있다. OpenAI는 이러한 인재 조합이 매우 효과적임을 입증했으며, OpenAI가 사전 훈련 개선 및 모델 미세 조정에서부터 추론 시 모니터링 및 완화에 이르기까지 광범위한 솔루션 범위에 접근할 수 있도록 했다.

준비 팀은 최전선 인공지능 위험에 대한 연구가 필요로 하는 수준에 도달하지 못했다. 이러한 격차를 메우고 안전 사고를 체계화하기 위해, OpenAI는 2023년 12월에 "준비 프레임워크"라는 초기 버전을 발표했으며, 이는 OpenAI가 점점 강력해지는 모델이 초래하는 재앙적 위험을 추적, 평가, 예측 및 방지하는 과정을 설명하고 있다.

OpenAI는 기술 작업을 감독할 전담 팀을 구성하고 안전 결정의 운영 구조를 구축할 것이라고 밝혔다. 준비 팀은 최전선 모델 능력의 한계를 검사하고 평가하며 종합 보고서를 작성하는 기술 작업을 추진할 것이다. OpenAI는 모든 보고서를 검토하고 동시에 경영진과 이사회에 전달하기 위해 교차 기능의 안전 자문 그룹을 만들고 있다. 경영진이 의사 결정자이지만, 이사회는 결정을 뒤집을 권한이 있다.

슈퍼 정렬 팀은 2023년 7월 5일에 막 설립된 새로운 팀으로, 2027년까지 인간보다 훨씬 더 똑똑한 인공지능 시스템을 안내하고 제어하기 위해 과학과 기술을 활용하는 것을 목표로 하고 있다. OpenAI는 이 작업에 회사의 20%의 계산 자원을 투입할 것이라고 주장했다.

슈퍼 정렬에 대한 명확하고 실행 가능한 솔루션은 아직 없다. OpenAI의 연구 방법은 이미 정렬된 작은 모델을 사용하여 큰 모델을 감독하고, 작은 모델의 규모를 점진적으로 확장하여 슈퍼 지능을 점진적으로 정렬하고 전체 프로세스를 스트레스 테스트하는 것이다.

OpenAI 슈퍼 정렬 팀은 일리야 수츠케버와 잔 레이크가 공동으로 이끌었지만, 두 사람은 현재 퇴사했다. 언론 보도에 따르면, 두 사람이 퇴사한 후 슈퍼 정렬 팀은 이미 분열된 상태다.

Indent 팀은 슈퍼 팀에 합류하지 않는다. Indent 팀이 X에서 발표한 정보에 따르면, 그들은 OpenAI의 준비 팀에 합류하여 최전선 모델의 준비 및 고객 데이터 관리를 담당하고 있다.

이는 OpenAI가 최전선 모델에 대한 투자를 강화하고 있음을 의미한다.

최근 프랑스 파리에서 열린 VivaTech 정상 회의에서 OpenAI 개발자 경험 책임자 로맹 위에(Romain Huet)가 발표한 PPT에서, OpenAI의 다음 신모델 "GPT Next"가 2024년 늦여름에 출시될 것이라는 사실이 공개되었다.

이미지는 OpenAI가 VivaTech에서 공유한 PPT로, X에서 가져온 것이다.

OpenAI의 다음 작업의 초점은 아마도 이 새로운 모델의 능력과 안전성에 있을 것이다.

4. OpenAI의 "원죄"

슈퍼 팀의 해체와 Indent 팀의 합류를 연결하면, 단 하나의 결론만 도출할 수 있다: OpenAI는 모델의 실현과 상업화를 가속화하고 있다.

이는 슈퍼 정렬 팀 책임자 잔 레이크의 퇴사 성명에서도 공개적으로 드러났다.

잔 레이크는 다음 세대 모델을 준비하는 데 더 많은 자원을 할애해야 한다고 생각하며, 여기에는 안전, 모니터링, 준비, 대항 강건성, 초 일관성, 기밀성, 사회적 영향 및 관련 주제가 포함된다. 하지만 지난 몇 개월 동안 그의 팀은 "계산 자원에 대해 고군분투"했으며, 처음 약속한 20%의 계산 자원조차도 충족되지 않았다.

그는 OpenAI의 안전 문화와 프로세스가 더 이상 중요하게 여겨지지 않으며, 화려한 제품이 선호되고 있다고 생각한다.

이에 대해 OpenAI의 총재 그렉 브록만(Greg Brockman)은 장문의 응답에서 다음과 같은 말을 했다:

우리는 이러한 (점점 더 강력한) 시스템이 사람들에게 매우 유익하고 도움이 될 것이며, 안전하게 제공할 수 있는 가능성이 있다고 생각하지만, 이는 많은 기초 작업이 필요하다. 여기에는 훈련 시 무엇에 연결되는지에 대한 세심한 고려, 확장 가능한 감독 문제 해결을 위한 솔루션, 그리고 기타 새로운 안전 작업이 포함된다. 우리가 이 방향으로 구축할 때, 제품을 출시하기 위한 우리의 안전 기준에 도달할 수 있는 시점을 확신할 수 없으며, 만약 이것이 출시 일정의 지연을 초래한다면, 그것은 괜찮다.

앞서 언급했듯이, OpenAI는 슈퍼 정렬 팀을 설립할 때 인간보다 훨씬 더 똑똑한 슈퍼 지능 시스템을 안내하고 제어하는 일정을 2027년으로 설정했다. 그렉 브록만의 응답은 이 일정을 변경한 것과 같다—"출시가 지연되더라도 괜찮다."

강조할 점은 OpenAI가 안전을 중요시하지 않는 것이 아니라, 분명히 안전에 대한 중요성이 하나의 조건이 필요하다는 것이다—모든 안전은 실현 가능한 모델과 상업화 가능한 제품을 전제로 해야 한다. 분명히 자원이 상대적으로 제한된 상황에서, OpenAI조차도 선택을 해야 한다.

샘 알트먼은 더 순수한 상인으로서의 선택을 선호한다.

안전과 상업화는 모순적인가? 세계의 다른 모든 회사에겐 모순이 아니다. 하지만 OpenAI는 그 예외이다.

2023년 3월, GPT-4가 출시된 후, 일론 머스크는 영혼의 질문을 던졌다: "나는 혼란스럽다. 나는 1억 달러의 비영리 단체에 기부했는데, 어떻게 300억 달러의 영리 단체가 되었는가?"

OpenAI의 내부 갈등 사건이 발생했을 때, 외부에서는 이미 어느 정도 모순의 도화선이 여기서 발생했음을 추측하고 있었다. 올해 3월 8일, 조사 결과가 발표된 후, OpenAI는 공식 통지에서 샘 알트먼의 복귀 외에도 회사가 "새로운 회사 거버넌스 기준을 채택"하고 "OpenAI의 이해 충돌 정책을 강화"하는 등 중요한 개선을 할 것이라고 발표했다.

하지만 OpenAI의 슈퍼 팀 해체가 이루어질 때까지 우리는 새로운 정책을 기다리지 못했다. 이것이 많은 퇴사 직원들이 OpenAI에 실망한 이유일 것이다.