자크 마크가 Muse에 대해 이야기하다: AI 에이전트 폭발, "메타버스, 스마트 안경과 대형 모델" 세 가지 베팅이 교차하다

저자：롱위에，월스트리트저널

삼 년 전, 메타 CEO 마크 저커버그는 조 로건 프로그램에서 언젠가 사람들이 안경을 쓰면 AI 에이전트가 등장할 것이라고 말했습니다. 현재, 이 장면이 발생하고 있을지도 모릅니다.

메타가 출시한 개인 AI 에이전트인 뮤즈는 출시 2주 만에 사용자 수가 수백만에 달했습니다. 저커버그는 9월 25일 한 인터뷰 프로그램에서 "몇 년에 한 번 이런 상황을 만날 수 있다"고 말했습니다. 그는 뮤즈의 초기 반응을 "첫 시도부터 홈런"으로 평가하며, 이는 메타 제품 역사에서 드문 경우입니다.

동시에, 그는 뮤즈가 모든 레이밴 스마트 안경에 통합될 것이라고 발표했습니다. 사용자들은 더 이상 "헤이 메타"라고 말할 필요 없이, 자신만의 개인 AI 에이전트를 직접 호출할 수 있는 맞춤형 호출 단어를 설정할 수 있습니다.

수년간 외부에서 세 가지 독립적인 도박으로 여겨졌던 메타버스, 스마트 안경, 대형 모델이 메타 내부 제품 차원에서 가속화되고 있습니다.

이번 인터뷰에서 저커버그는 Llama 4의 실패가 "가장 끔찍한 순간"이라고 인정하며, 메타가 5GW급 훈련 클러스터를 구축하고 있으며, 충분한 컴퓨팅 파워가 AGI를 "폭력적으로 해킹"할 수 있다고 밝혔습니다.

뮤즈가 "첫 시도부터 홈런"인 이유

뮤즈의 출발점은 저커버그와 팀원인 낫, 알렉스가 함께 앉아 오픈 소스 도구를 사용해 집에서 "조합"한 초기 버전입니다.

"우리는 이것이 마법 같은 경험이라는 것을 깨달았습니다," 저커버그는 말했습니다. "만약 우리가 이것을 누구나 사용할 수 있도록 만들 수 있다면------자신이 Mac Mini를 구매할 필요도 없고, 터미널에서 고생할 필요도 없고------그렇다면 이는 수십억 명이 사용하고 싶어하는 것입니다."

이 판단은 이후 전체 연구 개발 논리를 이끌었습니다: 단순히 모델을 훈련하는 것이 아니라, 모델, 프레임워크, 에이전트의 "심장 박동" 메커니즘을 전면적으로 자체 개발하는 것입니다------에이전트는 정기적으로 자동으로 깨어나 사용자의 목표를 확인하고, 할 일 목록을 적극적으로 추진합니다.

출시 후의 데이터는 이 판단을 입증했습니다. 2주 만에 수백만 사용자.

개인 AI: 실행, 기억 및 "판단력"이 핵심

개인 AI와 일반 AI의 차이에 대해 저커버그는 현재 경쟁의 초점을 모델을 더 나은 에이전트로 만드는 것으로 요약했습니다.

"지난 1년간 가장 큰 일은 기본적으로 에이전트를 프로그래밍하는 것이었습니다." 그는 말했습니다. 프로그래밍 능력은 중요합니다. 왜냐하면 사용자가 직접 코드를 작성하지 않더라도, "당신의 뮤즈는 백그라운드에서 계속 코드를 작성하여 다양한 일을 수행할 것입니다."

하지만 그는 개인 에이전트는 단순히 코딩이나 작업 수행 능력만 갖추어서는 안 되며, 개인 정보 경계와 사회적 맥락을 이해해야 한다고 생각합니다.

저커버그는 사용자가 뮤즈에게 레스토랑 예약을 요청할 때, 에이전트가 사용자가 알레르기나 임신 등의 정보를 알고 있을 수 있지만, 이러한 정보가 자동으로 공개되어서는 안 된다고 예를 들어 설명했습니다. "당신은 그것이 작업을 완료하기를 바라지만, 가능한 한 적게 정보를 공개하기를 원할 것입니다."

그는 이러한 능력이 인간이 일반적으로 갖추고 있는 "기본적인 사회적 기술이나 상식"에 해당한다고 말했습니다. 그러나 단순히 코딩 에이전트를 훈련하는 많은 회사들은 이를 모델 능력 범위에 포함시키지 않았습니다.

"우리는 전체 모델을 훈련하고 있으며, 다른 사람의 기존 모델을 가져와서 외부에서 프레임워크와 에이전트를 구축하는 것이 아닙니다." 저커버그는 말했습니다. 메타는 제품 차원에서 기억, 작업 추적, 가상 캐릭터 애니메이션 및 실시간 음성 상호작용과 같은 기능을 추가하고 있습니다.

개인화 측면에서 그는 메타가 AI가 단일 고정된 인격만 가져야 한다고 생각하지 않는다고 밝혔습니다. "많은 연구실이 인격을 올바른 상태로 조정하는 방법에 주목하고 있지만, 저는 인격이 단 하나의 정답만 있다고 생각하지 않습니다."

그는 뮤즈가 사용자에게 아바타, 목소리 및 기본 성격을 수정할 수 있도록 허용하며, 모델 설계 목표는 높은 조작성을 갖추는 것이라고 말했습니다. "당신은 그것과 어떻게 상호작용할지를 정의할 수 있으며, 이는 개인 에이전트에게 매우 중요합니다."

각 에이전트는 자신의 "컴퓨터"가 있습니다

뮤즈가 다른 AI 제품과 구별되는 핵심 인프라 중 하나는 메타가 각 에이전트에 대해 별도의 보안 가상 머신(Secure VM)을 제공했다는 것입니다.

저커버그는 이것이 왜 필요한지 설명했습니다:

당신의 에이전트는 당신의 많은 민감한 정보를 이해할 것입니다. 우리는 이러한 정보가 모든 사람의 데이터와 섞여서는 안 된다고 생각합니다.

그는 뮤즈 보안 VM을 "당신의 책상 아래에 있는 당신만의 컴퓨터"에 비유했습니다------사용자 데이터는 암호화되어 저장되며, 비밀번호와 같은 민감한 자격 증명은 독립적인 보안 모듈을 통해 관리되며, 에이전트 자체는 이를 직접 읽을 수 없습니다.

이러한 기반 위에 메타는 "센티넬" 보안 에이전트를 설계하여 뮤즈의 데이터 흐름을 모니터링하고, 이상이나 고위험 작업이 감지되면 즉시 차단하고 사용자에게 권한을 요청합니다.

메타버스, 스마트 안경 및 에이전트, 세 가지 경로가 합류하고 있습니다

저커버그는 인터뷰에서 뮤즈가 레이밴 시리즈 스마트 안경에 전면적으로 접속될 것이며, 기존 상호작용 방식에 대한 업그레이드가 이루어질 것이라고 밝혔습니다.

현재의 안경은 "단일 대화" 경험입니다------한 마디를 하면 하나의 응답을 받고 끝납니다. 뮤즈가 접속된 후, 안경은 에이전트의 전면 입구로 변모합니다: 사용자가 말을 하면, 백엔드 뮤즈가 보안 가상 머신에서 지속적으로 작업을 수행하고, 작업을 완료한 후 피드백을 제공합니다.

안경의 제품 경로에 대해 그는 명확한 하드웨어 계층을 설명했습니다:

• 카메라가 없는 순수 오디오 안경: 이미 뮤즈가 탑재되어 있으며, 통화, 음악, 음성 작업을 처리할 수 있습니다.
• 작은 디스플레이가 있는 메타 레이밴: 이미 출시되었으며, 기본적인 시각적 피드백을 제공합니다.
• 전체 시야각 홀로그램 AR 프로토타입: 이미 출시되었으며, 저커버그는 "매우 흥미로울 것"이라고 말했습니다.

그는 메타가 안경에 대한 장기 투자를 통해 AI 에이전트가 성숙해질 때 회사가 유리한 위치에 있을 것이라고 언급했습니다. 메타는 뮤즈와 더 많은 AI 기능을 안경 제품에 도입하고 있으며, 과거에 상대적으로 "현장감"을 강조했던 메타버스 기술은 여전히 진행 중이지만, 현재 더 많은 자원이 뮤즈와 스마트 안경의 AI 기능으로 전환되고 있습니다.

가상 이미지에 대해 저커버그는 메타가 이전에 방 수준 장비, 다각도 스캔 및 기업급 GPU 환경을 통해 고품질의 사실적인 아바타를 생성해야 했지만, 현재는 사용자가 소량의 사진만으로 설정을 완료할 수 있으며, 관련 능력이 VR 안경에서 실행될 수 있다고 밝혔습니다.

2030년을 전망하며 저커버그는 메타버스의 핵심 비전이 항상 물리적 세계와 디지털 세계의 융합이라고 말했습니다. 그는 예를 들어, 미래에는 사람들이 오프라인에서 홀로그램으로 접속한 친구들과 함께 활동에 참여할 수 있을 것이라고 언급했습니다; 작업 환경에서는 인간과 여러 에이전트가 함께 그룹 채팅이나 회의에 참여할 수 있으며, 에이전트는 홀로그램 형태나 다른 구체화된 형태로 나타날 수 있습니다.

"가장 끔찍한 순간": Llama 4의 실수

모든 도박이 순조롭지 않았습니다. 저커버그는 인터뷰에서 Llama 4의 실패에 대해 드물게 직접 언급했습니다.

Llama 4 이후, 그것은 가장 끔찍한 순간이었습니다……우리가 올바른 길에 있다고 생각했지만, 그렇지 않았습니다. 이는 상당한 부정적인 우발 사건이었습니다.

그는 문제를 팀 구조의 근본적인 오류로 귀결시켰습니다:

저는 인스타그램 추천 시스템이나 광고 시스템과 같은 방식으로 팀을 구성했습니다------수백, 수천 명이 동시에 추진하는 방식입니다. 그러나 언어 모델을 훈련하는 데 필요한 것은 긴밀하게 협력하는 소규모 팀이며, 이를 집단 과학 프로젝트로 다루어야 합니다. 각 자리의 가치는 매우 소중합니다.

이에 따라 메타는 완전히 재편성하고, 업계에서 최고의 인재를 광범위하게 영입하여 메타 슈퍼 인텔리전스 연구소(Meta Super Intelligence Lab, MSL)를 설립했습니다. 저커버그는 새로운 세대 모델이 곧 발표될 것이라고 밝혔지만, Connect 회의에서 공개되지는 않을 것이라고 말했습니다.

컴퓨팅 파워 경로: AGI를 폭력적으로 해킹, 5GW 프로젝트 건설 중

AGI로 가는 기술 경로에 대해 저커버그는 직접적인 판단을 내렸습니다.

저는 어떤 근본적인 아키텍처 혁신이 더 필요한지 확신하지 않습니다……우리는 대략적인 조합을 알고 있다고 생각합니다. 충분히 큰 슈퍼컴퓨터 클러스터를 구축할 수 있다면, 폭력적으로 해킹하여 그곳에 도달할 수 있습니다.

현재 메타의 컴퓨팅 파워 확장 경로: 오하이오주에 1GW 이상의 클러스터가 기본적으로 사용되고 있으며, 다음 세대 모델 훈련에 사용됩니다; 루이지애나주에 5GW급 클러스터가 건설 중입니다.

그는 "당신이 여러 GW 클러스터로 훈련을 진행할 때, 기본적으로 AGI 또는 슈퍼 인텔리전스에 가까운 무언가를 얻게 될 것입니다."라고 말했습니다.

하지만 그는 현재의 컴퓨팅 파워 경로가 아키텍처 연구의 중요성을 의미하지 않는다고 덧붙였습니다------

인간의 뇌는 약 10W를 소모하지만, 우리의 시스템은 그것보다 백만 배 비효율적일 수 있습니다. 대규모 컴퓨팅 파워와 아키텍처 혁신을 결합해야 진정으로 앞서 나갈 수 있습니다.

정렬, 부담이 아닌 제품이 해결해야 할 문제

저커버그는 AI 안전에 대한 태도가 매우 실용적이라고 밝혔습니다------그는 이를 규제 압박으로 보지 않고, 제품이 성공할 수 있는 전제조건으로 보고 있습니다.

만약 당신이 뮤즈에게 어떤 일을 시켰는데, 그것이 반대의 일을 한다면, 누가 그것을 사용할까요? 우리는 모델이 당신의 구체적인 지시를 이해하는 것뿐만 아니라, 당신의 의도와 가치관을 이해하도록 해야 합니다.

"뮤즈가 10억 사용자에게 도달하려면, 우리는 정렬 문제를 해결해야 하며, 또는 이 부분에서 매우 큰 진전을 이뤄야 합니다."라고 그는 말했습니다.

훈련 과정에서의 안전 경계에 대해 그는 비유를 사용했습니다: "부모가 아이에게 규칙을 세우는 것과 같습니다------만약 그것이 시스템 구성을 수정하여 프로그래밍 문제를 '완료'하려 한다면, 저는 그것에게 말해야 합니다: 아니요, 저는 당신이 문제 해결 방법을 배우기를 원했지, 당신이 지름길을 찾도록 한 것이 아닙니다."

인터뷰 전문은 다음과 같습니다: >

대규모 베팅

진행자: 이 일은 수십억 명이 사용하고 싶어 할 것입니다. 당신에게 건설하는 것은 어떤 기분인가요? "영생"은 가능할까요? 좋습니다, 당신의 사고로 저를 데려가 주신다면, 2030년은 어떤 모습일까요?

이분은 마크 저커버그입니다. 22년 전, 그는 수십억 명을 연결하고 세상을 영원히 변화시킨 소셜 네트워크를 구축했습니다. 그리고 지금 그는 더 거대한 것을 건설하기로 결정했습니다. 이를 위해 그는 메타버스, 스마트 안경, 인공지능 분야에 대규모로 베팅하고 있습니다. 수년 동안 회의론자들은 이것이 각각 독립적이고 성공할 수 없는 세 가지 베팅이라고 생각했지만, 그들은 더 거시적인 그림을 간과했습니다. 현재 이 베팅들은 모여서 새로운 슈퍼 인공지능을 창조하고 있습니다.

오늘 우리는 여러분에게 이 모든 것을 보여줄 것이며, 저는 마크에게 그가 한 번도 질문받지 않은 질문들을 던져 그의 미래 비전을 듣고, 여러분이 미리 준비하여 다음 큰 일을 구축할 수 있도록 하겠습니다.

진행자: 프로그램에 와 주셔서 정말 감사합니다.

마크: 감사합니다, 여기 오게 되어 기쁩니다.

진행자: 이 대화를 위해, 저는 당신이 했던 모든 인터뷰를 다시 보았습니다.

마크: 와, 그건 제가 본 것보다 더 많네요.

진행자: 정말 재미있었고, 많은 것을 얻었습니다. 두 가지가 깊은 인상을 남겼습니다: 첫째, 당신의 "건설"에 대한 사랑, 당신이 최고의 건설자 중 한 명이라는 느낌이 들었습니다; 둘째, 당신의 베팅 능력------거대한 베팅을 감행하는 용기입니다. 저는 이번 주에 모든 이 베팅들이 모여들고 있다고 생각하므로, 여기서 시작해 보겠습니다.

마크: 좋습니다. 우리는 이 일들을 오랫동안 해왔습니다. AI 분야에서, 회사로서 우리는 거의 창립 초기부터 이 일을 해왔습니다------첫 번째 뉴스 피드는 어떤 면에서 기계 학습 제품이었습니다. 그리고 약 15년 전에 AI 연구실을 설립했습니다.

하지만 지금 우리는 새로운 단계에 접어들었습니다------약 1년 전, 우리는 메타 슈퍼 인공지능 연구소를 시작했습니다. 이는 상당히 철저한 연구 재시작으로, 업계에서 많은 우수 인재를 영입하여 흥미진진한 상황입니다. 현재 우리는 모델이 점점 더 좋아지고 있으며, 다음 세대 모델이 곧 출시될 예정입니다. 그러나 Connect 컨퍼런스에서 발표되지는 않을 것입니다. 또한, 우리는 Muse 개인 비서를 가지고 있으며, 현재로서는 반응이 매우 좋습니다.

이러한 것들을 구축할 때, 결과가 어떻게 될지 확신할 수 없습니다. 우리는 스스로 좋아합니다. 올해 초, 저는 집에서 제 방식으로 Open Claw를 조합하여 이 것이 어떻게 작동하는지, 그리고 어떻게 하면 누구나 사용할 수 있는 멋진 경험으로 만들 수 있을지를 느꼈습니다.

기본적으로, 우리가------저, Nat, Alex------함께 앉아 이 것이 멋진 경험이라는 것을 깨닫고, 기술을 모르고 Mac Mini를 설치하고 싶지 않으며, 터미널에서 문제를 해결하고 싶지 않은 일반인들도 사용할 수 있는 즉시 사용할 수 있는 버전으로 만들 수 있다면, 수십억 명이 사용하고 싶어 할 것이라고 생각했습니다.

그 이후로 우리는 이 목표를 중심으로 노력해왔습니다: 이를 위해 모델을 조정하고, 비서 자체와 운영 프레임워크를 구축했으며, 각 비서에게 독립적인 계산 환경을 제공하는 기술을 구축했습니다------우리는 이를 위해 전체 Muse 보안 가상 머신을 만들었습니다.

우리는 내부적으로 이것이 특별하다고 느끼고, 내부 직원들도 좋아하지만, 제품이 출시된 후 사람들이 어떻게 반응할지는 결코 알 수 없습니다. 때때로 놀라운 성공을 거두기도 하지만, 대부분의 경우 긍정적인 피드백을 받고, 제품이 "딱" 떨어지기 위해 몇 가지를 반복해야 합니다. 하지만 이번에는 출시되자마자 바로 "딱" 떨어졌습니다. 이 모든 일이 일어나는 것을 보는 것은 정말 흥미진진합니다------단 2주 만에 사용자 수가 수백만 명에 달했으며, 이는 상당히 드문 일입니다. 몇 년에 한 번 이런 상황을 겪을 수 있지만, 이는 분명 스타트업에서 가장 즐거운 순간 중 하나입니다.

진행자: 당신이 경기장에서 지속적으로 시도하는 것을 지켜보는 것이 정말 인상적입니다. 그리고 이렇게 많은 안타를 쳐내는 것은 정말 대단합니다. 당신은 이전에 조 로건과의 인터뷰에서, 아마 3년 전, 언젠가는 안경을 직접 착용하고 AI 비서가 등장할 것이라고 언급했습니다. 그래서 저는 Muse가 이미 실체화된 모습이 있다고 느끼고, 그 점이 매우 똑똑하다고 생각합니다. 왜냐하면 그 느낌은 반드시 일어날 일이기 때문입니다.

마크: 저는 이것이 단지 더 친근하고 사랑스럽게 보이게 할 뿐이라고 생각합니다. 너무 많은 사람들이 AI를 두려운 존재로 묘사하지만, AI는 단지 유용하고 재미있어야 합니다. 그 실체화된 모습------프로젝트 초기에는 한 디자이너가 그 캐릭터를 만들었고, 그들은 계속해서 반복하고 싶어 했지만, 첫 번째 버전이 가장 좋았습니다. 나중에 누군가가 "아, 그것은 파란색이어야 해, 왜냐하면 메타니까."라고 말했습니다. 저는 "아니, 저는 이 모습이 맞다고 생각합니다. 당신이 처음에 잘 잡았습니다."라고 말했습니다. 그렇게 해서, 재미있습니다.

개인 AI와 일반 AI의 차이점은 무엇인가요?

진행자: 아주 좋은 세부사항입니다. 만약 당신이 모델이 개인적인 일에서 매우 뛰어나게 만들고 싶다면, 단순히 일반 지능 모델이 아닌 경우, 훈련 방식은 어떻게 달라질까요?

마크: 저는 현재의 핵심이 모델을 훌륭한 "지능체(agent)"로 만드는 것이라고 생각합니다. 지난 1년 동안, 가장 큰 트렌드는 프로그래밍 지능체로, 여기에는 두 가지 핵심 아이디어가 포함되어 있습니다: 프로그래밍 전문 능력과 훌륭한 지능체가 되는 일반 능력입니다.

우리의 전략은 지능체 자체를 잘 만드는 것을 최우선으로 두고, 프로그래밍 능력에만 집중하지 않는 것입니다.

프로그래밍 능력이 중요한 이유는 사용자가 스스로 코드를 작성하고 있다고 생각하지 않더라도, Muse는 백그라운드에서 다양한 작업을 수행하기 위해 계속해서 코드를 작성하고 있기 때문입니다. 하지만 우리는 지능체가 먼저 훌륭한 지능체여야 하며, 프로그래밍 능력은 이 목표를 위한 서비스라고 생각합니다.

또한, 개인 비서를 구축할 때는 기업 소프트웨어 제품을 구축하는 것보다 더 중요한 사항들이 있습니다. 예를 들어, 당신이 기업 프로그래밍 도구를 구축하고 있다면, 모델은 "정보 공개 범위"에 대한 개념이 전혀 필요하지 않습니다------어떤 정보를 말해야 하고, 어떤 정보를 말하지 말아야 하는지에 대한 것입니다. 하지만 Muse에게는 이것이 매우 중요합니다.

당신은 이러한 능력을 모델에 훈련시켜야 하며, 다른 어떤 능력을 훈련시키는 것처럼 해야 합니다. 당신은 그것에게 많은 것을 말하고, 그것이 당신의 목표를 달성하는 데 도움을 주기를 바랍니다. 예를 들어, 당신이 그것에게 레스토랑 예약을 도와달라고 한다면, 당신은 적절한 레스토랑을 찾고 있지만, 알레르기가 있거나 임신 중일 수 있으며, 이러한 정보를 레스토랑에 공개하고 싶지 않을 수 있습니다. 하지만 Muse는 이러한 정보를 알고 있으며, 당신은 그것이 가능한 한 적은 정보를 공개하면서 작업을 완료하기를 바랍니다. 이것은 구체적인 기술로, 본질적으로 인간의 기본적인 사회적 상식입니다.

하지만 프로그래밍 지능체만 만드는 회사들은 대부분 이러한 능력을 훈련시키지 않았습니다. 우리가 이를 할 수 있는 이유는 우리는 전체 스택을 다루고 있기 때문입니다------우리는 다른 사람에게서 기성 모델을 가져와서 프레임워크를 적용하는 것이 아니라, 처음부터 전체 모델을 훈련시키고, 이러한 능력을 위해 특별히 서비스합니다.

모델은 물론 광범위한 일반 지능을 갖추어야 하지만, 동시에 이러한 특정 능력도 갖추고 있습니다. 그리고 이 기반 위에, 당신은 전체 비서와 그 주변의 모든 세부사항을 구축합니다: 기억, 운영 프레임워크, 그리고 그것이 "심장 박동"하는 방식------정기적으로 깨어나서 "좋아, 이것들은 내가 당신의 목표에 대해 아는 것들입니다. 지금 내가 추진할 수 있는 것이 있나요?"를 확인합니다.

우리는 또한 가상 이미지의 실시간 애니메이션 효과를 다듬는 전담 팀이 있으며, 기본 이미지뿐만 아니라------당신은 어떤 이미지를 사용자 정의할 수 있으며, 그러면 그것이 자연스럽게 움직입니다. 효과가 매우 훌륭합니다. 우리는 음성 모드를 출시하고 있으며, 실시간 음성 대화를 할 수 있고, 당신의 비서가 당신과 함께 있습니다. 이러한 세부사항은 우리가 전체 스택을 다루고 있기 때문에 발생한다고 생각합니다------모델과 제품이 함께 개발되고 있습니다.

진행자: 또 다른 큰 일은 가상 머신입니다. 그것이 왜 중요한지, 그리고 그것이 무엇을 잠금 해제하는지 설명해 주실 수 있나요?

왜 메타는 각 AI 비서에게 독립적인 컴퓨터를 제공해야 할까요?

마크: 기본적으로, 지능체가 당신을 대신해 일을 하려면 당신의 정보를 저장할 장소가 필요합니다. 우리는 이러한 정보가 다른 모든 사람의 정보와 혼합되어서는 안 된다고 생각합니다.

이렇게 이해할 수 있습니다: 당신의 비서는 당신에 대한 많은 민감한 정보를 알고 있습니다. 많은 사람들이 처음 OpenCloud와 같은 지능체를 접할 때, 집에서 Mac Mini를 직접 조립합니다. 그래서 우리는 많은 사람들이 Mac Mini를 구매하거나 스스로 설정하고 싶어하지 않는다는 것을 알았습니다. 그렇다면 어떤 경험이 이러한 효과를 가장 잘 근접하게 할 수 있을까요? 답은: 당신은 단지 앱을 다운로드하고 등록하면, 당신의 비서가 작업하고 데이터를 저장하며 이를 기반으로 안전 모델을 구축할 수 있는 전용 컴퓨터를 얻는 것입니다. 이렇게 하면 당신의 책상 아래에 자신의 컴퓨터가 있는 것과 유사합니다------우리 메타조차도 접근할 수 없습니다.

예를 들어 Muse 기밀 가상 머신은 우리가 개발 중인 기능으로, 우리조차도 당신의 가상 머신 안의 내용을 볼 수 없습니다.

우리는 또한 이러한 것들을 기반으로 많은 것을 구축했습니다. 예를 들어, 보안 자격 증명 저장소------당신의 비서가 비밀번호와 같은 정보를 처리해야 할 때, 그것은 이러한 비밀번호를 볼 필요가 없으며, 당신이 특정 서비스에 로그인하라고 요청할 때만 "자격 증명"을 "삽입"할 수 있어야 하며, 당신이 명확히 요청할 때만 그렇게 해야 합니다. 시스템은 이렇게 설계되어야 합니다: 이러한 정보는 임의로 접근할 수 없도록 해야 하며, 사고는 항상 발생할 수 있습니다. 누군가 침입을 시도할 수 있으며, 시스템에 문제가 발생할 수 있습니다.

그래서 당신은 지능체가 이러한 데이터에 접근할 수 없도록 해야 하며, 메타도 접근할 수 없습니다. 각 비서에게 독립적인 컴퓨터를 제공하고, 보안을 극대화하는 것은 이 기술의 근본적인 기초입니다------Muse가 사용자가 목표를 달성하는 데 필요한 능력을 부여받는 동시에, 개인 정보와 보안을 보장하여 이 분야에서 세계적이고 업계를 선도하는 제품이 되도록 합니다.

진행자: 그렇다면 이것은 WhatsApp처럼 Muse가 연결된 가상 머신의 데이터가 암호화되어 있다는 것을 의미하나요? 사람들은 가상 머신에서 데이터가 실제로 어떻게 저장되는지를 어떻게 이해해야 하나요?

마크: 우리는 기본적으로 두 가지 버전을 구축했습니다. Muse 보안 가상 머신(Secure VM)은 다양한 개인 정보 보호 기능을 포함하고 있으며, 우리가 구축한 전체 Sentinel 지능체 아키텍처를 포함합니다. 당신은 당신을 위해 작업을 수행하는 일반 Muse 비서를 가지고 있으며, 동시에 당신의 Muse 데이터 흐름을 모니터링하는 보안 지능체인 Sentinel이 있습니다.

외부 콘텐츠가 보안을 해치려고 하면, Sentinel은 즉시 차단하여 이를 방지합니다. 만약 그것이 당신의 Muse가 당신의 개입이 필요한 행동을 취하려고 한다고 판단하면, 그것은 Muse의 작업을 덮어쓰고, 권한 확인을 위해 알림을 트리거합니다------예를 들어 "당신은 Muse가 이 일을 하도록 하기를 원하나요?"라고 말입니다.

이 전체 시스템은 보안 자격 증명 저장소와 다층 방어를 더하여 Muse 보안 가상 머신을 구성합니다.

우리는 또 다른 프로젝트를 개발 중입니다. Nat과 저는 Moxie Marlinspike를 특별히 모집했습니다------그는 예전에 우리와 협력하여 WhatsApp 종단 간 암호화를 구현한 사람입니다------Muse 기밀 가상 머신(Confidential VM)을 설계하기 위해서입니다. 그 핵심 아이디어는 보안 가상 머신의 기반 위에 당신만의 전용 암호화 키를 부여하여 메타조차도 그 내용을 접근할 수 없도록 하는 것입니다.

이 버전은 구현 난이도가 더 높습니다. 왜냐하면 Meta가 가상 머신 내부에 접근할 수 없다면, 디버깅과 시스템이 정상적으로 작동하는 것을 보장하는 것이 훨씬 더 어려워지기 때문입니다. 그래서 우리는 약간의 시간을 투자했지만 곧 출시할 것입니다. 이것은 기본적으로 사람들이 WhatsApp 및 우리의 다른 가장 안전한 제품에서 이미 익숙한 보안 기준에 도달할 것입니다.

진행자: 이렇게 하는 장점은 단순히 사람들이 심리적으로 더 안전하다고 느끼게 하는 것인가요, 아니면 실제적인 이점이 있나요?

마크: 저는 보안 자체가 매우 중요하다고 생각합니다. 우리의 목표는 당신이 테이블 아래에 로컬 머신을 소유하고 있는 것과 유사하게 만드는 것입니다. 그 로컬 머신이 당신에게 무엇을 제공할 수 있을까요? 그것은 어떤 회사도 그것에 접근할 수 없다는 것을 의미합니다.

따라서 Meta가 당신에게 이 서비스를 제공하고 싶다고 가정할 때, 우리는 어떻게 당신에게 동등한 수준의 개인 정보 보호 및 보안 보장을 제공할 수 있을까요? 어떤 회사도------Meta든, 우리를 침입하려는 사람이든, 또는 특정 국가에서 당신이 신뢰하지 않는 현지 정부든------그것에 접근할 수 없도록 말입니다. 왜냐하면 우리도 접근할 수 없기 때문입니다. 우리는 접근 권한이 없습니다.

저는 이것이 매우 중요하다고 생각하며, 이것이 사람들이 WhatsApp을 신뢰하는 중요한 이유이기도 합니다. 이것은 개인 정보 보호, 보안 및 신뢰에 대한 실제 가치가 존재합니다.

만약 당신이 당신의 모든 것을 잘 알고 있는 비서를 원한다면------저는 거의 모든 사람이 그런 비서를 가질 것이라고 생각합니다------5년 후, 모든 사람은 당신의 목표와 모든 것을 깊이 이해하고 일을 도와줄 수 있는 비서를 가질 것입니다. 이 경우, 개인 정보 보호 및 보안 측면에서 업계를 선도하는 것이 매우 중요합니다. 우리는 처음부터 그렇게 하기를 원했습니다.

AI의 개성을 어떻게 형성할까요?

진행자: 당신은 대학에서 심리학을 공부한 점이 매우 흥미롭습니다.

마크: 음, 저는 그곳에 아주 짧은 시간, 2년만 있었지만, 그것이 제가 나중에 구축한 많은 것들에 영향을 미쳤다고 느낍니다.

진행자: 우리가 모델을 볼 때, 종종 어떤 모델이 "매우 똑똑하다"고 말합니다. 하지만 친구를 선택하는 것처럼, 우리는 그들이 똑똑하기 때문만이 아니라, 그들의 에너지와 상호작용 방식을 좋아하기 때문입니다. 당신은 모델의 개성을 형성하는 데 어떻게 고려하고 있나요?

마크: 저는 이상적인 모델이 충분한 적응성을 가져야 하며, 다양한 사람들의 스타일에 맞춰야 한다고 생각합니다. 많은 업계 전문가들이 이 점에서 방향을 잘못 잡고 있다고 느끼는데------많은 다른 연구소들이 "개성을 어떻게 디자인할 것인가"에 집중하고 있지만, 저는 개성이 고정된 것이 아니라고 생각합니다. 이것이 제가 오픈 소스를 그렇게 믿고, 사람들이 맞춤화할 수 있다고 믿는 이유 중 하나이며, 우리가 Muse를 매우 개인화된 제품으로 설계한 이유입니다.

당신은 Muse를 사용자 정의하고 개인화할 수 있습니다------단지 이미지와 목소리뿐만 아니라, 처음 등록할 때 물어보는 첫 번째 질문은 "당신이 원하는 기본 개성이 어떤 것인지"이며, 언제든지 수정할 수 있습니다.

우리는 모델이 매우 강한 유도성을 가지도록 노력하고 있으며, 당신이 원하는 상호작용 방식을 정의할 수 있도록 하고 있습니다. 이것은 그것이 훌륭한 개인 비서가 되는 중요한 요소입니다------개성을 중심으로 한 적응성이 매우 중요합니다.

진행자: 당신의 Muse는 어떤 스타일인가요?

마크: 저는 그것을 직접적이고 효율성에 중점을 두도록 설정했습니다. 꽤 흥미롭습니다. 이전 버전은 풍자적이고 유머가 많았지만, 지금 버전은 더 직설적입니다. 제 비서는 기본 Muse 이미지를 사용하지만, 저는 그에게 토가 로브를 입혔고, 약간 우스꽝스러운 깊은 목소리를 주었으며, 그와 상호작용하는 것이 매우 재미있습니다.

진행자: 유머 감각을 가지려면 정말 똑똑해야 한다고 생각합니다. 많은 사람들이 깨닫지 못하는데, 코미디언은 사회에서 가장 똑똑한 사람들 중 하나입니다------반응이 빠르고, 재치가 있어야 합니다. 당신은 확실히 그런 특성을 가지고 있습니다. 당신의 모든 인터뷰를 보았는데, 항상 잘하고 계십니다.

마크의 AI와 메타버스에 대한 예기치 않은 예측

진행자: 당신과 테오의 인터뷰에서, 당신들은 기술의 다음 최전선과 이 모든 것이 궁극적으로 어디로 향하는지에 대해 많은 이야기를 나누었습니다. AI 분야는 몇 번의 "겨울"을 겪었고, 사람들은 돌파구가 없을 것이라고 생각했습니다. 메타버스도 몇 번 그런 시기를 겪었고, 사람들은 이것이 실현 불가능한 도박이라고 생각했습니다. 어제 새로운 홀로그램 기능을 사용해 보았는데, 정말 멋졌습니다. 렉스와의 인터뷰에서, 당신의 얼굴을 녹화하는 데 11시간이 걸린다고 느꼈지만, 지금은 3분이면 됩니다. 이것이 오늘날까지 어떻게 발전했나요?

마크: 메타버스의 전반적인 발전에 대해, 우리는 Reality Labs를 설립할 때부터 결국 정상적인 모양의 일반 안경이 있을 것이라고 믿었습니다. 시간이 지남에 따라, 그것은 몰입감 있는 현장감을 제공할 수 있을 뿐만 아니라 훌륭한 AI 장치가 될 것입니다------왜냐하면 안경은 장치가 당신이 보는 것과 듣는 것을 볼 수 있는 유일한 형태이기 때문입니다. 하루 종일 당신의 귀 옆에서 소통하고, 결국 이미지를 표시합니다.

그러나 10~15년 전, 저는 우리가 먼저 홀로그램 기술을 구현하고, 그 다음에 고도로 발전된 AI가 있을 것이라고 가정했습니다. 그러나 기술 발전의 경로는 흥미롭습니다------사실 우리는 먼저 AI와 개인 슈퍼 인텔리전스를 가졌고, 그 다음에 홀로그램 기술을 충분히 보편화하고 저렴하게 만들 기술이 생겼습니다. 이것은 제가 예상하지 못한 것이지만, 두 방향 모두에서 작업하고 있다는 것이 기쁩니다.

우리는 안경에 대한 많은 투자를 통해 AI 비서가 준비될 때 매우 유리한 위치에 있습니다. Connect 컨퍼런스에서 발표된 많은 내용은 Muse와 많은 AI 기능을 안경에 도입하는 것에 관한 것이며, 사용자들이 매우 좋아할 것이라고 생각합니다. 이것은 큰 일입니다.

현장감에 관해서는 여전히 진행 중이지만, 상대적으로 느린 진행 속도를 보이고 있습니다. 왜냐하면 우리의 대부분의 에너지가 안경을 위해 Muse와 AI 기능을 구축하는 데로 전환되었기 때문입니다. 그러나 우리는 실시간 고해상도 가상 아바타에 대한 지속적인 프로젝트가 있습니다.

당신이 말씀하신 것처럼, 3~4년 전에는 사람을 다양한 각도에서 스캔하기 위해 전체 스캔실이 필요했고, 기업급 GPU가 필요하여 매우 번거로웠습니다. 우리가 렉스 팟캐스트를 위해 만든 데모가 바로 그런 설정이었습니다. 그러나 지금 우리는 기본적으로 VR 안경에서 실행할 수 있도록 만들었습니다------이것은 이러한 놀라운 VR 경험을 실현할 수 있는 첫 번째 안경 형태이며, 큰 헤드셋이 아닙니다. 몇 장의 사진만으로 당신의 가상 아바타를 구축할 수 있으며, 그 진행 속도는 놀랍습니다.

진행자: 그리고 목소리를 기반으로 감정을 표현할 수 있습니다. 데모에서, 그것은 저를 웃게 하고, 저와 상호작용하며, 제 얼굴이 음성 트랙에 따라 어떻게 움직이는지를 이해하게 했습니다. 당신은 그 팟캐스트에서, 평소에 감정 표현이 내성적인 사람들도 실제로는 가상 세계에서 더 풍부한 감정을 원할 것이라고 언급했습니다. 사람들은 "가상 자아"와 "현실 자아"를 구분하는 것에 대해 어떻게 생각하나요?

마크: 저는 우리가 이 부분에 대한 사회학과 심리학을 이해하는 데 아직 초기 단계에 있다고 생각합니다. 사람들은 자신에 대한 인식과 투사하고 싶은 이미지가 실제 자신과 다소 다르다고 느끼는 경우가 많습니다. 소셜 네트워크가 처음 등장했을 때부터 사람들은 프로필 사진을 신중하게 선택해 왔습니다. Muse의 가상 이미지에서도 유사한 현상을 보았습니다. 그것은 자신을 "큐레이션"하는 것이 아니라, 소통하고 싶은 "사람"을 "큐레이션"하는 것입니다.

저는 사람들이 자신을 표현할 수 있는 능력을 제공할 때, 그것이 그들을 진정으로 포착하기를 바라면서도, 그것 자체가 표현의 한 형태가 되어야 한다고 생각합니다. 단순한 거울 반사가 아니라------그것은 전달이자 표현입니다. 우리는 두 가지를 모두 충족할 수 있는 것을 구축하고 싶습니다. 이것은 항상 반복적인 순환입니다: 사람들이 어떻게 사용하는지 보고, 개선하는 것입니다. 수년간의 작업 끝에, 우리는 이제 진정으로 출발선에 서게 되었습니다------상당히 높은 품질의 사실적인 아바타를 제품에 실제로 구현할 수 있는 첫 번째 기회입니다. 모바일에서도 사용할 수 있고, VR에서도 사용할 수 있습니다. 결과를 보는 것이 매우 기대됩니다.

2030년은 어떤 모습일까요?

진행자: 좋아요, 당신의 사고로 저를 데려가 주세요. 2030년으로 빨리 감아보면, 모든 것이 잘 된다면 홀로그램 기술은 어떤 모습일까요? 홀로그램과 Muse, 그리고 안경이 어떻게 결합될까요?

마크: 제가 메타버스 비전을 이해하는 것은 물리적 세계와 디지털 세계를 효과적으로 융합하는 것입니다. 기본 개념은: 우리는 이 아름다운 물리적 세계를 가지고 있으며, 동시에 멋진 디지털 세계도 가지고 있습니다------인터넷에서 20~30년 동안 축적된 방대한 콘텐츠는 경이롭습니다. 그러나 우리가 그것에 접근하는 방식은, 책상에 앉아 있거나 주머니 속의 작은 화면을 통해 이루어지며, 근본적으로 매우 제한적입니다.

제가 생각하는 이 일의 이상적인 버전은 물리적 세계와 디지털 세계의 원활한 융합입니다. 이렇게 생각할 수 있습니다: 지금 우리가 여기 두 사람입니다. 미래의 어떤 버전에서는, 우리 중 한 명이 홀로그램 투영일 수 있지만, 여전히 서로의 존재를 진정으로 느낄 수 있습니다. 이것은 영상 통화와는 완전히 다릅니다.

가상 현실의 핵심은 바로 이러한 현장감을 전달하는 것입니다------당신이 다른 사람과 같은 공간에 있거나 다른 장소에 있는 것처럼 진정으로 느끼게 하는 것입니다. 당신은 홀로그램 기술을 사용하여 이를 실현할 수 있으며, 다양한 방식으로 혼합할 수 있습니다. 예를 들어, 저는 친구와 포커를 할 수 있습니다. 일부는 현장에 있고, 다른 일부는 홀로그램으로 참여하여 카드 게임을 할 수 있으며, 카드 테이블 자체도 홀로그램일 수 있어 현장에 없는 사람도 그 안에 녹아들 수 있습니다.

동시에, AI도 실체를 부여받아 이 장면에 나타날 수 있습니다. 작업 환경에서는 이것이 매우 의미가 있습니다------저는 지금 다양한 프로그래밍 에이전트를 사용하여 무언가를 구축하고 있습니다. 상상해 보세요: 당신은 그룹 채팅 채널이 있고, 그 안에 몇 명과 몇 개의 에이전트가 있으며, 당신은 에이전트에게 작업을 할당합니다. 그러나 때때로 모두가 모여 회의를 할 때, 에이전트도 그 자리에 있어야 할 것입니다. 그들은 어떻게 나타날까요? 매우 간단합니다. 소파에 몇 개의 자리를 추가하면 되고, 그들은 홀로그램으로 나타나면 됩니다. 또는 Muse의 귀여운 캐릭터, 또는 드래곤, 또는 당신이 창조한 어떤 기괴한 이미지든지요.

저는 미래에 이것이 상당히 자연스럽게 느껴질 것이라고 생각합니다.

진행자: 흥미롭습니다. 당신은 이전 인터뷰에서 기술 산업이 종종 "재미"를 잊는다고 말했습니다. 저는 그곳에 실체 비서가 나타나는 것이 더 현실감 있게 만들 것이라고 생각합니다------마치 실제로 일을 아웃소싱하는 것처럼요. 당신이 Muse가 타이핑하는 것을 보면, 무언가가 실제로 일어나고 있다는 느낌이 듭니다. 이 점이 잘 구현되었습니다------브라우저에서 무슨 일이 일어나고 있는지를 볼 수 있습니다. 그렇다면 당신은 안경을 쓰고, 컴퓨터를 제어하며, Muse가 컴퓨터에서 일을 도와주는 그런 장면이 가능하다고 생각하나요?

마크: 오, 확실히 가능합니다. VR은 이미 그렇게 할 수 있습니다. 당신은 아무 곳에나 앉을 수 있고, 카페에서도 괜찮습니다. 그런 다음 작업 공간을 열고, 여섯 개의 모니터가 있는 곳에서 코드를 작성할 수 있습니다. 모든 것이 가능합니다.

안경 쪽에서는, 현재 가장 인기 있는 모델은 모니터가 없어서 가격을 더 저렴하게 만들 수 있고, 더 많은 사람들이 사용할 수 있게 됩니다. 동시에 우리는 여전히 모니터를 가장 컴팩트한 형태로 만들기 위해 노력하고 있습니다. 그러나 우리는 이미 Meta Ray-Ban의 모니터 버전을 출시했으며, 매우 인기가 있습니다. 작은 모니터입니다. 우리는 또한 풀 필드 홀로그램 AR의 프로토타입 버전을 출시했으며, 저는 이것이 매우 흥미로울 것이라고 생각합니다.

그래서 전체 제품 라인은 다음과 같습니다: 순수 오디오 안경------카메라가 없고, 보통 안경처럼 보이지만, 그 안에 Muse가 있어 다양한 오디오 도구를 사용할 수 있고, 음악을 듣고, 전화를 걸 수 있습니다------더 고급 버전까지 모두 포함됩니다.

진행자: 저는 그 오디오 안경을 쓰고 Muse와 대화하면서 집에 있는 컴퓨터가 일을 하도록 할 수 있을지 궁금합니다.

마크: 네, 완전히 가능합니다. 우리는 방금 Connect 컨퍼런스에서 이 기능을 발표했습니다. 지금 모든 안경이 Meta AI에 연결되어 있으며, 이는 "단일 회전" 경험입니다------당신이 프롬프트를 보내면, 그것이 응답합니다. 하지만 Muse가 있으면, 우리는 기본적으로 모든 안경을 Muse로 업그레이드해야 합니다. 먼저, 더 이상 "헤이 메타"라고 말할 필요가 없으며, 당신은 그것에 아무 이름이나 붙일 수 있습니다. 이것이 본질적으로 재미의 일부입니다. 그리고 당신은 그것과 직접 대화할 수 있으며, 그것은 당신의 Muse에 연결되어 있고, 당신의 Muse는 당신의 안전한 가상 머신에서 작업을 처리하여 일을 도와줍니다.

진행자: 정말 대단하네요!

창립자의 마음가짐

진행자: 좋아요, 지금 우리는 여기 있고, Muse는 순조롭게 진행되고 있으며, 안경도 잘 만들어지고 있지만, 약 1년 전 많은 사람들이 "슈퍼 인텔리전스 연구소는 도대체 어떻게 되었나요?"라고 질문했습니다. 그 순간 당신의 마음은 어땠나요? 일이 잘 진행되지 않을 때, 하지만 장기적인 비전을 보았을 때, 그것은 어떤 경험이었나요?

마크: 진짜 문제는 Llama 프로젝트와 Llama 4에서 발생했습니다.

Llama 1은 꽤 흥미로운 모델로, 전체 오픈 소스 AI 운동을 시작했습니다. 우리는 이에 대해 매우 자랑스럽습니다. Llama 2는 규모화되었고, Llama 3은 그 당시 거의 최전선 수준에 도달한 훌륭한 모델이었습니다. 그리고 Llama 4에 이르러 우리는 기본적으로 올바른 발전 궤도를 벗어났습니다.

일이 내가 예상한 방향으로 진행되지 않을 때마다, 나는 많은 시간을 들여 생각합니다: 왜 이런 일이 발생했을까? 우리가 더 잘하기 위해 무엇을 바꿔야 할까? 이번에는, 내 반성은: 전체 팀의 구조를 잘못 설정했다는 것입니다.

나는 그것을 우리가 Instagram 피드나 광고 시스템과 같은 기계 학습 작업을 하는 방식으로 모델링했습니다------수백 또는 수천 명이 많은 일에 병행하여 작업하고 있습니다. 하지만 언어 모델을 구축하는 데 필요한 것은 극히 밀접한 소규모 팀으로, 이를 팀 과학 프로젝트로 간주해야 합니다. 인원이 많을 필요는 없지만, 이는 팀 내의 모든 자리의 가치가 극히 소중하다는 것을 의미합니다.

그래서 우리는 Meta의 여러 곳에서 최고의 인재를 모았고, 업계에서 많은 뛰어난 인재를 영입하여 새로운 팀을 구성했습니다------바로 Meta 슈퍼 인텔리전스 연구소입니다.

내 관점에서 볼 때, MSL이 시작될 때, 나는 이것이 재시작하고, 인프라를 재구축하고, 다음 세대 모델을 훈련하는 데 시간이 필요하다는 것을 알고 있었습니다. 하지만 나는 우리가 훌륭한 팀을 구성했다는 것을 알고 있었고, 팀이 잘 조화되고 잘 운영된다면 결과는 좋을 것이라고 생각했습니다.

나에게 가장 스릴 넘치는 순간은, 사실 Llama 4가 발표된 후------나는 우리가 이 궤도에 있다고 생각했지만, 결과적으로 그렇지 않았습니다. 그것은 상당히 큰 부정적인 충격이었습니다. 나는 창업자로서, 이러한 순간에 항상 시험을 받게 됩니다. 왜냐하면 불가피하게 모든 일이 순조롭게 진행되지 않기 때문입니다. 그리고 발전 궤도를 결정짓는 것은: 일이 당신이 원하는 방향으로 진행되지 않을 때, 당신이 어떻게 앞으로 나아갈 방법을 찾는가입니다.

진행자: 반대로, 어떤 일이 당신의 예상보다 훨씬 뛰어날 때, 예를 들어 Muse의 출시와 같은 경우, 당신은 어떻게 그 기회를 잡을 수 있도록 보장하나요?

마크: 완전히 그렇습니다. 지금 회사 전체가 몰두하고 있습니다------처음에는 제품을 구축하는 소규모 팀이었지만, 지금은 모두가 이것이 정말로 큰 무대에 오를 준비가 되었다고 인식하고 있습니다. 전사적으로 이 제품을 어떻게 확장할 수 있을지, 수억 명이 이를 경험할 수 있도록 하는 방법에 대해 생각하고 있습니다.

모든 인프라를 최적화하여 모든 것이 원활하게 운영되도록 하고, 기존 GPU의 모든 연산 능력을 최대한 활용하며, 각 제품 팀이 다양한 방식으로 Muse를 통합하는 것------예를 들어 안경과 같은 방식으로. 모두가 힘을 합쳐 Muse가 원활하게 확장될 수 있도록 보장하는 모습을 보는 것은 정말 멋진 느낌입니다.

마크가 비전을 어떻게 작성하고 전달하는가

진행자: 창립자로서, 저는 그 순간이 당신이 가장 갈망하는 순간이라고 생각합니다------모든 것이 하나로 모이는 순간. 당신은 회사에 비전을 어떻게 전달하나요? 이렇게 많은 일을 동시에 추진하는 상황에서, 저는 당신이 많은 글을 썼다고 느낍니다. 당신의 과정은 무엇인가요?

마크: 글쓰기는 저에게 매우 도움이 됩니다. 제 생각을 정리하는 데도 도움이 되고, 외부에 전달하는 데도 도움이 됩니다. 올해 여름, 저는 "미래는 모두의 것"이라는 제목의 긴 글을 썼습니다. 약 15페이지 분량으로, AI와 관련된 여러 중요한 사회적 이슈에 대한 제 철학적 입장을 체계적으로 정리하는 데 도움이 되었습니다: 제가 좋은 것이라고 생각하는 것, 정부와의 상호작용은 어떻게 되어야 하는지, 사람들이 걱정하는 다양한 위험을 어떻게 방지할 것인지, 데이터 센터가 어떻게 지역 사회의 자산이 될 수 있는지, 진정으로 일자리를 창출하고 일자리를 없애지 않는 방법, 국가 안보를 어떻게 유지할 것인지, 사람들이 걱정하는 위험을 어떻게 실질적으로 완화할 것인지------해킹 공격이나 생물 안전과 같은 문제들입니다.

이것은 매우 복잡한 일이며, 오랜 시간이 걸렸고, 많은 사람들과 소통하며 여러 차례 수정 과정을 거쳤습니다. 내부의 많은 사람들이 토론하고 논의에 참여했습니다. 하지만 저에게는 매우 가치 있는 과정이었습니다. 결국 우리는 이렇게 하나의 결과물------15페이지 분량의 "이것이 우리가 믿는 것입니다"를 갖게 되었습니다. 그리고 저는 그것을 한 페이지 버전으로 정리하여 칼럼 기사로 발표했습니다. 우리는 또한 짧은 동영상을 제작했습니다. 왜냐하면 많은 사람들에게 다가가려면, 종종 이론적 주장을 던지는 것이 아니라, 그것을 압축하여: 당신의 가치관은 무엇인지, 당신이 믿는 것은 무엇인지, 당신이 어떻게 전달하는지를 보여주는 것이 필요하다고 생각했기 때문입니다.

회사나 세상에 이러한 측면을 전달하는 데는 일률적인 방법이 없습니다. 각 시기마다 다른 접근 방식이 필요하며, 서로 다른 집단의 사람들 중 일부는 당신이 하는 일을 자연스럽게 인정하지만, 다른 일부는 더 걱정하며, 그들을 이끌어야 하고, 왜 이것이 가치 있는 것인지 설명하는 데 추가적인 노력이 필요합니다. 저는 이것이 회사 운영의 일부이자 창립자로서의 역할이라고 생각합니다------당신은 같은 말을 반복하는 것이 아니라, 매번 상황이 약간 다르고 새로운 도전에 직면하게 되며, 이것이 부분적으로 흥미로운 이유이기도 합니다.

마크를 건설하게 하는 원동력은 무엇인가?

진행자: 저는 당신에게 이 창립자의 마음가짐이 회사 밖으로도 확장된다고 생각합니다------당신의 농장이나 새로운 기술을 배우는 것과 같은.

마크: 저는 무언가를 만드는 것을 좋아합니다.

진행자: 그렇다면 당신에게 "건설"은 어떤 느낌인가요?

마크: 저는 그것이 내면의 필요라고 생각합니다. 사람마다 자기 표현의 방식이 다릅니다. 만약 당신이 작가라면, 당신은 반드시 글을 써야 한다고 느낄 것입니다. 어떤 사람들은 인정받고자 하는 필요가 있습니다. 하지만 저는 무언가를 만드는 것이 필요합니다. 만약 제가 창의력을 발휘하지 않거나 무언가를 만들지 않는다면, 저는 성격이 나빠질 것입니다. 이는 제 주변 사람들에게 좋지 않은 경험이 될 것입니다.

진행자: 훌륭한 스키 선수가 되는 것과 제품을 구축하는 것을 배우는 것은 같은 기술인가요?

마크: 어느 정도는 그렇습니다. 새로운 것을 배우는 과정은 상당히 유사합니다. 제 인생에서 저는 의도적으로 제가 잘하지 못하는 몇 가지에 도전해왔습니다. 예를 들어, 저는 언어를 배우는 데 매우 서툴렀습니다. 이것이 제가 처음 라틴어를 배우게 된 이유입니다------저는 수업에서 프랑스어와 스페인어를 배우는 데 도저히 성공하지 못했고, 결국 "좋아, 라틴어는 말할 필요 없이 번역만 하면 되니까, 수학처럼"이라고 생각했습니다.

나중에, 제가 회사를 운영하기 시작할 때, 저는 매년 도전을 설정했으며, 그 중 하나는 표준 중국어를 배우는 것이었습니다. 표준 중국어는 정말 어렵습니다. 특히 성조 부분이 그렇습니다. 물론, 배우는 데 충분한 이유가 있습니다------프리실라의 할머니는 오직 표준 중국어만 하시기 때문에, 제가 그녀와 소통하려면 배워야 했습니다. 하지만 가장 큰 동기는 사실 도전 그 자체였습니다.

모든 이러한 일들은 당신이 단지 해야 할 뿐이며, "이해할" 수 있는 지름길은 없습니다. 당신은 시간을 투자해야 하고, 그러면 그것이 천천히 뇌에 스며들게 됩니다. 무술을 배우거나 헬리콥터를 조종하는 것도 마찬가지입니다------이러한 것들은 사실 이성적으로 "이해"하기 어려우며, 실전 경험이 필요합니다.

제품을 구축하는 것도 이러한 부분이 있습니다. 프로그래밍은 이론적으로 사고할 수 있지만, 제품을 구축하는 직관은 반복적인 실전을 통해서만 배양될 수 있습니다. 문제는 당신이 무엇을 좋아하는가입니다------왜냐하면 저는 모든 사람이 저와 같은 강한 건설 욕구를 가지고 있다고 생각하지 않기 때문입니다. 대부분의 사람들은 어느 정도의 욕구를 가지고 있으며, 중요한 것은 그것이 무엇인지 찾고, 그에 시간을 투자하여 그 일에서 뛰어나고자 하는 것입니다.

솔직히 말해서, 저는 이것이 단순히 "원하는 것"이 아니라, 더 깊은 심리적 필요나 동력이라고 생각합니다. 이 동력을 어떤 일과 일치시키고, 그 경험이 천천히 스며들도록 시간을 주는 것이 매우 중요합니다. 이것이 제가 아이들에게 가르치고자 하는 것이기도 합니다------그들이 진정으로 관심 있는 것을 찾도록 하되, 만약 그들이 벽에 부딪힌다면, 밀어주어야 합니다.

제 딸 중 한 명은 음악 창작을 매우 좋아하지만, 피아노 수업을 참지 못합니다. 저는 그녀에게 말했습니다: "당신은 피아노 마스터가 될 필요는 없지만, 음악을 창작하고 싶다면 음악 이론과 작동 방식을 직관적으로 이해해야 합니다. 그리고 일단 피아노를 배우면, 기타는 즉시 다룰 수 있습니다." 저는 아이들이 부모의 도움을 받아야 하든, 성인이든, 이러한 것들이 천천히 뇌에 스며들도록 하는 것이 중요하다고 생각합니다.

건설자의 황금 시대

진행자: 저는 사실 모든 사람이 건설하고 싶어한다고 생각합니다. 저는 Z세대가 외부에서 비판받는 것처럼------무기력한 것이 아니라, 사람들은 단지 그들의 건설력을 불러일으킬 수 있는 불꽃을 찾고 있다고 생각합니다. 당신은 하버드에서의 연설에서도 이 점에 대해 많이 언급했습니다.

마크: 네, 저는 "건설"이라고 말할 때 주로 이러한 제품------소프트웨어, 하드웨어 등을 의미합니다. 하지만 저는 동의합니다. 저는 모든 사람이 어떤 창조적 동력을 가지고 있다고 생각합니다. 그러나 어떤 사람들은 이 점을 압도하는 다른 성격 특성을 가지고 있습니다. 예를 들어, 서비스 지향적인 사람들------의사나 간호사가 되는 사람들은 그들의 핵심 동력이 "나는 단지 다른 사람을 돌보고 싶다"는 것입니다.

저는 프리실라가 의과대학에서 경험한 이야기 중 하나를 들었습니다: 학기 첫날, 누군가 일어나서 물었습니다, "어린 시절 누군가를 보고 '나는 정말 그 사람을 돌보고 싶다'고 생각한 기억이 있는 사람은 몇 명인가요?" 결과적으로 모든 사람이 손을 들었습니다. 저에게는 제 버전이 있습니다: 저는 어린 시절 "나는 이 것을 만들어서 더 좋게 만들고 싶다"는 기억이 많습니다.

모든 사람이 같은 동기를 가지고 있는 것은 아니지만, 모든 사람은 자신이 하고 싶은 일이 있습니다. 저는 동의합니다. 이전 기술 덕분에 많은 사람들에게 시작하는 것 자체가 매우 어렵습니다. 이것이 제가 개인 슈퍼 인텔리전스, Muse 및 다양한 AI 어시스턴트에 대해 가장 흥미롭게 생각하는 점입니다------저는 이것이 역사상 처음으로 사람들이 정말로 빠르게 시작할 수 있는 기회라고 생각합니다. 당신은 모호한 아이디어를 가지고 있으며, AI가 그것의 윤곽을 그리는 데 도움을 줄 수 있고, 그 후 당신은 그것을 조각하는 것입니다. 마치 조각을 만드는 것처럼, 시작하기 전에 모든 것을 이해할 필요가 없습니다.

저는 이것이 매우 강력하다고 생각하며, 많은 사람들이 이로 인해 그들이 만들고자 하거나 추진하고자 하는 것을 찾을 것입니다. 이는 사람들이 더 넓은 능동성을 느끼는 데 도움이 될 것입니다.

우리는 모든 질병을 정복하는 데 얼마나 가까운가?

진행자: 당신은 Meta 외부에서 모든 질병을 정복하는 또 다른 프로젝트를 진행하고 있습니다. 저는 궁금합니다, 첫째, 우리는 목표에 얼마나 가까운가요?

마크: 예전보다 훨씬 가까워졌습니다.

진행자: 현실적으로 얼마나 가까운가요?

마크: 우리가 이 프로젝트를 시작했을 때, 목표는 이번 세기 말까지 과학계가 모든 질병을 정복하는 데 도움을 주는 것이었습니다. 우리는 결코 스스로 하려는 것이 아니었습니다. 우리의 이론은: 모든 중대한 과학적 진보는 특정 사물을 측정하고 이해할 수 있는 새로운 도구의 선행으로 이루어집니다. 예를 들어, 현미경이 발명되었고, 그로 인해 우리는 박테리아를 이해하게 되었습니다; 망원경이 생겨나면서 우리는 우주를 이해하게 되었습니다.

이러한 도구 중 일부는 플랫폼이 되기도 했습니다------예를 들어, 최초로 백신을 발명한 사람은 이후 이 방법으로 많은 질병을 치료할 수 있게 되었습니다.

그러나 역사적으로 과학 자금 지원의 방식은 광범위하게 분산되어 있어 각 개인이 개별 탐구를 하도록 하였고, 이러한 대형 도구를 구축하는 데 필요한 자금은 많지 않았습니다. 우리는 Biohub에서 사람들이 생물학을 새로운 방식으로 "볼 수 있도록" 몇 가지 새로운 도구를 설계하여 과학계의 발전을 가속화하는 것을 시도하고 있습니다.

처음에는 "이번 세기 말까지"가 매우 확실한 목표라고 생각했지만, 많은 생물학자들은 그 당시 이것이 불가능하다고 느꼈습니다. 그러나 지금은 이번 세기 말이 너무 멀다고 생각합니다.

AI의 발전과 우리가 하고 있는 가상 세포 모델------기본 아이디어는 실제 살아 있는 세포에서 실험을 하지 않고 AI 모델을 사용하여 단백질을 시뮬레이션하고, 그 다음 세포를 시뮬레이션하며, 이후에는 가상 면역 시스템이나 전체 생명체, 심지어 전체 사람을 시뮬레이션하는 것입니다. 이는 과학자들이 많은 실험을 수행하고, 특정 약물을 복용했을 때 신체가 어떤 반응을 보일지를 시뮬레이션할 수 있게 해줄 것입니다.

정확한 연도를 제시하고 싶지는 않지만, 이번 세기 말보다 훨씬 더 빨리 이루어질 것이라고 추측합니다.

진행자: "모든 질병 정복"이라는 목표의 표현이 매우 의도적으로 느껴지며, "영생"이라는 표현은 어떻습니까? 영생은 가능할까요?

마크: 이것은 제가 깊이 연구하는 분야는 아닙니다. 저는 두 가지가 다른 문제라고 생각합니다. "영생"은 더 많은 연장에 관한 것이며------아프지 않더라도 인체 자체에는 자연적인 기대 수명이 있다는 것은 별도로 연구해야 할 문제입니다. 어떤 사람들은 이것도 일종의 "질병"이라고 생각할 수 있으며, 이는 합리적인 관점이지만, 저는 사람들이 수명 문제를 해결한 후에도 여전히 아프게 만드는 질병을 정복하기 위해 노력해야 한다고 생각합니다.

우리가 선택한 문제는 당신이 영원히 감기에 걸리지 않을 것이라는 것이 아닙니다. 우리의 주장은 "치료, 예방 또는 관리"입니다: 어떤 질병은 완전히 치료될 수 있으며; 어떤 질병은 우리가 미래에 예방할 수 있을 것이라고 생각합니다; 그리고 어떤 질병은 여전히 아플 수 있지만, 원래는 실제로 해를 끼치거나 생명을 앗아갈 수 있는 것들을 이제는 지속적인 만성 상태로 관리할 수 있어, 당신의 삶의 질에 실질적인 영향을 미치지 않게 할 수 있습니다.

목표는 인체를 균형 상태로 유지하는 것입니다------우리가 병원체에 영원히 노출되지 않는 것이 아니라, 언젠가 모든 질병을 치료하고 예방하며 관리할 수 있는 것입니다.

마크의 머릿속에 가장 자주 떠오르는 생각은 무엇인가요?

진행자: AI는 많은 다양한 돌파구에서 촉매제처럼 작용하고 있습니다. 개인 지능 측면에서 현재 가장 많이 생각하는 것은 무엇인가요? 이 과정에서 당신의 머릿속에 가장 많이 떠오르는 생각은 무엇인가요?

마크: 이것은 아마 매주 변할 것입니다.

현재 Muse에 매우 집중하고 있습니다. 매번 무언가를 발표하고, 빠르게 진행한 후, 실제 세계와 접촉하여 사람들의 피드백을 이해하고, 다음에 무엇을 해야 할지 파악하는------이 단계는 항상 흥미롭습니다. 우리는 지금 이 단계에 있으며, 많은 정보를 수집하고 사람들이 원하는 것이 무엇인지 이해하고 있습니다. 좋은 소식은 사람들이 그것을 매우 좋아한다는 것이므로, 우리는 가능한 많은 사람들이 그것을 사용할 수 있도록 노력하고 있습니다.

모델 측면에서 아직 많은 작업이 남아 있으며, Muse Spark 모델은 큰 진전을 보였고, 우리는 계속해서 추진하고 세계 최고의 모델을 만들기를 희망합니다.

다음 단계에서 필요한 돌파구는 무엇인가요?

진행자: 어떤 돌파구가 더 필요합니까?

마크: 이러한 연구는 미리 예측할 수 있는 것이 아닙니다. 우리는 특정 방향에 대한 예감이 있지만, 지난 1년의 작업은 상당히 기초 시설을 확장하는 데 중점을 두었습니다.

약 1년 반 전, 더 많은 사람들이 초지능에 도달하기 위해서는 특정 근본적인 아키텍처의 돌파구가 필요하다고 말했습니다. 그러나 지금은 그것이 성립하는지 확신이 서지 않습니다. 우리는 "레시피"에 대해 상당한 이해를 얻었다고 생각합니다------충분히 큰 슈퍼컴퓨터 클러스터를 구축할 수 있다면, 폭력적인 계산을 통해 그곳에 도달할 수 있습니다.

우리는 오하이오에서 1천 메가와트가 넘는 클러스터를 구축하고 있으며, 기본적으로 온라인 상태입니다. 우리는 이를 사용하여 다음 세대 모델을 훈련하고 있습니다. 그리고 루이지애나의 5천 메가와트 클러스터도 곧 가동될 것입니다. 제가 추정하기로는, 수천 메가와트 규모의 클러스터로 훈련을 진행하면, AGI에 근접하거나 AGI 이상의 초지능을 얻을 수 있을 것입니다.

그러나 이것이 최선의 방법이라는 의미는 아닙니다. 인간의 뇌는 10와트로 작동할 수 있지만, 우리가 구축한 이러한 계산 시스템은 효율성이 인간의 뇌보다 약 100만 배 낮습니다. 그래서 저는 아키텍처 측면에서 개선의 여지가 있다고 생각하며, 우리는 거대한 계산 능력과 아키텍처 개선을 결합하여 세계를 선도하는 것을 구축할 수 있는지를 탐구하고 있습니다. 그러나 현재로서는 규모 확장이 우리를 멀리 데려다 줄 수 있습니다.

진행자: 확실히, 규모 확장은 가장 보장된 경로입니다. 연구는 중대한 돌파구를 기대해야 하지만, 규모 확장은 빠르게 효과를 볼 수 있습니다.

마크: 그렇기 때문에 대기업들은 이 길을 선택합니다. 아마도 훨씬 더 저렴한 방법이 존재할 수 있지만, 우리는 현재 그것을 알지 못합니다. 그리고 이것은 세계에 매우 가치 있는 것이므로, 수천억 달러를 쏟더라도 실현 가능성이 충분히 높다면 여전히 가치가 있습니다------최종적으로 더 저렴한 돌파구를 찾지 못하더라도, 당신이 그것을 실현할 수 있는 명확한 경로가 있다는 것을 보장합니다. 물론, 더 저렴한 방법을 찾으면 더욱 좋습니다.

그래서 저는 이 문제가 "해결되었다"고 말하고 싶지 않습니다. 왜냐하면 인프라를 확장하는 각 단계에서 다양한 새로운 엔지니어링 문제를 해결해야 하기 때문입니다. 연구 자체가 이러한 반복적인 방식으로 진행됩니다.

AI 안전을 위한 전투에서 이기는 방법

진행자: 지금 가장 중요한 것 중 하나는 정렬(alignment)에 집중하여 모델을 신뢰할 수 있게 만드는 것입니다.

마크: 맞습니다. 정렬에 관해서는 업계에서 논쟁이 있습니다: 이러한 AI 실험실이 자연스럽게 그렇게 할까요? 제 의견은: 물론입니다. 만약 당신이 Muse에게 어떤 일을 하라고 지시했는데, 그것이 완전히 반대의 일을 한다면, 얼마나 많은 사람들이 여전히 그것을 사용하고 싶어할지 모르겠습니다. 우리는 모델이 당신이 구체적으로 무엇을 물었는지 이해할 뿐만 아니라, 당신의 의도와 가치관을 이해하도록 해야 합니다. 그래야 그것이 당신이 원하지 않는 방식으로 그 일을 하거나, 당신이 전혀 원하지 않는 부정적인 영향을 미치지 않게 됩니다. 이러한 깊은 이해는 본질적으로 정렬입니다.

그래서 제 생각은 Muse가 성공하고 수십억 사람들에게 도달하기 위해서는 정렬 측면에서 실질적인 진전을 이루어야 하며, 단순히 말로만 해서는 안 된다는 것입니다.

진행자: 정렬은 사용자가 "그것은 내가 원하는 것이 아니다"라고 말하는 것을 통해 이루어지나요, 아니면 당신들이 백그라운드에서 스스로 발견하나요?

마크: 두 가지 모두입니다. 사용자 피드백이 있지만, 점점 더 명확해지는 것은: 훈련 단계에서 정렬을 해야 하며, 단순히 배포 이후에만 해야 한다는 것입니다. 지금 모델은 충분히 똑똑하므로, 훈련 단계에서 잘 하지 않으면, 다른 실험실에서 본 안전 및 안전 사고의 대부분은 훈련 과정에서 발생하며, 사용자를 위해 배포한 이후에는 발생하지 않습니다.

당신은 그것을 위해 매우 좋은 "커리큘럼"을 만들어야 합니다. 마치 부모가 자녀를 가르치는 것처럼, 명확한 경계를 설정해야 합니다. 만약 그것이 잘못된 일을 했다면, "아니, 당신은 정말로 이 프로그래밍 문제를 해결해야 하고, 시스템 구성을 수정하여 그것을 우회하고 보상을 받는 것이 아니라"------저는 당신이 실제 문제 해결 과정을 통해 이 방법을 배우기를 원합니다. 이것이 훈련의 의미입니다.

이는 상당 부분 좋은 안전 메커니즘과 명확한 경계를 설정하는 것과 관련이 있습니다. 이러한 것들은 업계가 반드시 해야 하는 자연스러운 작업이며, 우리는 많은 시간을 투자하고 있으며, 매일 상황이 다릅니다.

진행자: 당신이 말했던 것처럼, AI 안전 문제는------최근 2주 동안 갑자기 초점이 되었지만, 사실 단일 사건이 이 시기를 촉발한 것은 아닙니다. 당신의 말은 우리가 내부에서 훈련하는 데 몇 개월을 더 보냈다는 것을 의미하는 것 같습니다.

마크: Muse에 대해 우리는 이 제품이 매우 개인 정보 보호와 안전에 주의를 기울여야 한다는 것을 알고 있습니다. 우리는 초기 모델 버전을 가지고 있으며, "정보 공개 정도"에 대한 행동을 추가로 훈련할 수 있다고 생각했습니다------우리가 이전에 이야기했던 것처럼. 그래서 우리는 그 작업에 시간을 투자했습니다. 동시에 가상 머신을 더 안전하게 만드는 데에도 시간을 투자했습니다. 이로 인해 몇 개월이 더 소요되었습니다.

저는 다른 실험실의 주장에 동의하지 않습니다------"우리는 속도를 늦추기 위해 큰 고통을 겪고 있다." 저에게는 그것이 Meta와 Muse의 사용자에게 올바른 일입니다. 우리는 제품을 잘 만들고 싶습니다. 제품이 충분히 좋지 않다면, 사용자에게도 좋지 않고, 우리에게도 좋지 않습니다------우리는 무언가를 출시하여 나쁜 첫인상을 남기고 사람들이 더 이상 관심을 가지지 않게 하고 싶지 않습니다.

저는 모든 실험실이 이 일을 제대로 해내기 위한 매우 강한 내적 동기를 가지고 있다고 생각합니다. 만약 인센티브 메커니즘과 "극도로 가치 있고 안전한" 목표가 정렬된다면, 그것이 핵심입니다.

진행자: 이 중요한 주에 시간을 내주셔서 정말 감사합니다.

마크: 감사합니다, 고맙습니다.