비탈릭이 로컬 개인 LLM 솔루션을 공유하며 프라이버시와 보안을 우선시한다고 강조했습니다

비탈릭 부테린은 2026년 4월까지의 로컬화, 프라이버시화 LLM 배포 계획을 공유하며, 핵심 목표는 프라이버시, 보안 및 자율성을 전제로 하여 원격 모델 및 외부 서비스가 개인 데이터에 접촉할 기회를 최대한 줄이고, 로컬 추론, 파일 로컬 저장 및 샌드박스 격리 등의 방법을 통해 데이터 유출, 모델 탈옥 및 악의적인 콘텐츠 활용 위험을 줄이는 것이다.

하드웨어 측면에서, 그는 NVIDIA 5090 GPU가 탑재된 노트북, AMD Ryzen AI Max Pro 128 GB 통합 메모리 장치 및 DGX Spark 등의 솔루션을 테스트했으며, Qwen3.5 35B 및 122B 모델을 사용하여 로컬 추론을 수행했다.

그 중 5090 노트북은 35B 모델에서 약 90 tokens/s에 도달할 수 있으며, AMD 솔루션은 약 51 tokens/s, DGX Spark는 약 60 tokens/s이다. 비탈릭은 고성능 노트북을 기반으로 로컬 AI 환경을 구축하는 것을 선호하며, llama-server, llama-swap 및 NixOS 등의 도구를 사용하여 전체 워크플로를 구축하고 있다.