참관 후기와 현장에서 만난 사람들 이야기에 이어, 이제 세션 리뷰를 시작합니다.
첫날 키노트는 9시 30분 오프닝부터 10시 25분 클로징까지 약 한 시간 동안 일곱 개 발표가 숨 가쁘게 이어졌습니다. 3분짜리 라이트닝 형식이 대부분이라 개별로 나누기보다 주제별로 묶어 읽는 편이 낫다고 판단했고, 두 편으로 나눠 정리합니다.
이번 글에서는 오프닝 키노트와 "자원의 한계"를 다룬 두 발표를 다룹니다.
🎤 오프닝 : "Keep Cloud Native Moving"
Linux Foundation의 Jonathan Bryce(Executive Director)와 Chris Aniszczyk(CTO)가 25분을 채웠습니다.
Aniszczyk가 정리한 CNCF 현황 중 눈에 띈 숫자입니다.
- 지난 6개월 사이 생태계 개발자가 1,500만 명에서 약 2,000만 명으로 40% 성장
- 그중 일본 개발자가 약 95만 명, CNCF 프로젝트 기여도 세계 10위
- Kyverno, OpenTelemetry, Kubeflow가 나란히 졸업
- NVIDIA가 플래티넘 멤버로 합류하며 CNCF 프로젝트용 GPU에 400만 달러 기부
일본 관련해서는 「State of Cloud Native in Japan」 리포트를 별도로 발간했다고 소개하며 Keycloak 기여가 두드러진다고 언급했는데, 둘째 날 Hitachi 키노트를 보고 빈말이 아니었다는 걸 알았습니다.
📊 뒤집힌 그래프 하나
이어서 Bryce가 AI 이야기를 받았습니다. 이 파트의 그래프 한 장이 이번 KubeCon 전체를 관통하는 메시지였습니다.
AI 컴퓨트 배분이 뒤집혔습니다. 2년 전에는 학습 2/3에 추론 1/3이었는데 올해 정확히 반대가 됐습니다. McKinsey 추정으로는 2030년까지 추론 전용 컴퓨트만 93.3GW가 필요한데, 지금 전 세계 모든 컴퓨트를 합친 것보다 큰 규모입니다.
그리고 이어진 문장이 핵심입니다. 추론 워크로드의 성격 — 상시 가동, 성능 보장, 버스트 트래픽 대응 — 은 클라우드 네이티브 커뮤니티가 지난 10년간 풀어온 문제와 정확히 같다는 것.
Kubernetes는 AI를 위해 설계되지 않았습니다. 분산 시스템을 위해 설계됐고 AI가 마침 그런 워크로드였을 뿐이라는 관점이 이번 행사 전체에서 가장 자주 반복된 프레임이었습니다.
또 하나 인상적이었던 건 효율 개선이 하드웨어보다 소프트웨어 계층에서 나오고 있다는 지적이었습니다. vLLM, Kubernetes 같은 오픈소스가 지금 가장 큰 이득을 만들어내고 있다는 것. 그래서 오픈소스 커뮤니티의 작업이 AI를 지속 가능하고 효율적으로 만드는 데 중요하다는 논지로 이어졌습니다.
구체적 사례로 llm-d 프로젝트를 소개했습니다. 가장 널리 쓰이는 추론 엔진인 vLLM을 수평 확장하는 프로젝트인데, 캐싱과 지능형 라우팅 덕분에 GPU에 단순 로드밸런싱하는 것보다 수 배 나은 성능이 나온다고 합니다.
그리고 AI Conformance 프로그램. Kubernetes 컨포먼스가 100개 넘는 제품에 일관성을 준 것처럼, AI 워크로드도 어느 환경에서 띄우든 일관되게 동작하도록 만들겠다는 계획입니다.
♾️ 무한한 에이전트, 유한한 Kubernetes
Infinite Agents, Finite Kubernetes — Mohammad Mikal Bin Amrul Halim Gan (SoftBank)
3분인데 문제 정의가 선명했습니다.
이제 우리는 단독 AI 애플리케이션이 아니라 서브 에이전트를 스폰하고 머신 속도로 서로 통신하는 자율 에이전트 생태계를 호스팅하게 됩니다. 인프라 관점에서는 완전히 새로운 워크로드 프로파일입니다. 무거운 연산 파드가 다수 생성되고, 즉시 처리하고, 사라집니다. 이 변동성이 컨트롤 플레인에 그대로 부하가 됩니다.
그런데 수요는 무한한데 데이터센터는 무한히 지을 수 없습니다. 공간, 전력, 자본에 엄격하게 캡이 걸려 있습니다. 그래서 자원 효율이 유일한 활로라는 것.
여기서 짚은 역설이 이 발표의 핵심입니다.
역사적으로 격리를 강화하면 자원 효율이 떨어졌습니다. 보안을 위해 환경을 나누면 사용률이 급락하고 비용이 치솟았죠. 그런데 AI 시대에는 보안을 타협할 수 없습니다. 그러니 격리를 유지하면서 동시에 효율의 정점을 노려야 한다는 게 지금의 엔지니어링 과제라는 겁니다.
제시한 방향은 이렇습니다. 여러 워크스페이스를 그냥 공유 환경에 모으면 경계가 겹치면서 자원 경합, 지연 스파이크, 보안 취약점이 서로 번져 들어갑니다. 대신 워크로드마다 하드 인포스드 경계를 두되 하드웨어를 채울 만큼 조밀하게 패킹해야 한다는 것.
그리고 여러 시설로 확장하면 한쪽은 한계에 부딪히고 다른 쪽은 놀게 됩니다. 그 경계 규격을 인프라 전반에 표준화하면 보안 태세를 유지한 채 워크로드를 시설 간 동적으로 재배치할 수 있다는 게 결론이었습니다.
마무리 문장이 이 세션 전체를 요약합니다. "유한한 하드웨어, 무한한 능력."
🖥️ GPU 중심 인프라로의 전환
The Next Evolution of Kubernetes: GPU-Centric Infrastructure for AI Workloads — Takao Indoh (Fujitsu)
바로 다음 순서였던 후지쯔는 같은 문제를 하드웨어 쪽에서 풀었습니다.
AI 플랫폼을 둘러싼 환경이 매일 바뀌는데 핵심 이슈는 자원 비용 급등입니다. GPU 비용, 메모리 비용, 전력 비용이 동시에 오릅니다. 이런 제약 아래서 가용 자원을 최적으로 쓰려면 CPU 중심 인프라에서 GPU 중심 인프라로 전환이 필요하다는 진단입니다.
후지쯔의 답은 동적 자원 구성(Dynamic Resource Composition) 입니다.
- 소프트웨어 계층 — CoHDI: AI 워크로드에 맞춰 하드웨어를 동적으로 스케일 업/다운하는 오픈소스
- 하드웨어 계층 — 컴포저블 하드웨어: 요구에 따라 하드웨어를 자유롭게 조합
이 두 계층을 합쳐 워크로드 기반으로 자원 사용과 전력 소비를 최적화한다는 구상입니다.
프로젝트 소식도 있었습니다. CoHDI가 CNCF Sandbox 프로젝트로 승인됐고 인큐베이팅 승격이 목표라고 합니다. 향후 과제로 다른 오픈소스와의 통합, 지원 디바이스 확대를 들었고요. 3층 솔루션 쇼케이스의 Fujitsu 부스에서도 같은 이야기를 하고 있었습니다.
🛫 마치며
두 발표를 붙여놓고 보면 흥미롭습니다. SoftBank는 소프트웨어에서 경계를 표준화하는 접근이고, 후지쯔는 하드웨어에서 구성 자체를 유연하게 만드는 접근입니다. 방향은 정반대인데 같은 벽을 양쪽에서 두드리고 있습니다.
그 벽이 무엇인지도 분명했습니다. 전력, 공간, 자본. 클라우드 네이티브 컨퍼런스 첫날 오전부터 이런 물리적 제약 이야기가 나온다는 게 이번 행사의 성격을 잘 보여줬다고 생각합니다.
다음 글에서는 첫날 키노트 후반부, 일본 기업들이 실제로 Kubernetes 위에 AI와 대규모 플랫폼을 올린 사례 네 편을 다룹니다.