AI 인프라 Archives - 감자나라ai

NVIDIA와 SK그룹이 5,000억 달러 넘는 AI 이니셔티브를 공개했습니다. SK텔레콤의 2GW 데이터센터, Vera Rubin, SK하이닉스 HBM4 협력이 한국 AI 인프라에 미칠 영향을 정리합니다.

AMD Helios가 생산 단계에 들어갔습니다. MI455X GPU 72개와 EPYC Venice CPU 18개를 묶은 AI 랙이 NVIDIA 중심 시장에 미칠 영향을 공식 발표 기준으로 정리합니다.

OpenAI가 2030년까지 AI 인프라에 7,500억 달러를 투입할 계획입니다. 조지아 Project Camellia의 200억 달러 캠퍼스와 3.2기가와트 전력 수요, 지역사회 비용 책임과 향후 관전 포인트를 핵심만 정리합니다.

처리량은 AI 시스템이 일정 시간 동안 처리하는 요청이나 토큰의 전체 양입니다. 레이턴시·동시성·레이트 리밋·배치 처리와의 차이, 측정 단위와 실전 점검법을 설명합니다.

NVIDIA BlueField와 DOCA가 에이전트형 AI 환경에서 네트워크·보안·스토리지·KV 캐시의 데이터 흐름을 어떻게 지원하는지, AI 팩토리 설계와 운영 점검 기준을 중심으로 정리합니다. 도입 전 확인할 사항도 알아봅니다.

NVIDIA Vera Rubin 공식 발표를 바탕으로 포스트트레이닝이 AI 에이전트의 토큰 비용과 업무 완료 단가에 왜 중요한지, 기업 AI 운영에서 점검해야 할 효율·재시도·처리량 지표를 정리합니다.

Meta와 Anthropic이 논의 중인 최대 100억 달러 규모의 AI 컴퓨팅 임대 협상설을 통해 데이터센터·GPU·전력이 모델 경쟁의 핵심 자산으로 바뀌는 흐름과 기업이 확인할 인프라 전략을 정리합니다.

Reuters는 미국 정부 관계자를 인용해 NVIDIA H200의 중국 출하가 시작됐다고 보도했습니다. 이 움직임은 AI 칩 수출 규제와 글로벌 GPU 공급망의 변화를 다시 살펴보게 합니다. 다만 물량과 판매 조건은 후속 공식 발표로 확인해야 합니다.

NVIDIA가 공개한 하드웨어 친화적 LLM 설계 원칙을 바탕으로, 모델 구조와 GPU 활용 방식이 AI 추론의 처리량·응답 지연·운영 비용에 미치는 영향과 기업의 인프라 선택 기준을 쉽게 정리합니다.

Claude 모델이 Microsoft Foundry에서 일반 제공되며 Azure와 NVIDIA GB300 Blackwell Ultra 기반으로 기업용 AI 에이전트 인프라 경쟁이 본격화되고 있습니다.

Tag Archives: AI 인프라