← 글 목록

구글 TPU 8세대, 학습용과 추론용 칩은 왜 나뉘었나

쉽게 읽는 IT4분 분량

구글이 8세대 TPU를 학습용과 추론용으로 나눠 내놓았습니다. AI 칩의 두 가지 일과 이번 11월 발표의 의미를 쉽게 풀었습니다.

이번 주 IT 소식 가운데 구글이 8세대 TPU에 새 구성 두 가지를 더했다는 발표가 눈에 띄었습니다. TPU는 구글이 AI 계산을 위해 직접 설계한 칩입니다. 이 글에서는 AI 칩이 하는 일을 '학습'과 '추론'으로 나눠 설명하고, 구글이 왜 칩을 용도별로 나누기 시작했는지 살펴봅니다. 칩의 세부 사양보다 큰 흐름을 이해하는 데 초점을 두었습니다.

TPU는 어떤 칩인가

컴퓨터의 CPU는 무엇이든 해내는 만능 일꾼에 가깝습니다. 반면 TPU는 AI가 가장 많이 하는 계산, 곧 아주 큰 숫자 표를 곱하고 더하는 일에 맞춰 만든 전용 도구입니다. 만능 칼보다 회 뜨는 칼이 생선을 더 잘 다루는 것과 비슷합니다. 대신 용도가 좁아서, 구글은 이 칩을 자사 서비스와 클라우드 고객에게 제공합니다.

AI에게는 두 종류의 일이 있다

AI 모델이 하는 일은 크게 둘로 나뉩니다.

  • 학습: 방대한 자료를 보면서 모델을 만드는 단계입니다. 학교에서 오랫동안 공부하는 시기에 비유할 수 있습니다. 칩을 아주 많이 묶어서 오래 돌립니다.
  • 추론: 만들어진 모델이 실제 질문에 답하는 단계입니다. 공부를 마치고 창구에서 손님을 맞는 일에 가깝습니다. 한 번 한 번의 응답이 얼마나 빨리 나오는지가 중요합니다.

공부할 때 필요한 능력과 창구에서 필요한 능력은 다릅니다. 앞쪽은 많은 칩이 함께 오래 버티는 힘이, 뒤쪽은 기다림 없이 바로 답하는 반응 속도가 중요합니다.

학습은 학교에서 공부하는 단계, 추론은 창구에서 손님을 맞는 단계로 비유해 두 칩의 목표를 비교한 그림
학습과 추론은 요구하는 능력이 다릅니다

4월에 나온 두 칩

구글은 2026년 4월 클라우드 행사에서 8세대 TPU를 발표하면서, 처음으로 칩을 두 가지로 나눴다고 밝혔습니다. 구글 클라우드 블로그의 설명을 정리하면 다음과 같습니다.

  • TPU 8t (학습용): 한 묶음(슈퍼팟)에 칩 9,600개를 연결할 수 있고, 프로그래밍 도구인 Pathways와 JAX를 쓰면 칩 100만 개 이상을 하나의 클러스터로 쓸 수 있다고 합니다. 구글은 이를 두고 몇 달 걸리던 학습을 몇 주로 줄일 수 있다고 설명합니다.
  • TPU 8i (추론용): 칩 안의 빠른 메모리(SRAM)를 384MB로 늘리고, 큰 메모리(HBM)는 288GB를 실었습니다. 구글은 이전 세대보다 달러당 추론 성능이 80% 좋아졌다고 밝혔습니다.

두 칩 모두 당시에는 곧 클라우드 고객에게 제공될 예정이라고 안내되었습니다. 성능 수치는 구글이 직접 발표한 것이므로, 실제 서비스에서 어떻게 나올지는 따로 확인이 필요합니다.

11월에 더해진 두 가지 구성

구글 클라우드는 11월 10일자 블로그에서 구성 두 가지를 더 소개했습니다. 이로써 한 해에 TPU 시스템이 네 가지가 되었는데, 구글은 이것이 처음 있는 일이라고 적었습니다.

  • TPU 8tx: 학습용 8t와 같은 반도체를 쓰면서, 민감한 데이터를 다루는 추론에 맞춘 구성입니다. 사용 중인 데이터와 모델 가중치를 하드웨어 수준에서 보호하는 것이 핵심이며, 규제가 엄격한 기업이나 정부 기관을 겨냥했다고 합니다. 구글은 8t보다 지연 시간이 최대 2배 낮다고 설명합니다.
  • TPU 8i Max: 8i 칩 두 개를 한 패키지에 묶어 계산 능력과 메모리 대역폭을 두 배로 키운 구성입니다. 백만 토큰 규모의 아주 긴 입력을 한 번에 다루는 용도를 내세웠습니다.

여기서 눈여겨볼 점은 새 칩이 완전히 새로운 구조라기보다, 같은 계열의 칩을 용도에 맞게 조합한 구성이라는 것입니다.

8세대 TPU 네 가지 구성인 8t, 8i, 8tx, 8i Max의 용도와 발표 시기를 한 줄씩 정리한 그림
8세대 TPU의 네 가지 구성

독자가 가져갈 점

AI를 쓰는 입장에서 이 소식이 주는 의미는 두 가지라고 생각합니다.

  1. AI가 보편화될수록 '모델을 만드는 일'보다 '매일 수많은 질문에 답하는 일'의 비중이 커지고, 칩도 그 일에 맞게 나뉘고 있습니다.
  2. 같은 추론이라도 보안이 중요한 곳과 긴 문서를 다루는 곳은 필요한 조건이 달라서, 구성이 더 잘게 나뉩니다.

다만 이런 발표의 성능 수치는 제조사가 밝힌 것이며, 고객이 실제 업무에서 같은 결과를 얻는지는 별개의 문제입니다. 이 글도 구글 공식 블로그에 적힌 내용을 풀어 쓴 것이므로, 정확한 사양은 아래 원문에서 확인하시기 바랍니다.

참고한 자료

  • #TPU
  • #AI칩
  • #구글클라우드
  • #추론
  • #학습
  • #인공지능