/tools/pdf-chat을 만들기 시작했을 때, 제품 설명은 스스로 완성됐습니다: Gemini 2.5 Flash는 백만 개의 토큰 컨텍스트 윈도우를 가지고 있습니다. 1,500페이지 분량의 PDF를 한 번에 넣고 전체 문서에 대해 하나의 프롬프트로 대화할 수 있습니다. 청킹, RAG, 임베딩 파이프라인, 검색 오류가 전혀 필요 없습니다. 마법 같죠.
하지만 계산해보면, 마법은 꽤 비쌉니다.
이 글은 백만 토큰 컨텍스트를 실제로 실행하는 데 드는 비용이 얼마인지, 이것이 어떻게 GeminiOmni의 가격 구조를 결정지었는지, 그리고 전통적인 청킹 기반 RAG가 여전히 정답인 경우가 언제인지에 대한 내부 사정을 파헤친 글입니다. 긴 문서를 다루는 어떤 것을 구축 중이라면, 티어 구조를 확정짓기 전에 반드시 이해해야 할 트레이드오프입니다.
핵심 숫자
현재 가장 저렴한 주류 1M 컨텍스트 모델인 Gemini 2.5 Flash의 가격은 입력 토큰 백만 개당 $0.30, 출력 토큰 백만 개당 $2.50입니다. 제가 아는 가장 낮은 공개 1M 컨텍스트 가격이며, 같은 컨텍스트 크기에서 Gemini 2.5 Pro보다 8배 저렴합니다.
백만 토큰은 엄청난 양의 토큰입니다. 구체적으로는:
- 백만 토큰 ≈ 750,000 영어 단어 ≈ 1,500 페이지 분량의 산문 ≈ 3,000 페이지 분량의 조밀한 학술 논문
- 일반적인 스캔 PDF(모델이 이미지를 OCR로 처리해야 하는 경우)의 경우, 이미지 자체도 토큰 예산을 소비하기 때문에 백만 토큰당 800~1,000페이지 정도로 예상해야 합니다.
이제 공개적으로 하고 싶지 않은 계산을 해보겠습니다:
- 200페이지 분량의 PDF(약 130k 토큰)를 한 번 전송하는 비용은 $0.039입니다. 약 4센트. 저렴합니다.
- 1,500페이지 분량의 PDF(약 980k 토큰)를 한 번 전송하는 비용은 $0.294입니다. 30센트.
- 후속 질문 10개를 할 경우, 각 질문마다 전체 PDF를 컨텍스트로 다시 전송하므로, 1,500페이지 문서의 비용은 $2.94입니다. 3달러.
마지막 숫자가 제 가격 모델을 망가뜨렸습니다.
후속 질문이 전체 PDF를 다시 전송하는 이유
이것은 1M 컨텍스트에 대해 열광적으로 글을 쓰는 블로거들이 언급하지 않는 부분입니다. Gemini의 컨텍스트 윈도우는 세션별이 아니라 호출별입니다. 다음 메시지를 위해 문서를 보관하는 영구적인 서버 측 상태는 없습니다.
채팅 세션에서 두 번째 질문을 할 때, 클라이언트는 전체 PDF와 새로운 질문, 그리고 모델의 이전 답변(연속성을 유지하기 위해)을 다시 전송해야 합니다. 모든 턴은 첫 번째 턴과 거의 동일한 비용이 듭니다. 캐싱 할인은 없습니다.
Google은 이 문제를 해결하기 위해 "컨텍스트 캐싱" 기능을 출시했습니다. 긴 입력을 최대 한 시간 동안 캐시하고 재사용 시 호출당 더 낮은 요금을 지불할 수 있습니다. 하지만 캐시 자체도 무료는 아닙니다. Flash의 경우 캐시 스토리지 비용은 시간당 백만 토큰당 약 $1입니다. 1,500페이지 문서의 경우, 캐시를 유지하는 데 시간당 약 $1이 듭니다.
이로 인해 세 가지 실제 시나리오가 도출됩니다:
- 새 문서에 대한 일회성 질문. 질문당 $0.04~$0.30. 정말 저렴합니다. 가치가 있습니다.
- 새 문서에 대한 10개 질문 채팅 세션, 캐싱 없음. $0.40~$3.00. 유료 기능으로는 여전히 허용 가능하지만, 무료 기능으로는 가혹합니다.
- 1,500페이지 문서에 대한 30개 이상의 질문이 포함된 1시간 심층 분석. 캐싱 활성화 시: 약 $1 유지 비용 + 턴당 $0.05 = 총 약 $2.50. 캐싱 없음: $9. 세션 길이가 특정 임계값을 넘으면 캐싱이 중요해집니다.
청킹 RAG가 실제로 더 저렴한 경우
이것은 이단적인 부분입니다: 일부 워크로드의 경우, 구식 청크 + 임베드 + 검색 파이프라인이 1M 컨텍스트보다 훨씬 저렴합니다.
구체적으로, 안정적인 문서 코퍼스(매번 새로 업로드하는 것이 아님)와 많은 사용자가 많은 질문을 하는 경우 RAG가 유리합니다:
- 코퍼스 임베딩: Gemini Embedding 2는 1M 토큰당 $0.20입니다. 1,500페이지 문서를 한 번 임베딩하는 데 $0.20이 들며, 벡터를 영구 저장합니다.
- 질문당: 상위 5개 청크(약 5k 토큰)를 검색하여 Gemini 2.5 Flash로 전송합니다. 질문당 비용: 약 $0.0015. 1센트의 10분의 1입니다.
- 1M 컨텍스트 대비: 전체 문서를 다시 전송하면 질문당 $0.30.
고정된 지식 베이스를 기반으로 하는 고객 지원 봇의 경우, RAG가 200배 저렴합니다. 사용자가 방금 업로드한 새 논문을 읽는 연구助手의 경우, RAG의 임베딩 오버헤드는 상쇄되지 않으며 1M 컨텍스트가 유리합니다.
결정 규칙:
| 워크로드 | 사용 |
|---|---|
| 사용자가 일회성 문서를 업로드하고 1~10개의 질문을 함 | 1M 컨텍스트 (임베딩 설정 불필요, 모든 검색은 모델이 처리) |
| 정적 지식 베이스, 많은 사용자, 많은 질문 | RAG (모든 쿼리에 임베딩 비용 분산) |
| 사용자가 여러 문서를 업로드하고 문서 간 추론을 원함 | 1M 컨텍스트 (RAG 검색은 문서 간 참조를 놓침) |
| 단일 조밀한 문서에 대한 컴플라이언스/법률 검토 | 1M 컨텍스트 (RAG는 청크 경계를 통해 중요한 조항을 놓칠 수 있음) |
GeminiOmni의 PDF 채팅은 확실히 "일회성 업로드, 1~10개 질문" 영역에 속합니다. 그래서 우리는 무조건 1M 컨텍스트를 사용합니다.
이것이 가격 티어를 어떻게 결정지었는가
페이지당 계산을 내재화하고 나니, PDF 도구의 티어 구조는 거의 기계적으로 도출되었습니다:
무료 티어: 200페이지 미만, 질문 무제한. 200페이지 PDF는 질문당 약 $0.04입니다. 한 달에 100개의 질문을 하는 헤비 무료 사용자라도 나에게 $4의 비용이 듭니다. 이는 지속 가능한 획득 비용입니다. 무료에서 Pro로의 전환율을 감안하여 감수할 수 있습니다.
Pro 티어: 월 $9, 문서 길이 무제한, 질문 무제한. 앵커 케이스: 사용자가 한 달에 1,500페이지 문서 3개를 업로드하고 각각에 대해 30개의 질문을 함 = 90개 질문 × 약 $0.30 = $27. 이는 단위 경제성을 역전시킵니다. 두 가지가 이를 구제합니다:
- 대부분의 Pro 사용자는 실제로 한계까지 사용하지 않습니다. 90번째 백분위수의 헤비 사용자는 나에게 약 월 $4의 비용이 듭니다. 평균은 약 $0.80에 가깝습니다.
- 컨텍스트 캐싱은 긴 세션의 질문당 비용을 약 4배 절감합니다.
가장 헤비한 Pro 사용자에게서 얇은 마진을 감수하는 것은 그들이 제품이 얼마나 잘 작동하는지에 대해 가장 큰 소리로 말하고 팀원들을 전환시키기 때문입니다. 상위 10%에서 최대 마진을 추출하려고 하면 그들을 위한 제품을 망치는 것이 됩니다.
Team 티어: API 액세스가 있는 3석에 월 $79. 여기에 실제 마진이 있습니다. 팀은 동일한 사용 프로필에 대해 Pro 사용자보다 4배를 지불합니다. 협업, API 액세스, SLA에 대한 비용을 지불하기 때문이지, 원시 추론 비용 때문이 아닙니다. 이는 Notion, Linear 및 다른 모든 팀 티어 SaaS가 작동하는 방식과 일치하기 때문에 저는 이에 만족합니다.
오늘 다시 구축한다면 다르게 할 점
두 달 동안 계산을 실행한 후에야 페이지에 담을 용기가 생긴 몇 가지 의견이 있습니다.
사용자에게 질문당 비용을 표시하세요. 사용자가 1,500페이지 문서를 업로드할 때 UI는 "이 문서에 대한 각 질문은 약 1크레딧이 소요됩니다."라고 표시해야 합니다. 사용자로부터 비용을 숨기면 도덕적 해이가 발생합니다. 5개만으로 충분할 때 50개의 질문을 하고, 저는 마진을 먹게 됩니다. 투명한 가격 책정은 이를 자체적으로 규제합니다.
500페이지가 넘는 문서에는 기본적으로 캐싱을 활성화하세요. 세션 길이 세션에서 4배 비용 절감 효과는 "캐싱 활성화"가 파워 유저 토글이 되어서는 안 될 정도로 큽니다. 기본 동작이어야 하며, 개인 정보 보호를 위해 "캐시 비활성화" 옵트아웃을 신경 쓰는 소수 사용자를 위해 제공해야 합니다.
"무제한"을 약속하지 마세요. 저는 Pro 요금제에 "PDF 채팅 무제한 페이지"라고 적는 실수를 저질렀습니다. 이제 이는 부담스러운 문구가 되었고, 가장 헤비한 사용자에게도 단위 경제성을 맞춰야 합니다. 미래의 나는 "문서당 최대 5,000페이지, 월간 사용량에 대한 합리적 사용 한도"라고 작성했을 것입니다. 다음 제품을 위한 교훈으로 기록해 둡니다.
다음 읽을거리
— Lena
