---
title: 현대 인공지능 서비스의 서버 인프라 구조와 작동 원리
url: https://www.dataloco.com/ko/story-94
published: 2026-11-01T08:40:27+00:00
language: ko
section: AI
source: https://habr.com/ru/companies/selectel/articles/1099322/?utm_campaign=1099322&utm_source=habrahabr&utm_medium=rss
organizations: Selectel, OpenAI, Anthropic
publisher: Dataloco
---

# 현대 인공지능 서비스의 서버 인프라 구조와 작동 원리

Selectel의 전용 서버 제품 관리자인 세르게이 코발료프는 인공지능 서비스의 서버 인프라가 단순히 대규모 램을 갖춘 그래픽 처리 장치와 대규모 언어 모델, 에이전트로만 구성되는 것이 아니라 부하 분산 장치, 응용 프로그램 인터페이스, 엔지넥스 등 다양한 구성 요소의 결합으로 이루어져 있다고 설명했습니다.

사용자가 요청을 보내면 가장 먼저 응용 프로그램 인터페이스 게이트웨이가 작동합니다. 이 시스템은 인증 토큰, 요청 출처, 요청된 모델 등을 확인하여 유효성을 검증합니다. 이는 잘못된 요청이 고비용의 그래픽 처리 장치 연산을 소모하지 않도록 차단하는 필터 역할을 수행합니다.

이후 부하 분산 장치가 요청을 가장 여유 있는 서버 그룹으로 전달합니다. 언어 모델은 응답 길이에 따라 처리 시간이 다르기 때문에, 단순히 연결 수를 세는 것이 아니라 활성 생성 수와 각 서버 그룹의 대기열 길이를 계산하여 부하를 분산합니다. 또한 레디스와 같은 별도의 메모리 저장소를 사용하는 속도 제한기가 특정 사용자가 자원을 독점하는 것을 방지합니다. Anthropic의 경우 분당 요청 수, 분당 입력 토큰 수, 분당 출력 토큰 수의 세 가지 기준을 사용합니다.

이러한 초기 단계는 엔보이와 같은 도구나 자체 개발 시스템을 통해 일반적인 x86 서버에서 처리됩니다. Selectel은 AMD EPYC 9135 프로세서와 DDR5 ECC Reg 메모리를 탑재한 16코어 서버와 같은 장비를 통해 이러한 부하 분산 및 트래픽 필터링 서비스를 제공합니다.

모델 단계에 진입하기 전에는 문맥 관리 시스템이 작동합니다. 인공지능 모델은 이전 메시지를 기억하지 못하므로, 이 시스템이 대화 기록을 저장했다가 새로운 메시지와 함께 전체 대화 내용을 모델에 전달합니다. 모델의 작업 기억 장치인 문맥 창은 토큰 단위로 측정되며, 대화가 길어질수록 처리해야 할 토큰이 많아져 비용이 증가하고 속도가 느려집니다.

OpenAI는 해비태트라는 저장 플랫폼을 통해 이러한 데이터를 관리합니다. 이 플랫폼은 초당 7,000만 건 이상의 요청을 처리하며, 주당 10억 명 이상의 사용자와 40개 이상의 지역, 500 페타바이트 이상의 데이터를 관리하는 규모를 갖추고 있습니다.