개발 · 2026년 11월 18일
n8n 운영 환경 최적화를 위한 PostgreSQL 전환 및 데이터 관리 전략
Docker 기반의 가상 사설 서버에서 n8n 인스턴스를 운영하던 사용자가 시스템 성능 저하 문제를 해결하기 위해 설정을 변경했습니다. 해당 인스턴스는 Groq를 통한 채용 공고 점수 산정 및 Telegram 알림, 웹후크를 통한 신청서 접수라는 두 가지 주요 프로세스를 처리하고 있었습니다.
초기에는 기본 설정인 SQLite를 사용했으나, 프로세스 수가 증가하고 실행 시간이 겹치면서 데이터베이스 잠금 현상이 발생했습니다. SQLite의 단일 스레드 쓰기 방식 때문에 웹후크 요청이 몰리거나 5분 간격의 예약 작업이 실행될 때 대기열이 쌓였으며, 이는 인터페이스 지연으로 이어졌습니다.
이를 해결하기 위해 데이터베이스를 PostgreSQL로 교체했습니다. 사용자는 서비스 테이블과 비즈니스 데이터를 분리하기 위해 별도의 스키마를 적용했으며, 연결 풀을 10개로 늘려 병렬 실행 시의 병목 현상을 제거했습니다. 이를 통해 파일 기반 데이터베이스에서 다중 사용자 데이터베이스로 전환하며 잠금 문제가 사라졌습니다.
데이터 축적 문제 해결을 위해 가지치기 설정을 도입했습니다. n8n은 기본적으로 모든 실행 데이터를 저장하여 실행 테이블이 계속 커지는 특성이 있습니다. 사용자는 성공한 실행 데이터는 저장하지 않고 오류가 발생한 데이터만 유지하도록 설정했으며, 보관 기간을 720시간으로 제한하여 데이터 증가 추세를 안정화했습니다. 다만 성공한 실행 기록이 남지 않아 디버깅이 어려워지는 점을 보완하기 위해 주요 단계의 핵심 정보만 별도 테이블에 기록하는 방식을 채택했습니다.
실행 시간 관리와 외부 API 대응책도 마련했습니다. 무한정 실행되는 워크플로우를 방지하기 위해 전역 타임아웃과 최대 타임아웃 제한을 설정했습니다. 또한 Groq API의 분당 요청 제한으로 인해 발생하는 429 오류를 해결하기 위해 데이터를 배치 단위로 나누고, 반복 사이에 대기 시간을 두며, 실패 시 재시도하는 로직을 구현했습니다.
마지막으로 단일 프로세스 구조의 한계를 극복하기 위해 큐 모드 도입을 준비했습니다. 큐 모드는 메인 프로세스, Redis 큐, 워커로 역할을 분산하여 처리 능력을 높이는 방식입니다. 사용자는 워커당 동시 실행 수를 설정하고, 웹후크 응답을 즉시 보낸 뒤 비동기적으로 작업을 처리하도록 구성하여 클라이언트 측의 타임아웃 발생을 방지하는 전략을 세웠습니다.