클라우드 · 2026년 11월 4일
AWS, S3 대용량 파일 전송을 위한 오픈소스 도구 File Mover Express 공개
AWS가 최근 Apache 2.0 라이선스 하에 오픈소스 애플리케이션인 File Mover Express를 출시했다. 이 도구는 로컬 시스템과 Amazon S3 간 대용량 파일 전송을 지원하며, macOS, Windows, Linux 환경에서 사용할 수 있다. 주요 기능으로는 병렬 전송, 자동 성능 튜닝, 재시도, 일시 정지 및 재개, 파일 무결성 검증이 포함된다.
File Mover Express의 핵심은 데몬 기반 전송 엔진으로, 전송 작업을 데스크톱 세션과 분리한다. 이 데몬은 워크스테이션, 데이터센터 서버, 또는 Amazon EC2 인스턴스 등 사용자가 선택한 머신에서 실행되며, 드래그 앤 드롭 방식의 그래픽 사용자 인터페이스(GUI) 또는 스크립팅이 가능한 명령줄 인터페이스(CLI)를 통해 암호화되고 비밀번호로 보호된 연결을 사용해 제어할 수 있다. 이 도구는 Go 언어로 전송 엔진을, TypeScript와 Angular로 그래픽 인터페이스를 개발했다. 또한 MCP를 통한 AI 어시스턴트 통합과 OIDC 기반 인증을 지원한다.
미디어 팀은 온프레미스 저장소와 클라우드 간 테라바이트 단위의 자산을 정기적으로 전송하며, 이는 종종 엄격한 마감 기한과 함께 진행되며 초기 사용자 또는 머신이 연결을 끊은 후에도 계속되어야 하는 프로세스를 포함한다. 기존 전송 클라이언트는 데스크톱 세션이 종료되면 중단될 수 있으며, 상용 대안은 라이선스 비용, 독점 프로토콜, 또는 제3자 인프라를 도입할 수 있다. File Mover Express는 업로드와 다운로드를 모두 지원하여 팀이 Amazon S3로 대용량 파일을 전송하고 편집, 검토, 또는 복원을 위해 가져올 수 있게 한다.
이 도구는 대용량 파일을 청크로 나누어 멀티파트 업로드를 사용해 병렬로 업로드한다. 자동 튜닝 모드에서는 사용 가능한 연결에 대해 처리량을 최적화하기 위해 병렬 스트림 수와 청크 크기를 조정한다. 전송은 구성 가능한 재시도와 파일 단위 일시 정지 및 재개를 지원한다. 보안 기능으로는 전송 중 파일 암호화, 저장 중 파일 암호화, 제어 평면 암호화가 포함된다. 모든 전송은 HTTPS를 사용하며, S3 버킷에 대한 액세스는 문서화된 최소 권한 정책을 가진 AWS Identity and Access Management(IAM)에 의해 관리된다. 중앙 집중식 아이덴티티를 사용하는 팀을 위해 OpenID Connect(OIDC)를 통한 단일 로그인도 지원된다.
File Mover Express는 배경에서 체크섬을 계산하고 파일이 변경되지 않은 경우 재사용을 위해 로컬에 캐싱한다. MD5, XXHash, XXHash64, XXH3를 지원하여 호환성과 해싱 성능 사이에서 선택할 수 있다. 먼 버킷으로의 전송을 위해 S3 전송 가속을 활성화할 수 있으며, 대역폭 제한을 통해 네트워크 사용량을 제어할 수 있다. 이 프로젝트의 소스 코드는 GitHub에서 제공되며, macOS, Windows, Linux용 사전 빌드된 패키지도 함께 제공된다.