AWS שחררה את File Mover Express, כלי קוד פתוח להעברת קבצים ל-S3

a close up of a printed circuit board — Vishnu Mohanan / Unsplash

AWS שחררה את File Mover Express, אפליקציית קוד פתוח המיועדת להעברת קבצים גדולים בין מערכות מקומיות לבין Amazon S3. הכלי שוחרר תחת רישיון Apache 2.0 והוא זמין למערכות ההפעלה macOS, Windows ו-Linux.

הכלי תומך בהעברות מקביליות, כוונון ביצועים אוטומטי, ניסיונות חוזרים, ואפשרות להשהיה והפסקה של העברות. הוא כולל גם אימות של שלמות הקבצים. File Mover Express תומך בהעלאות והורדות, ומאפשר לצוותים להעביר קבצים גדולים ל-Amazon S3 ולשלוף אותם לצורך עריכה, סקירה או שחזור.

במרכז הכלי נמצא מנוע העברה מבוסס דאמון המפריד את ההעברות מהסשן של שולחן העבודה. הדאמון יכול לרוץ על תחנת עבודה, שרת במרכז נתונים או מופע של Amazon EC2. השליטה בו מתבצעת באמצעות ממשק משתמש גרפי של גרירה והשלכה או ממשק שורת פקודה הניתן לתכנות, וזאת דרך חיבור מוצפן המוגן בסיסמה.

מבחינה טכנית, הפרויקט פותח בעיקר בשפת Go עבור מנוע ההעברה, ובשפת TypeScript עם Angular עבור הממשק הגרפי. הכלי תומך באינטגרציה עם עוזרי בינה מלאכותית באמצעות MCP ובאימות מבוסס OIDC עם ספקי זהות. הוא כולל העלאות אוטומטיות מתיקיות מנוטרות.

כדי למקסם את קצב ההעברה, הכלי מפצל קבצים גדולים לחלקים ומעלה אותם במקביל באמצעות העלאות רב-חלקיות. במצב כוונון אוטומטי, הוא מתאים את מספר הזרמים המקביליים ואת גדלי החלקים כדי לאפטמיזציה של התפוקה בהתאם לחיבור הזמין. עבור דליים מרוחקים, המשתמשים יכולים להפעיל את S3 Transfer Acceleration, בעוד שמגבלות רוחב פס עוזרות לשלוט בשימוש ברשת.

המאפיינים הביטחוניים כוללים הצפנת קבצים במעבר, הצפנת קבצים במנוחה והצפנה עבור מישור הבקרה. כל ההעברות משתמשות ב-HTTPS, והגישה לדליים של S3 מנוהלת על ידי AWS Identity and Access Management עם מדיניות הרשאות מינימלית. הכלי מחשב סכומי ביקורת ברקע ותומך ב-MD5, XXHash, XXHash64 ו-XXH3.