Архітектура системи сховища даних на основі хмарних технологій

Abstract

В рамках кваліфікаційної роботи було досліджено та розроблено систему сховища даних для збереження файлових даних з використанням хмарних технологій. Хмарні системи зберігання даних дозволяють користувачам отримувати доступ до своїх даних з будь-якого місця. Вони можуть завантажувати чи вивантажувати свої файли або ділитися ними з іншими через мережу Інтернет. Завдяки персональним додаткам, таким як Dropbox, iCloud, Google Drive, які використовуються багатьма користувачами для збереження власних файлів, уявлення про доступність з будь якого місця даних кардинально змінилося Реалізована система дозволяє зберігати файлові дані в хмарі з можливістю для користувача доступу до них та проведення змін над ними. Основною одиницею, якою можливо оперувати в рамках системи є файлові дані, доступ до яких здійснюється через REST API. Сховище користувача відповідає по логічній структурі файловій системі операційної системи, але файлові дані та інформація про ці дані зберігаються в різних місцях. Для збереження фрагментів файлів використано хмарний сервіс AWS S3 від провайдера Amazon Web Services. Метаінформацію про файли зберігається в окрему базу даних. Головною особливістю системи є розбиття монолітної системи на декілька окремих сервісів, які працюють в хмарі та використовують інші сервіси від провайдера хмарних ресурсів для коректної роботи. Це дає можливість при необхідності масштабувати кількість одночасно використовуваних екземплярів сервісу, а доступ до системи для клієнта здійснюється через єдиний шлюз. Також можна виділити механізми оптимізації роботи з файлами, як завантаження лише фрагменту файлу для збереження, чи переміщення файлу між директоріями лише з відповідними змінами в базі даних, а не у самому сховищі файлів. Для роботи клієнту доступний різний функціонал, який можна використовувати для тих чи інших змін стану сховища даних користувача. Для прикладу доступно 9 завантаження в сховище, вивантаження файлу або його фрагменту, копіювання, переміщення, видалення, тегування. Також доступно відповідний функціонал для роботи з директоріями, де ці файли зберігаються. Результатом виконання роботи є програмний продукт, який складається з кількох сервісів, кожен з яких відрізняється за основним функціоналом по роботі з файловими даними та їх метаданими, і, відповідно, призначенням в рамках реалізованої системи.