Impact of Data Organization on Distributed Storage System

Z powodu gwałtownego wzrostu ilości danych cyfrowych, potrzebne jest nowe podejście do sposobu ich przechowywania. Bardzo duże ilości danych wymagają, aby nowoczesne systemy przechowujące dane były skalowalne, łatwo rozszerzalne on-line, cechowały się wysoką dostępnością i zapewniały, że dane nie zostaną stracone w przypadku awarii. Aby zaspokoić te potrzeby, ostatnio powstał nowy typ systemu zwany rozproszonym systemem pamięci masowej (RSPM) (ang. distributed storage system). Jednym z kluczowym elementów architektury systemu RSPM jest projekt organizacji danych, który określa rozproszenie danych pomiędzy wiele serwerów, jak również ich lokalne rozmieszczenie na każdym serwerze. Właściwa organizacja danych jest kluczowa, ponieważ wpływa ona bezpośrednio na spełnienie prawie wszystkich wymagań systemu RSPM. W rozprawie zostały opisane wymagania RSPM, których realizacja zależy od organizacji danych. Ponadto zostały zidentyfikowane konfliktujące wymagania oraz została przeprowadzona dyskusja w jaki sposób rozwiązanie tych konfliktów jest związane z organizacją danych. Następnie zaproponowana została nowatorska organizacja danych, która uwzględnia problemy wynikające z tych konfliktów. Skuteczność tej organizacji danych została przez nas zweryfikowana poprzez użycie jej w systemie HYDRAstor, który jest komercyjnym systemem RSPM. W ciągu kilku ostatnich lat byliśmy główną częścią zespołu, który zaprojektował i zaimplementował system HYDRAstor. Dzięki temu zdobyliśmy doświadczenie w projektowaniu organizacji danych tego typu systemów. W systemie HYDRAstor dane są zorganizowane wokół rozproszonej tablicy mieszającej opartej na wirtualnych super-węzłach rozpostartych na fizycznych serwerach. Odporność danych na awarie jest zapewniona poprzez użycie kodów korekcyjnych typu “erasure codes” i rozdystrybuowanie zakodowanych fragmentów danych na wszystkie serwery danego super-węzła. Fragmenty danych są przechowywane w łańcuchach następujących po sobie kontenerów fragmentów. Umożliwia to szybkie zapisywanie danych strumieniowych, wydajną weryfikację spójności i jakości danych oraz rekonstrukcję utraconych danych. Podsumowując, projekt organizacji danych w systemie HYDRAstor umożliwił równoważenie sprzecznych wymagań RSPM, co w rezultacie doprowadziło do zbudowania przełomowego i innowacyjnego systemu pamięci masowej.

With the explosive growth of data stored in digital format, there is a need for a new approach to data storage. Large amount of stored data requires modern storage systems to be scalable and easily extendable on-line. Moreover, the data must be resilient and highly available, which in turn requires failure-tolerant and highly available storage. To address these needs a new storage segment called scalable distributed storage systems (DSS) has recently emerged. One of the key architectural decisions for a DSS system is the design of its data organization defining data distribution among multiple nodes as well as local data placement on each node. The fulfillment of almost all the requirements of DSS systems depends directly on proper data organization. In this thesis we describe DSS requirements dependent on data placement. Moreover, we identify trade-offs among these requirements and discuss how tradeoff resolution is related to design choices for data organization. Next, we propose a novel data organization that resolves the trade-offs in a reasonable way. This is verified by using the proposed organization in a commercial DSS system called HYDRAstor. We have a substantial first-hand experience with this system, as for the last few years we have been part of a core team designing and implementing HYDRAstor. In this system, data is organized around a distributed hash table with virtual supernodes spanned over physical nodes. Data resiliency is provided with erasure codes, with fragments of erasure-coded blocks distributed among supernode components. Fragments are stored in containers that are organized into chains to allow fast storage of data streams and enable efficient data consistency management, data health verification and data reconstruction. We conclude that the design of data organization in HYDRAstor allows for the balancing of conflicting DSS requirements which has resulted in the creation of a break-through, highly innovative storage system.