Erasure Coding: 개념, 특징 및 구현 예제

Erasure Coding은 데이터 손실에 대비한 고급 복원 기법으로, 분산 시스템이나 클라우드 스토리지 환경에서 데이터의 내구성을 높이기 위해 사용됩니다. 전통적인 데이터 복제(replication) 방식과 달리, Erasure Coding은 데이터를 여러 조각(데이터 블록)으로 분할하고, 여기에 추가적인 패리티 블록(보조 블록)을 생성하여 원본 데이터의 일부 블록이 손실되더라도 전체 데이터를 복원할 수 있도록 설계되었습니다.Erasure Coding의 기본 개념Erasure Coding은 주어진 데이터를 kk개의 데이터 블록과 mm개의 패리티 블록, 즉 총 n=k+mn=k+m 블록으로 분할합니다. 이때, 전체 nn개의 블록 중 임의의 kk개만 있으면 원본 데이터를 복원할 수 있도록 하는 알고리즘을 적..

• format_list_bulleted 컴퓨터과학/분산 시스템
• · 2025. 2. 24.
• textsms

Paxos 알고리즘의 이해와 구현

Paxos 알고리즘은 분산 시스템에서 하나의 값에 대해 여러 노드 간의 합의를 이끌어내기 위해 고안된 대표적인 합의(consensus) 프로토콜입니다. 네트워크 지연, 메시지 손실, 노드 장애와 같은 분산 환경의 불확실성 속에서도 시스템의 일관성을 보장하려는 목적을 가지고 있으며, 제안자(Proposer), 승인자(Acceptor), 학습자(Learner)라는 세 가지 역할이 핵심적으로 작용합니다. 아래에서는 Paxos 알고리즘의 기본 원리, 특징, 그리고 유사 알고리즘(Raft, Multi-Paxos 등)과의 비교를 통해 심도 있는 분석을 진행합니다.1. Paxos 알고리즘의 기본 원리Paxos는 합의 형성을 위해 두 개의 주요 단계로 동작합니다.Prepare 단계:제안자는 고유한 제안 번호를 생성한 ..

• format_list_bulleted 컴퓨터과학/분산 시스템
• · 2025. 2. 24.
• textsms

Consistent Hashing의 이해와 구현

Consistent Hashing은 분산 시스템에서 노드(서버)의 추가나 제거 시에도 데이터의 재분배(리밸런싱)를 최소화하는 해싱 기법입니다. 전통적인 해싱 방식은 해시 공간을 균등하게 분할하여 키를 각 노드에 할당하지만, 노드가 변경되면 대부분의 키가 재할당되는 단점이 있습니다. 반면 Consistent Hashing은 전체 해시 공간을 원형(해시 링)으로 구성하고, 각 노드를 이 링 상에 여러 개의 가상 노드(virtual node)로 매핑하여 키를 할당합니다. 이를 통해 한 노드가 추가되거나 제거되더라도, 영향을 받는 키의 비율이 작아져 시스템의 안정성과 확장성을 높일 수 있습니다.동작 원리해시 링 구성:해시 공간을 0부터 2³²-1 또는 0부터 2⁶⁴-1 등의 범위로 보고, 이를 원형으로 취급합니..

• format_list_bulleted 컴퓨터과학/분산 시스템
• · 2025. 2. 24.
• textsms