통계 관련 작업을 하면서, clickhouse라는 DB에 대해 알게되었다.

Clickhouse란

• OLAP(온라인 분석 처리) 을(를) 위한 컬럼 지향형(열기반) SQL DBMS

  OLAP (Online Analytical Processing)

  열기반(Column Oriented)과 행기반(Row Oriented) DB

Clickhouse 장점

• 멀티코어 연산 가능(최대한 빠르게 쿼리를 처리하기 위해, 사용 가능한 모든 시스템 리소스를 최대한 활용)

  • 하드디스크를 가상메모리처럼 사용
    • 즉, 디스크 용량을 예상치보다 높게 써야함

  멀티코어 연산

• 효율적인 데이터 압축 가능

• 중복 제거 기능

  • 특정 MergeTree(ReplaceMergeTree)를 통해 중복 제거를 수행

• 일반적인 SQL 언어 지원

  • 쿼리의 빠른 수행위해, 병합트리를 사용하여 정렬
    • 백그라운드에서 병합이 진행됨

• 데이터 추가시, lock 필요없음

  데이터 삽입시, Lock이 필요없는 이유

• 백업 기능 제공

• column기반 DB로 높은 read 성능

  • 기존 DB보다 100~1000배 더 빠르게 작동
  • 초당 수억~ 수십억 행과 GB 단위로 처리 가능

데이터 삽입시, Lock이 필요없는 이유

• Clickhouse는 Append-Only 방식과 멀티버전 동시성 제어 때문
  • Append-Only 구조
    • Clickhouse는 데이터를 기존에 있는 테이블을 수정하지 않고, 새로운 데이터만 추가하는 방식으로 저장
      • 데이터를 삽입할 때, 기존 데이터를 잠그고 수정할 필요가 없음
    • 데이터를 삽입하면, 각 데이터 세그먼트가 독립적으로 관리되므로 다른 쿼리와 충돌이 일어나지 않음
  • 멀티버전 동시성 제어(MVCC, Multi-Version Concurrency Control)
    • 여러 버전의 데이터를 동시에 관리하여 삽입 중에서도 다른 쿼리(읽기, 쓰기)가 동시에 이루어질 수 있도록 지원
    • 데이터 쿼리마다, 그 시점에서의 데이터 스냅샷을 제공하기 때문에 락을 걸지 않고도 안정적인 읽기, 쓰기가 가능
• 이러한 구조 덕분에 데이터 삽입시, 락이 필요없고, 동시에 대규모 삽입 작업이 가능하며 성능이 훨씬 향상된다.

멀티코어 연산