2015. 3. 2.

GrassHopperFS(GHFS) 일반 구성도

GHFS는 Metadata 서버가 없는 No Metadata구조로 Elastic Hashing 알고리즘을 통해 Metadata Server 구조의 분산 파일 시스템의 단점인 SPOF를 보완하여 진정한 분산 처리 스토리지를 구현하고 있습니다.



모니터링 및 관리영역


GHFS 영역


2015. 1. 11.

Performance for GlusterFS

How to using iozone

-> iozone -w -c -e -i 0 -+n -r 64k -s 2g -t {1-9} -F /mnt/Storage/f{0,1,2,3,4,5,6,7,8}.ioz

  • -i : test type, 0=write/rewrite, 1=read/re-read, 2=random-read/write, 3=read-backward, 4=Re-write-record
  • -r : data transfer size, block size (64KB, 2MB)
  • -s : per-thread file size
  • -t : number of thread
  • -w, -c




Sample Write



Sample Read



glusterFS vs Ceph vs HDFS

Test Methods (HDFS vs Ceph vs GlusterFS)


테스트 방법

  • # iozone -r 128k -i 0 -i 1 -i 2 -t 24 -s 10G

테스트 조건

  • HDFS
  • - 20 datanodes, 1 namenode
  • Ceph
  • - V0.61 : 3 Monitors nodes, 1 Metadata Server, 120 Object Storage Daemon(20 Nodes)
    - V0.67 : 3 Monitors nodes, 1 Metadata Server, 95 Object Storage Daemon (19 Nodes)
  • GlusterFS
  • - v3.3 : 21 nodes, v3.4 : 20 nodes
 출처 : http://iopscience.iop.org/1742-6596/513/4/042014/pdf/1742-6596_513_4_042014.pdf

Test Results (HDFS vs Ceph vs GlusterFS)


  • Test results using iozone. MB/s


HDFS 
Ceph 
GlusterFS 
24 Threads 
36 Threads 
v0.61 
v0.67 
 v3.3
 v3.4
 Initial Write
 239.72
N.A. 
 52.49
 18.93
 234.06
306.34 
 Re-Write
ERROR 
 ERROR
 54.05
 19.31
 311.75
407.90 
Random Write 
ERROR
 ERROR
 ERROR
 13.96
326.89
406.33
 Read
 155.18
195.65 
95.38 
 53.40
 621.08
688.06 
 Re-Read
151.33 
207.43 
102.04 
 57.29
 662.92
 711.46
 Random Read
 29.06
 39.98
 ERROR
 5.13
 242.75
284.00