glusterFS DFS Performance

Input and Output performance

HDFS

iRODS

Ceph

GlusterFS

Lustre

MooseFS

Input/Output

I

O

I

O

I

O

I

O

I

O

I

O

1 * 20GB

407s

401s

520s

500s

419s

382s

341s

403s

374s

415s

448s

385s

1000 * 1MB

72s

17s

86s

23s

76s

21s

59s

18s

66s

5s

68s

4s

GlusterFS가 쓰기 부분에서는 다른 파일 시스템에 비해 가장 빠른 성능을 보이고 있음.

출처 : http://hal.archives-ouvertes.fr/docs/00/78/90/86/PDF/a_survey_of_dfs.pdf

System availability (HDFS)

• 1 namenode, 5 datanode, 3 replicas
• Put a data (34MB)

		Server1	Server2	Server3	Server4	Server5
SD before		189M	189M	189M	189M	189M
Put toto * 3	34M
SD after		211M	214M	204M	209M	208M
Modification	101M	22M	25M	15M	20M	19M

• Crash a node, Satisfying the replication

		Server1	Server2	Server3	Server4	Server5
SD	Before crash	211M	214M	204M	209M	208M
Status		Ok	Ok	Ok	Ok	Ok
SD after	After crash	189M	218M	211M	217M	211M
Modification		-22M	4M	7M	8M	3M

• Rebooting node, Load balancing

		Server1	Server2	Server3	Server4	Server5
SD	Before reboot	189M	218M	211M	217M	211M
Status		Ok	Ok	Ok	Ok	Ok
SD after	After reboot	209M	211M	208M	210M	208M
Modification		20M	-7M	-3M	-7M	-3M

System availability (GlusterFS)

• 4 Servers, 2stripes and 2replicas
• Put a data (34MB)

		Server1	Server2	Server3	Server4
SD before		201M	201M	201M	201M
Put toto * 2	34M
SD after		218M	218M	218M	218M
Modification	68M	17M	17M	17M	17M

• Crash a node, Satisfying the replication

		Server1	Server2	Server3	Server4
SD	Before crash	218M	218M	218M	218M
Status		Ok	Ok	Ok	Ok
SD after	After crash	201M	218M	218M	218M
Modification		-17M	0M	0M	0M

• Rebooting node, Load balancing

		Server1	Server2	Server3	Server4
SD	Before reboot	201M	218M	218M	218M
Status		Ok	Ok	Ok	Ok
SD after	After reboot	218M	218M	218M	218M
Modification		17M	0M	0M	0M

System performance

Input and Output performances with 1 and 2 replicas 

• No replica 20GB
• 2 replica 20GB
• No replica 1000 * 1MB
• 2 replica 1000 * 1MB

		HDFS		iRODS		Ceph		GlusterFS		MooseFS
Input/Output		I	O	I	O	I	O	I	O	I	O
1 * 20GB		407s	401s	520s	500s	419s	382s	341s	403s	448s	385s
2 * 20GB		626s	422s	426s	385s	873s	495s	1070s	468s	504s	478s
1000 * 1MB		72s	17s	86s	23s	76s	21s	59s	18s	68s	4s
2 * 1000 * 1MB		96s	17s	86s	17s	85s	23s	179s	20s	89s	4s

1. GlusterFS가 큰 파일을 쓰기는 작업에는 다른 파일시스템보다 우수한 성능을 보이고, 작은 파일을 쓸 경우에도 다른 파일 시스템보다 우수한 성능을 보임.
2. GlusterFS에서 큰 파일의 읽기 작업에는 비교적 우수한 성능을 보이고, 작은 파일의 읽기 작업의 경우에도 다른 파일 시스템 보다 우수한 성능을 보임.

출처 : http://hal.archives-ouvertes.fr/docs/00/78/90/86/PDF/a_survey_of_dfs.pdf