2장 : 개략적인 규모 측정

개략적인 규모 측정

보편적으로 사용되는 성능 수치 항목들을 추정해서 계산하는 것으로 프로그래머에게는 필요한 기본기이다. 2의 제곱수나 응답지연(latency) 값과 가용성에 관계된 수치들의 이해가 있어야 한다.

 

 

2의 제곱수 

- 데이터 볼륨의 단위를 계산하기 위해 사용(양을 측정)하는 최소 단위는 1바이트(8비트)이다.

- 아스키 문자 하나가 차지하는 메모리 크기는 1 바이트이다.

- 보통 많이 사용되는 UTF-8의 경우 1~4바이트가 사용된다.

- 한글 또는 다국어를 고려할 때 한 단어를 4바이트 까지 고려하는 것이 좋다.

 

2의 x 제곱	근사치	이름	축약형
10	1천	1킬로바이트	1KB
20	1백만	1메가바이트	1MB
30	10억	1기가바이트	1GB
40	1조	1테라바이트	1TB
50	1000조	1페타바이트	1PB

 

 

응답지연 값

연산명	시간
뮤텍스 락/언락	100ns
주 메모리 참조	100ns
Zippy로 1KB 압축	10us
1Gbps 네트워크로 2KB 전송	20,000ns = 10us
메모리에서 1MB 순차적으로 read	500,000ns = 250us
디스크 탐색	10ms
네트워크에서 1MB 순차적으로 read	10ms
디스크에서 1MB 순차적으로 read	30ms
한 패킷의 캘리포니아로부터 네델란드까지의 왕복 지연시간	150ms

 

🔍 결론은 

- 메모리는 빠르지만 디스크는 아직 느리다.

- 디스크 탐색은 가능한 피하자.

- 단순한 압축 알고리즘은 빠르다.

- 데이터를 인터넷으로 전송하기 전 가능하면 압축하자.

- 데이터 센터는 보통 여러 지역에 분산되어 있고 센터들 간 데이터를 주고 받는데 시간이 걸린다.

 

 

 

가용성에 관계된 수치들

가용률 시간	연간 장애시간
99%	3.65일
99.9%	8.77시간
99.99%	52.60분
99.999%	5.26분

 

고가용성 🤷🏻‍♂️ ?

시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어로 100%는 시스템이 단 한번도 중단된 적이 없었음을 의미한다.

 

 

 

예제

e.g) 트위터 QPS와 저장소 요구량 측정 

 

" 여기서 QPS는 초당 처리할 수 있는 쿼리수를 의미합니다. " 

 

 

[ 가정 ]

- 월간 능동 사용자는 3억 명

- 50%의 사용자가 트위터를 매일 사용한다.

- 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.

- 미디어를 포함하는 트윗은 10% 정도이다.

- 데이터는 5년간 보관된다.

 

 

[ 추정 ] 

- 월간 능동 사용자는 3억명이다.

- 50%의 사용자가 트위터를 매일 사용한다.

- 3억 x 50% = 1.5억명

 

 

[ QPS(Query Per Second) 추정치 ]

- 평균적으로 각 사용자는 매일 2건의 트윗을 올린다

- QPS = 1.5억 x 2 트윗 / 24시간 / 1분(3600초) = 약 3500

- 최대 QPS = 3500 x 2 = 약 7000

 

최대 QPS를 추정할 때는 고려사항이 있습니다. 최대 QPS는 시스템에 부하를 가할 수 있는 특정 상황을 고려하여 계산되는데 예를 들어, 특정 시간대에 트윗이 급증할 수 있기 때문에 여분의 처리 능력이 필요할 수 있습니다. 따라서 최대 QPS를 추정할 때는 적정한 여유 공간을 더해 계산합니다. 이 경우 2배로 고려하여 약 7000의 최대 QPS를 도출해냈습니다.

 

[ 미디어 저장을 위한 저장소 요구량 ]

• 평균 트윗 크기 (avg)
  • tweet_id에 64바이트
  • 텍스트에 140바이트
  • 미디어에 1MB
• 미디어를 포함하는 트윗은 10% 정도
  • 1.5억 x 2 x 10% x 1MB = 30TB/일
• 데이터는 5년간 보관된다.
  • 30TB x 365 x 5년 = 약 55PB

 

 

 

💡 TIP

개략적은 규모 추정과 관계된 면접에서 가장 중요한 것은 문제를 풀어나가는 절차입니다. 올바른 절차를 밟느냐가 결과를 내는 것보다 중요하고 면접자가 보고 싶어하는 것은 문제 해결 능력입니다. 

- 근사치를 사용한 계산을 할 줄 알아야 한다. 즉, 반올림이나 내림, 올림에 대한 오차 수준을 생각해서 근사치로 계산시간을 줄이자.
- 가정은 적어 두자.
- 단위를 붙이는 습관을 두자.
- QPS, TPS, 저장소량, 캐시 요구량, 서버 수 등 추정하는 방법을 미리 연습해 두자.

 

 

< 참고 자료 >