개략적인 규모 측정
보편적으로 사용되는 성능 수치 항목들을 추정해서 계산하는 것으로 프로그래머에게는 필요한 기본기이다. 2의 제곱수나 응답지연(latency) 값과 가용성에 관계된 수치들의 이해가 있어야 한다.
2의 제곱수
- 데이터 볼륨의 단위를 계산하기 위해 사용(양을 측정)하는 최소 단위는 1바이트(8비트)이다.
- 아스키 문자 하나가 차지하는 메모리 크기는 1 바이트이다.
- 보통 많이 사용되는 UTF-8의 경우 1~4바이트가 사용된다.
- 한글 또는 다국어를 고려할 때 한 단어를 4바이트 까지 고려하는 것이 좋다.
| 2의 x 제곱 | 근사치 | 이름 | 축약형 |
| 10 | 1천 | 1킬로바이트 | 1KB |
| 20 | 1백만 | 1메가바이트 | 1MB |
| 30 | 10억 | 1기가바이트 | 1GB |
| 40 | 1조 | 1테라바이트 | 1TB |
| 50 | 1000조 | 1페타바이트 | 1PB |
응답지연 값
| 연산명 | 시간 |
| 뮤텍스 락/언락 | 100ns |
| 주 메모리 참조 | 100ns |
| Zippy로 1KB 압축 | 10us |
| 1Gbps 네트워크로 2KB 전송 | 20,000ns = 10us |
| 메모리에서 1MB 순차적으로 read | 500,000ns = 250us |
| 디스크 탐색 | 10ms |
| 네트워크에서 1MB 순차적으로 read | 10ms |
| 디스크에서 1MB 순차적으로 read | 30ms |
| 한 패킷의 캘리포니아로부터 네델란드까지의 왕복 지연시간 | 150ms |
🔍 결론은
- 메모리는 빠르지만 디스크는 아직 느리다.
- 디스크 탐색은 가능한 피하자.
- 단순한 압축 알고리즘은 빠르다.
- 데이터를 인터넷으로 전송하기 전 가능하면 압축하자.
- 데이터 센터는 보통 여러 지역에 분산되어 있고 센터들 간 데이터를 주고 받는데 시간이 걸린다.
가용성에 관계된 수치들
| 가용률 시간 | 연간 장애시간 |
| 99% | 3.65일 |
| 99.9% | 8.77시간 |
| 99.99% | 52.60분 |
| 99.999% | 5.26분 |
고가용성 🤷🏻♂️ ?
시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어로 100%는 시스템이 단 한번도 중단된 적이 없었음을 의미한다.
예제
e.g) 트위터 QPS와 저장소 요구량 측정
" 여기서 QPS는 초당 처리할 수 있는 쿼리수를 의미합니다. "
[ 가정 ]
- 월간 능동 사용자는 3억 명
- 50%의 사용자가 트위터를 매일 사용한다.
- 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
- 미디어를 포함하는 트윗은 10% 정도이다.
- 데이터는 5년간 보관된다.
[ 추정 ]
- 월간 능동 사용자는 3억명이다.
- 50%의 사용자가 트위터를 매일 사용한다.
- 3억 x 50% = 1.5억명
[ QPS(Query Per Second) 추정치 ]
- 평균적으로 각 사용자는 매일 2건의 트윗을 올린다
- QPS = 1.5억 x 2 트윗 / 24시간 / 1분(3600초) = 약 3500
- 최대 QPS = 3500 x 2 = 약 7000
최대 QPS를 추정할 때는 고려사항이 있습니다. 최대 QPS는 시스템에 부하를 가할 수 있는 특정 상황을 고려하여 계산되는데 예를 들어, 특정 시간대에 트윗이 급증할 수 있기 때문에 여분의 처리 능력이 필요할 수 있습니다. 따라서 최대 QPS를 추정할 때는 적정한 여유 공간을 더해 계산합니다. 이 경우 2배로 고려하여 약 7000의 최대 QPS를 도출해냈습니다.
[ 미디어 저장을 위한 저장소 요구량 ]
- 평균 트윗 크기 (avg)
- tweet_id에 64바이트
- 텍스트에 140바이트
- 미디어에 1MB
- 미디어를 포함하는 트윗은 10% 정도
- 1.5억 x 2 x 10% x 1MB = 30TB/일
- 데이터는 5년간 보관된다.
- 30TB x 365 x 5년 = 약 55PB
💡 TIP
개략적은 규모 추정과 관계된 면접에서 가장 중요한 것은 문제를 풀어나가는 절차입니다. 올바른 절차를 밟느냐가 결과를 내는 것보다 중요하고 면접자가 보고 싶어하는 것은 문제 해결 능력입니다.
- 근사치를 사용한 계산을 할 줄 알아야 한다. 즉, 반올림이나 내림, 올림에 대한 오차 수준을 생각해서 근사치로 계산시간을 줄이자.
- 가정은 적어 두자.
- 단위를 붙이는 습관을 두자.
- QPS, TPS, 저장소량, 캐시 요구량, 서버 수 등 추정하는 방법을 미리 연습해 두자.
< 참고 자료 >
