5주차 문제 - 10장 (알림 시스템 설계) ~ 11장 (뉴스 피드 시스템 설계)

[yoonseon12]

10장 (알림 시스템 설계)

1. 다음 그림에서 빨간색 박스에 들어갈 단어는?
   

2. 1번문제 설계의 문제점을 1가지 말씀해주세요.

11장 (뉴스 피드 시스템 설계)

3. 푸시 모델의 단점으로, 친구가 많은 사용자의 경우 친구 목록을 가져오고 모든 친구의 뉴스 피드를 갱신하는 데 많은 시간이 소요될 수 있는 이 문제를 무엇이라고 할까요?
4. 쓰기시점에 팬 아웃하는 모델과 읽기시점에 팬 아웃하는 모델.
   두가지 모델을 결합하여 장점은 취하고 단점은 버린다면 어떻게 전략을 세울 수 있을지 말씀해주세요.

답변

1. 알림 시스템

• SPOF(Single-Point-Of-Failure) : 알림 서비스 서버가 하나밖에 없어서 서버에 장애가 생기면 전체 서비스의 장애로 이어질 수 있다.
• 규모 확장성 : 한 대 서비스로 푸시 알림에 관계된 모든 것을 처리 하므로 데이터베이스나 캐시 등 중요 컴포넌트의 규모를 개별적으로 늘릴 방법이 없다.
• 성능 병목 : 알림을 처리하고 보내는 것은 자원을 많이 필요로 하는데, 한 서버로 모든 것을 처리하면 사용자 트래픽이 많이 몰릴 때 과부하 상태에 빠질 수 있다.

3. 핫키
4. 뉴스 피드를 빠르게 가져올 수 있도록 하는 것은 중요하므로 대부분의 사용자에 대해서는 푸시 모델을 사용하고 친구나 팔로워가 아주 많은 사용자의 경우에는 팔로워로 하여금 해당 사용자의 포스팅을 필요할 때 가져가도록 하는 풀 모델을 사용하여 시스템 과부화를 방지한다

[hodadako]

10장 (알림 시스템 설계)

• 알림을 정확히 한 번만 보낼 수 없는 이유에 대해서 설명해 주세요!!!!!!!!!!!!

1. At-most-once(최대 한번): 최대 한 번만 전송한다 (메시지를 한번만 전송하고 상대가 받았는지 받지 못했는지는 확인하지 않음)
2. At-least-once(최소 한번): 메시지를 전송하고 최소한 상대방이 하나의 메시지는 받았는지 확인한다.
3. Exatly-once(정확히 한번): 메시지를 정확히 한번만 전송한다.
   실제 시스템에서는 정확히 한번은 불가능함, 왜?

-- 메시지나 확인이 손실되었을 수 있고, 수신자나 네트워크가 느릴 수 있으며, FLP와 두 장군 문제 등이 불가능성을 시사한다고 설명합니다.
비잔티움 장군 문제

1. 불가능성 결과 (Impossibility Result): 비잔틴 제군 문제는 FLP 불가능성 결과(Fischer-Lynch-Paterson Impossibility Result)와 관련이 있습니다. 이 결과에 따르면, 시스템에는 적어도 하나의 고장난 제군이 있을 경우, 결정을 내리는 것이 항상 어려운 문제가 있다는 것을 의미합니다.

2. 안전성 보장을 위한 기법 필요: 결국, 비잔틴 제군 문제는 분산 시스템에서의 신뢰성을 확보하려면 어려운 문제임을 시사합니다. 다수결이나 암호학적 방법 등을 사용하여 안전성을 보장하려고 하지만, 완벽한 해결책은 없습니다.

3. 복잡한 시스템 디자인 필요: 분산 시스템에서는 오류나 고장, 악의적인 행위 등을 고려하여 디자인해야 합니다. 안전성을 보장하기 위해 다양한 기법과 알고리즘이 조합되어 사용되며, 이는 시스템 디자인의 복잡성을 증가시킵니다.

4. 불완전한 신뢰성: 비잔틴 제군 문제의 해결은 완벽한 신뢰성을 보장하는 것이 아니라, 가능한 고장과 공격에 대한 내성을 높이는 것에 주력해야 함을 시사합니다.

결과적으로는 분산 시스템에서는 동기적이고 보장된 행동을 기대할 수 없으며, 실패와 비동기성에 대비하여 설계해야 한다

• 알림 서버의 기능 4가지를 설명해 주세요.

알림 전송 API : 스팸 방지를 위해 보통 사내 서비스 또는 인증된 클라이언트만 이용 가능하다.
알림 검증(validation) : 이메일 주소, 전화번호 등에 대한 기본적 검증을 수행한다.
데이터베이스 또는 캐시 질의 : 알림 에 포함시킬 데이터를 가져오는 기능이다.
알림 전송 : 알림 데이터를 메시지 큐에 넣는다. 본 설계안의 경우 하나 이상의 메세지 큐를 사용하므로 알림을 병렬적으로 처리할 수 있다.

11장 (뉴스 피드 시스템 설계)

• 읽기 시점에 팬아웃하는 모델은 피드를 읽어야 하는 시점에 뉴스 피드를 갱신해야 하기 때문에 ( ) 모델이라고도 불립니다. 빈칸에 알맞은 말은?
  요청 기반 (on-demand)
• 쓰기 시점에 팬 아웃 하는 모델은 핫 키와 같은 문제가 있을 수 있습니다. 이를 해결하기 위해 도입할 수 있는 기법에 대해 알려주세요!
  안정 해시 (consistent hashing)

[Hju95]

10장(알림 시스템 설계)

• 시스템 컴포넌트 간 의존성을 제거하기 위해 사용하는 ? 은 다량의 알림이 전송되어야 하는 경우를 대비한 ? 역할도 한다.
  답 : 메시지 큐, 버퍼
• 알림 템플릿의 장점 2가지를 말씀해주세요
  답 : 전송될 알림들의 형식을 일관성 있게 유지할 수 있고, 오류 가능성뿐 아니라 알림 작성에 드는 시간도 줄일 수 있다.

11장(뉴스 피드 시스템 설계)

• 읽기 시점에 팬아웃하는 모델은 사용자가 ? 시점에 새로운 포스트를 가져오게 됩니다.
  답 : 본인 홈페이지나 타임라인을 로딩하는
• 뉴스 피드 캐시, 즉 <포스팅 ID, 사용자 ID> 의 순서쌍을 보관하는 매핑 테이블에 사용자 정보와 포스팅 정보 전부를 저장하지 않는 이유는 ? 지나치게 늘어날 수 있기 때문이다.
  답 : 메모리 요구량

[GBGreenBravo]

10장 (알림 시스템 설계)

• 알림 시스템에서 받을 수 있는 알림의 빈도(전송률)를 제한하는 것은 어떤 이유로 필요한 것일까요?
  • 운영 상의 이슈; 알림이 너무 자주 오면 사용자가 알림 해제해버릴 가능성이 높아집니다.
• 알림 시스템의 캐시에는 어떠한 정보들이 저장될까요?
  • 사용자 정보, 단말 정보, 알림 템플릿 등.

11장 (뉴스 피드 시스템 설계)

• 뉴스 피드 포스트의 실제 Media Contents들은 어디에 저장되는 것이 적절할까요?
  • CDN
• 쓰기 시점에 팬아웃하는 모델에서 내가 피드 차단한 친구(팔로우 관계는 차단X)가 새로운 포스트를 작성했을 때, 내가 친구의 피드 차단을 해제한다고 하더라도, 나의 뉴스 피드 캐시로 그 친구의 뉴스 피드가 전송되지 않는 것이 좋다. ( O , X )
  • O; 나의 뉴스 피드 캐시에 전송되었다고 하더라도, 사용자 정보 캐시에서 정보를 읽고 차단 목록을 가져오는 과정에서 해당 포스트가 필터링될 수도 있기에, "절대로" 전송되지 않아야 하는 것은 아니다. (p.193) 그러나 캐시의 용량 제한 및 쓰기 시점에 팬아웃하는 모델의 특징을 생각해봤을 때는, 쓰기 시점에서 사용자 정보 캐시에서 친구 목록을 가져오고 차단하지 않은 친구에게만 뉴스 피드 캐시로 피드 전송하고, 내가 그 친구를 차단 해제했을 때, 차단해제한 친구 목록의 친구에게서 최근 피드를 나의 뉴스 피드 캐시에 저장하는 방식이 합당해 보인다. (차단 해제가 포스팅 작성보다 자주 일어나는 이벤트가 아니기 때문.)

[c0olcode]

10장 알림 시스템 설계

• 분산 시스템 환경에서는 정확히 한번만 데이터를 전송하는 것은 불가능하다. 이 때, 사용자 입장에서 한번만 데이터를 받았다고 생각할 수 있도록 처리하는 방법을 서술하시오.
  : 중복된 이벤트인지 검사하는 로직을 클라이언트 쪽에 넣어둔다.
• 알림 서버가 한 대만 있다면 발생하는 문제 2가지는?
  : SPOF, 규모 확장성이 없음, 병목 현상

11장 뉴스 피드 시스템 설계

• 사용자가 새 게시물을 썼을 떄, 그 글을 봐야하는 모든 사람들(인스타그램 팔로워, 페북 친구 등)에게 전달하는 과정은?
  : 팬아웃 (fanout)
• 웹서버가 사용자의 게시글 생성 요청을 받았을 떄, 수행해야 하는 일 2가지를 설명하십쇼.

1. 인증 : 올바른 인증 토큰 가지고 API를 호출한 사용자인가?
2. 처리율 제한: 스팸, 트래픽 공격 등을 막기 위해 특정 기간동안 한 사용자가 올릴 수 있는 포스팅 수를 제한한다.

[oxix97]

10장 알림 시스템 설계

• 알림 서버에서 제공하는 기능 4가지는?

• FCM에 대해 설명해주세요

11장 뉴스 피드 시스템 설계

• 팬아웃 서비스에 대해 간략하게 설명해주세요

• 쓰기 시점에 팬아웃 하는 모델의 장단점은?