Face Review

AI를 이용한 YouTube시청자(웹캠 사용자)의 감정분석 프로젝트

🗓️ 프로젝트 기간

• 2023.10 ~ 2023.12

👥 팀원

• 장주원 - Frontend
• 박찬진 - Frontend
• 김대선 - Backend
• 조경연 - AI + Backend

💻 기술 스택

FE

• TypeScript, JavaScript
• React
• Zustand
• SCSS
• Git

BE

• Flask
• Python (OpenCV, TensorFlow 등)

📼 시연영상

KakaoTalk_Video_2024-02-17-20-00-35.mp4

🔍 프로젝트 상세

페이스리뷰는 이름 그대로 이용자의 표정을 통해 감정을 분석하고, 그 분석된 감정 데이터를 분석해서 비슷한 감정분포를 가지는 영상들을 추천할 수 있도록 영상 추천 알고리즘에 활용하였다.

소켓 연결을 통해 실시간으로 유저의 웹캠 이미지 데이터를 서버로 전송하고, 전달받은 이미지 데이터를 훈련된 AI모델에 전달해 감정을 분석한다.

분석된 감정 데이터는 DB에 저장되어 유저에게 영상을 추천하는 알고리즘에 사용되고, 해당 영상의 시간대별 타 유저들이 느낀 감정, 유저가 최근 본 영상에서 느낀 감정분포 그래프 등을 보여준다.

Front-end는 AWS를 통한 CI/CD 무중단 배포를 구현하였고, Back-end에서는 Google GCP 서버를 사용하였다.

🤖 AI 학습 과정

AI모델을 훈련하는 과정에서는 AI Hub에서 제공하는 '한국인 감정인식을 위한 복합 영상' 데이터셋을 사용하였으며, openCV에서 제공하는 detect_face 함수를 통해 사진에서 얼굴 부분만 잘라 resizing하고, 흑백처리를 한 뒤 진행하였다. ResNet50 방식을 사용하였으며, 학교에서 제공해준 리눅스 서버에서 batch size 등 설정을 바꿔가며 훈련시킨 여러 모델 중 손실률이 가장 낮고, 정확도가 높은 모델을 채택하였다.