⛅️ 화스비, 실시간 날씨 알리미
개요
실시간으로 사용자의 위치정보를 확인해서 그에 맞는 기상정보를 제공함과 동시에 학회원의 목소리를 합성한 음성 대답도 같이 들려주는 실시간 날씨 알리미를 만들어보자!
프로젝트 진행과정
데이터 파이프라인
- 웹 서버
- 앱에서 구동하기 위해 front는 react-native를 사용, server는 spring을 통해 구현
- 프론트에서는 사용자의 현재 위치와 음성으로 된 질문을 서버에 전달
- 해당 데이터를 받아 날씨 api와 위치계산 api를 통해서 상황에 맞는 날씨 정보와 대답 텍스트를 생성
- 대답 텍스트를 모델에 input으로 넣어서 음성파일로 전환 후 프론트에 전송
- 날씨 정보와 함께 사용자에게 제공 2. 모델링
첫 번째 단계
- 텍스트를 Mel-Spectrogram으로 변환
- Encoder(Model: Glow-TTS)에서는 Text로부터 특징 벡터를 숫자 배열의 형태로 추출
- Decoder에서 이러한 숫자 배열로부터 Mel-spectrogram을 예측
두 번째 단계
- Vocoder(Model: HiFi-GAN)에서 이러한 Mel-Spectrogram으로부터 raw waveform audio를 예측
프로젝트 결과
