   |
| |
  |
| |
    |
| |
|
|
| |
|
|
| |
 |
| |
|
| |
Lip Synchro SDK는 입력된
음성을 분석/인식하여 자동으로 3D 캐릭터가 입력된 음성으로 이야기
하게 합니다. |
|
| |
| |
 |
SeeStorm 음소인식 기술 (Phoneme Recognition) |
 |
|
|
| |
|
| 음소인식 기술은 인공신경 네트웩 기술 (ANN - Artificial Neural Networks Technology) 에서 출발 하였습니다. SeeStorm 음소인식 기술은 신경네트웍과 음소 데이타 베이스를이용하여 음성의 특징을 분석하고 음소를 분류하여 개발 되었습니다. SeeStorm 음소인식 엔진은 음성에서 음소를 자동으로 분석 인식하며, 음소 그룹에서 음소를 세분화 하고 입술 움직임에 적용하여 자연스러운 애니메이션을 실시간으로 생성합니다. |
|
| |
|
|
| |
|
SeeStorm 캐릭터 연동 음성 처리 기술 (3D Phoneme Visualization) |
|
|
|
| |
|
| 사실과 같은 입술의 움직임은 얼굴 모델링 기술 (Face Mimic Modeling Technology)을 기빈으로 생셩되며, 이것은 음성의 움직임이 3D모델의 프레임 시퀀스를 이용하여 보여집니다. 3D 캐릭터의 입 모영을 실시간으로 연동 시키는 과정은 음성 신호를 Decode 하여 얻은 정보를 분석하여 발음된 음소에 맞는 움직임을 보여 줍니다. 캐릭터의 얼굴을 포함한 애니메이션은 음성 만으로 자동 생성 됩니다. |
|
| |
|
|
| |
|
SeeStorm 실시간 렌더링 기술 (Real-Time 3D Rendering) |
|
|
|
| |
|
| 입력된 음성으로 3D캐릭너에 자동으로 애니메이션을 부여하며 실시간 렌더링 기술을 이용여 애니메이션 되는 캐릭터를 즉시 볼 수있습니다. |
|
|
| |
 |
| |
 |
| |
| |
|
작은 데이타 사이즈:Lip Synchro 엔진은 500KB이하의
크기로 제품에 도입 됩니다. |
|
|
|
| |
|
입력 오디오:PCM 8kHz, 16-bit sample
size, mono |
|
|
|
| |
|
인식 음소:입력 음성에서 25개의 음소 자동 인식 |
|
|
|
| |
|
다양한 움직임:머리, 눈동자, 눈섭, 눈깜작임의 움직임을
자동으로 생성하여 살아있는 캐릭터생성 |
|
|
|
| |
|
키 프레임 데이타 생성 :사용 용도에 맞추어 개발 할
수 있도록 적용 음성에 대한 애니메이션 데이타 제공 |
|
| |
 |
| |
| |
|
Preprocessing SDK : 입력 음성 데이타를 분석하여 애니메이션 되는 캐릭터를 생성 합니다. |
|
|
|
| |
|
Real-Time SDK : 실시간으로 입력 되는 음성을 분석하여 즉시 애니메이션 되는 캐릭터를 생성 합니다. |
|
| |
| |
 |
| |
| |
|
샘플보기 |
|
|
|
| |
|
|
|
| |
|
| |
 |
| |
| 특징 |
SeeStorm LipSynchro |
Technology used for phoneme recognition
|
ANN - Artificial Neural Network |
| Real-time recognition |
Yes |
| Non real-time (preprocessing) recognition |
Yes |
| Distinction noise from voice in the audio (VAD) |
Yes |
| Extraction of voice energy level |
Yes |
| Latency for the real-time analysis |
150ms |
| Corre? analysis of long phonemes (like "OOOO") |
Yes |
| Mean Opinion Score for lip sync quality |
4.8 of 5 |
|
| |
 |
| |
| |
|
Preprocessing SDK - 오디오 데이터를 분석하여 캐릭터의 얼굴움직임을 위한 데이터 값을 생성합니다. |
|
|
|
| |
|
Real-time SDK - 실시간으로 Input되는 오디오 스트림에서 캐릭터의 얼굴움직임을 위한 데이터를 실시간으로 분석 적용합니다. |
|
| |
|
| |
| [사용자 시스템 사양] |
|
| * Pentium-III class CPU, 64MB RAM |
|
| * Windows OS |
| |
| [Input File Format] |
|
| * Audio input: PCM 8kHz with 16-bit sample size, mono |
| |
| [오디오 데이터 인식 산출 format ] |
|
| * Functional curve |
|
| * Dopsheet |
|
| * Flipbook |
|
| * Weighted targets |
| |
| [SDK 패키지 ] |
|
| * LipSynchro Library(Windows) DLL/Lib |
|
| * Programmer's Guide for LipSynchro API (English) |
|
| * Set of avatars |
|
| * Code examples and tutorials |
|
| * LipSynchro Player (ActiveX) (in Premium version only) |
| |
|
| [개발 tools ] |
|
| * Microsoft Visual C++ |
|
| * Microsoft Visual Studio.NET (C# and VB.NET) |
| |
 |
