기본용어

최소한 이것들은 알아야 하는 것들

Python: 거의 모든 AI가 파이썬으로 작성되고, 파이썬으로 돌아감

pip: 파이썬 패키지 설치 도구

Anaconda(아나콘다, 콘다): 파이썬 가상환경용 도구. 여러가지 한 컴퓨터에서 ai 모델을 돌릴때 파이썬 라이브러리 버전 충돌을 막는용

uv: pip, conda를 대체하기 위한 도구.

Huggingface(허깅페이스): AI 모델 파일들이 올라오는 사이트

Github(깃허브, 깃헙): AI 모델들을 돌리기 위한 코드가 올라오는 사이트

CUDA(쿠다): 엔비디아 그래픽카드용 연산 소프트웨어

PyTorch(파이토치): AI 학습, 추론용 파이썬 라이브러리

AI 모델 학습: AI 모델을 만드는 과정

AI 추론: 만들어진 AI 모델과 입력값으로 결과물을 뽑아내는 과정

Pretrained Model(사전학습모델): 대규모 데이터셋으로 미리 학습해둔 모델

Fine-tuning(파인튜닝, 미세조정): 사전 학습 모델에 원하는 데이터로 학습 시켜서 원하는 모델로 만드는 것

colab(코랩): amd gpu를 쓰거나 맥을 쓰거나 gpu가 쓰레기인 사람들의 희망.

AI 음성 종류

음원 처리 관련

STT: Speech-To-Text의 약자. 말 그대로 사람 말하는걸 텍스트로 바꿔주는 ai

ASR: Automatic Speech Recognition의 약자. STT와 별 다를거 없음

VAD: Voice Activity Detection의 약자. 현재 사람이 말하고 있는지 아닌지 구분해줌

Whisper: 대표적인 STT, ASR, VAD 용 라이브러리 및 AI 모델을 말함

MSS: Music Source Separation의 약자. 원본 음악을 보컬 및 악기별로 분리함

UVR: MSS를 하기 위한 프로그램.

MSST: MSS를 하기위한 또 다른 프로그램

음성변환 (Voice Conversion)

A라는 사람이 말 혹은 노래하면 그것을 B가 말하거나 노래한것처럼 하는 AI 기법

RVC: 과거에 제일 많이 쓰였던 음성 변환 모델 및 코드. 적은 데이터셋으로도 퀄리티 좋은 VC모델을 만듬

Applio: 현재 제일 많이 쓰이는 RVC 기반으로 한 음성 변환 모델 및 코드

DDSP-SVC: 개발자 해보고 싶은 모델 구조로 막 해보는 저장소 및 모델들. RVC계열보다 많은 데이터셋을 요구하지만 추론 속도가 빠르기도 함.

TTS

텍스트만으로 어떤 사람이 말하는 것처럼 하는 AI 기법

VITS: 예전에나 쓰였던 AI TTS 모델. 학습에 1시간 이상 데이터 요구함

GPT-SoVITS: 현재 제일 많이 쓰이는 AI TTS 모델. 1분이하의 데이터로 원하는 TTS 모델 만들기 가능

Style-Bert-VITS2: VITS 기반으로 만들어졌지만 TTS에 감정을 입힐수 있음. (한국어 불가능)

SVS (Singing Voice Synthesis)

어떤 사람이 노래 부르는 것처럼 하는 AI 기법

DiffSinger: 거의 유일한 SVS 모델 및 코드