TensorBoy

자연어처리 입문자들을 위한 내용이 정리되어 있습니다.

• 행렬연산 (Matrix Equations)
  딥러닝에 필요한 행렬연산 관련된 내용 입니다.

• Monte Carlo method
  샘플링을 통해 함수를 근사화하는 Monte Carlo method 관련된 내용 입니다.

• MLE (Maximum Likelihood Estimation)
  Likelihood를 이용한 loss에 관련된 내용입니다.

• Cross Entropy
  Cross Enropy 이용한 loss에 관련된 내용입니다.

• KL(Kullback–Leibler) divergence
  두 개의 확률분포의 차이를 구하는 KL divergence에 관련된 내용입니다.

• Softmax
  입력을 확률분포로 변환하는 함수 Softmax에 관련된 내용입니다.

• 자연어처리를 위한 Tokenizer & Vocabulary
  문장을 글자단위, 띄어쓰기 단위, 형태소 단위로 분할하는 방식에 관련된 내용입니다.

• 자연어처리를 위한 BPE & SentencePiece
  빈도수 기반의 subworkd 분할 방식인 Byte Pair Encoding과 SentencePiece 관련된 내용입니다.

• 자연어처리를 위한 padding
  다양한 길이의 문장을 길이가 같게 만들어서 처리하는 방식에 관련된 내용입니다.

• 자연어처리를 위한 One-Hot Encoding
  Discrete Value를 벡터로 표현하는 방식에 관련된 내용입니다.

• 자연어처리를 위한 BoW & TF-IDF
  빈도수 기반으로 문서의 주제를 추출하는 방식에 관련된 내용입니다.

• 자연어처리를 위한 Word2Vec
  자연어처리에서 단어를 벡터로 표현하는 Word2Vec에 관련된 내용입니다.

• 자연어처리를 위한 FastText
  자연어처리에서 단어를 sub-word 벡터로 표현하는 FastText에 관련된 내용입니다.

• 자연어처리를 위한 CNN
  이미지와 비슷하게 자연어처리에서 문장의 특징을 추출하는 CNN에 관련된 내용입니다.

• 자연어처리를 위한 RNN, LSTM, GRU
  언어와 같은 순서가 있는 데이터의 특징을 추출하는 RNN에 관련된 내용입니다.

• 자연어처리를 위한 Language Model
  언어의 확률분포를 학습하는 Language Model에 관련된 내용입니다.