WTMO-dev

AI
- CV
  - basic
- DL
  - basic
- ML
  - basic
- NLP
  - basic
  - dspy
  - hugging face
  - llama index
  - ollama
C++
- basic
COMPUTER SCIENCE
- basic
ETC
GIT
- Blog
- basic
IDE
- VSC
  - python
  - setting
JAVA
- basic
MATH
- Basic
- Statistic
NETWORK
- basic
OS
- Window
  - WSL
  - basic
- basic
PROJECT
PYTHON
- Advance
- Basic
- Framework
  - Django
  - FastAPI
- Library
- Module
Home

PROJECT PRACTICE
- Crawling
- EDA
- Kaggle
- Python

CV

Contact

Buy Me A Coffee

Copyright © 2024
WTMO-dev

Home > AI > NLP > basic

Now Loading ...

basic

2. Sequence embedding
Seq2Seq 중심 단어와 주변 단어를 통한 예측 기반의 학습법 ELMO 주변 단어를 보고 중심 단어를 예측하는 방법 Transformer 중심 단어를 보고 주변 단어를 예측하는 방법(학습 횟수가 많음) GPT <>으로 단어를 구분하고 n-gram을 통하여 단어를 나눠서 학습한다 skip-gram과 유사한 학습법 sub word들을 학습해 유사한 단어학습이 가능 BERT 기존의 LSA(Latent Semantic Analysis)는 문서에서 단어의 빈도를 기준으로 차원축소를 하는 방법론 -> 단어 의미 유추에 약함
AI
/
NLP
/
basic · 2023-12-12
1. Word embedding
Word2Vec 중심 단어와 주변 단어를 통한 예측 기반의 학습법 유사어 구별이 힘듬 단어의 빈도수에 영향을 많이 받음 새로운 단어학습시 전체학습이 필요 사전의 크기가 학습시간에 영향이 큼 CBOW 주변 단어를 보고 중심 단어를 예측하는 방법 Skip-gram 중심 단어를 보고 주변 단어를 예측하는 방법(학습 횟수가 많음) FastText <>으로 단어를 구분하고 n-gram을 통하여 단어를 나눠서 학습한다 skip-gram과 유사한 학습법 sub word들을 학습해 유사한 단어학습이 가능 GloVe(Global Vectors for Word Representation) 기존의 LSA(Latent Semantic Analysis)는 문서에서 단어의 빈도를 기준으로 차원축소를 하는 방법론 -> 단어 의미 유추에 약함 새로운 방법을 제안함(단어의 유사도를 고려) 윈도우 기반 동시 등장 행렬 앞뒤로 등장한 단어들을 테이블화 하여 행렬로 만듬 동시 등장확률 해당 행의 전체값에서 해당하는 값을 나눈값 손실함수 동시 등장확률과 유사하게 나올 수 있게 함 konlpy gensim
AI
/
NLP
/
basic · 2023-12-11

Touch background to close