WTMO-dev

AI
- CV
  - basic
- DL
  - basic
- ML
  - basic
- NLP
  - basic
  - dspy
  - hugging face
  - llama index
  - ollama
C++
- basic
COMPUTER SCIENCE
- basic
ETC
GIT
- Blog
- basic
IDE
- VSC
  - python
  - setting
JAVA
- basic
MATH
- Basic
- Statistic
NETWORK
- basic
OS
- Window
  - WSL
  - basic
- basic
PROJECT
PYTHON
- Advance
- Basic
- Framework
  - Django
  - FastAPI
- Library
- Module
Home

PROJECT PRACTICE
- Crawling
- EDA
- Kaggle
- Python

CV

Contact

Buy Me A Coffee

Copyright © 2024
WTMO-dev

Home > AI > DL

Now Loading ...

DL

5. Advance of deep learning
XAI explainable AI를 의미하며 Black box인 DL을 설명 가능하게 하는 기술을 의미한다. LIME Local Interpretable Model-Agnostic Explanations 예측하려는 값의 근처 데이터들을 해석 가능한 모델로 학습하여 분류기의 성능을 설명하는 기술 SHAP SHapley Additive exPlanations 머신러닝 설명기법으로 특성의 기여도를 계산하여 관측치를 설명하는 기술
AI
/
DL
/
basic · 2023-11-03
4. Models of deep learning
supervised Learning LinearRegression 선형적인 모델로 예측이 될때 사용 {% highlight python %} from sklearn.linear_model import LinearRegression {% endhighlight %} LogisticRegression 0과1 처럼 나뉘어지는 형태 또는 0~1로 나뉘어지는 모델 {% highlight python %} from sklearn.linear_model import LogisticRegression {% endhighlight %} DecisionTreeRegressor tree 형태로 구분이 되며 feature들에 따라 결과를 다각형의 직선으로 표현하는 형태이다 분류된 값의 평균 {% highlight python %} from sklearn.tree import DecisionTreeRegressor model = DecisionTreeRegressor(random_state=100, min_samples_leaf=1, min_samples_split=5, max_depth=5) {% endhighlight %} random_state 시드값 max_depth 최대 깊이 min_samples_leaf 리프 원소의 최소갯수 min_samples_split root 원소의 최소갯수 RandomForestClassifier 다수의 트리들을 랜덤하게 학습하는 방법으로 과적합을 방지하기 위해 탄생하였으나 비교적 느리다. feature들에 따라 결과를 구역으로 나뉘는 형태이다. 복원 추출하는것을 bootstrap이라하며 복원추출로 subset을만들어 모델을 만드는것을 bagging이라고 함. subset을 만들기 때문에 특정 feature의 과적합을 조절할 수 있다. 트리들이 각각 독립적이다. GINI index(default) $1-\sum_{i=1}^n(p_i)^2$로 노드의 순도를 알 수있고 최하 0.5에서 최고 0까지 나타남 cross entropy $-\sum_{i=1}^n(p_i)^2*\log_2(p_i)$로 노드의 순도를 알 수있고 최하 1에서 최고 0까지 나타남 {% highlight python %} from sklearn.ensemble import RandomForestClassifier {% endhighlight %} XGBoost boosting은 각트리가 이전 트리의 결과를 참조하는것. gradient descent(경사하강법) 위의 기법들을 활용을 하며 level wise한 방법 LightGBM boosting은 각트리가 이전 트리의 결과를 참조하는것. gradient descent(경사하강법) 위의 기법들을 활용을 하며 leaf wise한 방법 {% highlight python %} from lightgbm import LGBMClassifier {% endhighlight %} unsupervised Learning KMeans cluster형태의 문제에서 포인트를 지정 후 근처값을 찾고 중심이동을 반복해 최종값을 구하게된다.(거리 기반 측정법) {% highlight python %} from sklearn.cluster import KMeans model = KMeans(n_clusters = ) model.fit(X) model.inertia_ {% endhighlight %} inertia_ 얼마나 밀집해있는지 알 수 있음(n의 갯수가 높으면 낮아지는 문제도 있음) survival analysis KaplanMelerFitter(survival analysis) 구독시간과 이탈률만을 가지고 평가하는 기본형 {% highlight python %} from lifelines import KaplanMelerFitter model = KaplanMelerFitter() model.fit(, ) model.survival_function_ model.event_table {% endhighlight %} survival_function_는 시간에 따른 이탈치 event_table removed 이탈량 observed 데이터 내의 이탈량 censored 데이터 이후 이탈 예상량 entrance 유입량 at_risk 잔류량 CoxPH(survival analysis) 모든 데이터를 이용해서 평가하는 복합형으로 logistic regression에서 차용되었다. {% highlight python %} from lifelines import CoxPHFitter model = CoxPHFitter() model.fit(, , ) model.baseline_survival_ model.print_summary() model.plot_partial_effects_on_outcome(covariates= , values= [0,1,...]) model.predict_survival_function() {% endhighlight %} baseline_survival_는 시간에 따른 이탈치 print_summary coef의 값과 exp(coef)등등의 값을 알 수 있으며 exp(coef)이 1에서 차이나는 만큼이 이탈률의 변화량에 미치는 비율을 말한다. plot_partial_effects_on_outcome <column_name>이 value일때 미친 영향 그래프 predict_survival_function 추가적인 데이터의 예측값
AI
/
DL
/
basic · 2023-11-02
3. Evaluation metrics of deep learning
mean_absolute_error(regression) mse라고 불리는 지표로 결과값과 예측값간의 차의 절대값 평균이다. {% highlight python %} from sklearn.metrics import mean_absolute_error mean_absolute_error(Y_test, pred_value) {% endhighlight %} mean_squared_error(regression) mse라고 불리는 지표로 가장 일반적으로 사용되는 값으로 결과값과 예측값간의 차의 제곱합의 절대값이다. {% highlight python %} from sklearn.metrics import mean_squared_error mean_squared_error(Y_test, pred_value) {% endhighlight %} accuracy_score(classification) 결과와 예측간의 정확도를 나타내는 지표이다. {% highlight python %} from sklearn.metrics import accuracy_score accuracy_score(Y_test, pred_value) {% endhighlight %} confusion_matrix(classification) 예측값과 결과값간의 값을 matrix로 나타낸값 {% highlight python %} from sklearn.metrics import confusion_matrix confusion_matrix(Y_test, pred_value) {% endhighlight %} classification_report(classification) {% highlight python %} from sklearn.metrics import classification_report classification_report(Y_test, pred_value) {% endhighlight %} precision -> 예측1(positive, type1) 정확도 recall -> 실제1(Type2) 정확도 F-1 Score precision, recall의 유사성 높으면 유사함(기하 평균) roc_auc_score(classification) {% highlight python %} from sklearn.metrics import roc_auc_score roc_auc_score(Y_test, pred_value, multi_class) {% endhighlight %} roc x축을 실제값이 1일때 예측값의 1의 비율, y축을 실제값이 0일때 예측값의 1의 비율로 하여 나타내지는 그래프를 의미한다. auc -> roc그래프에서 desity를 나타내고, 0.5~1의 값을 나타내며 높을수록 정확도가 높다 multi_class는 1대1 매칭은 ovo 1대 다 매칭은 ovr로 입력값을 받는다. silhouette_score(clustering) {% highlight python %} from sklearn.metrics import silhouette_score for i in range(): model = KMeans(n_cluster=i) model.fit() pred = model.predict() [].append(silhouette_score(, pred)) {% endhighlight %} 값이 높을 수록 효과가 좋은 결과
AI
/
DL
/
basic · 2023-11-01
2. EDA of deep learning
고속 옵티마이저 모멘텀 최적화 경사 하강법에 모멘텀을 추가한 형태(초기에는 느린데 모멘텀을 추가로 가져서 종단 속도까지 빠르게 도달함) {% highlight python %} optimizer = keras.optimizers.SGD(learning_rate=0.001, momentum=0.9) {% endhighlight %} 네스테로프 가속 경사 모멘텀에 미리 한 스탭 나아간 것을 추가하여 진동을 감소시킴 {% highlight python %} optimizer = keras.optimizers.SGD(learning_rate=0.001, momentum=0.9, nesterov=True) {% endhighlight %} 전이학습 {% highlight python %} .layers[:-1] -> 최종 층을 제외하고 추출 = keras.models.clone_model() .set_weights(.get_weights()) {% endhighlight %}
AI
/
DL
/
basic · 2023-10-31
1. Theory of deep learning
인공신경망 퍼셉트론(Perceptron) TLU(Threshold Logic Unit)이라고도 불리며 입력들에 대하여 출력을 구하는 유닛이다. 출력은 활성화 함수에 의하여 발생이 되며 heavyside, sgn과 같은 함수가 활용된다. 다중 퍼셉트론 하나의 층으로 구성이된 퍼셉트론은 XOR과 같은 문제를 해결할 수 없고 이를 해결하기 위해 2개 이상의 층으로 구성이된 퍼셉트론을 만드는것이다. 역전파(backpropagation) 다중 퍼셉트론의 학습법으로 효율적인 계산법은 경사 하강법을 사용할 수 있다. 역전파 기법의 서순은 아래와 같이 작용한다. 미니배치들로 1epoch가 될때까지 반복 각 미니배치들을 순차적으로 1개의 레이어씩 진행함 출력층에 도달(정방향 계산) 오차 측정 순처적으로 되돌아가며 가중치를 계산 경사 하강법으로 가중치를 변경 활성함수의 필요성 활성함수가 없으면 모든 층이 선형성을 가지기 때문에 비선형성을 가지는 복잡한 문제를 해결 할 수 없다. 심층신경망(DNN) 은닉층을 2개 이상 가지는 신경망(다중 퍼셉트론) 선형회귀 가중치, 편향을 가지고 단일 선형 또는 다중 선형 회귀 분석을 만들 수 있다. 가설 설정 제공 되는 데이터를 통하여 관계를 유추해 수식으로 예측해보는것을 가설이라 한다. 손실 함수 일반적으로 MSE와 같은 방법을 사용 경사 하강법 손실 함수를 최소화하기 위해 편미분을 취해 찾아가는 방법 epoch 순전파, 역전파를 1회 끝까지 완료하는 횟수 batch size 전체의 데이터에서 매개변수 업데이트에 사용할 데이터들의 집합 iterator 1 epoch를 위해 필요한 batch의 수 순환신경망(RNN) Recurrent Neural Network로 순차적(sequential) 학습의 한 종류이다. 과거의 학습에 Weight를 가하여 현재 학습에 반영하는 신경망 단점 중요한 정보가 오래될 경우 영향력을 크게 상실할 수 있다. 이를 보완하기 위해 LSTM(Long Short-Term Memory)와 간소화된 GRU(Gated Recurrent Unit)가 있다. 합성신경망(CNN) Convolutional Neural Network로 이미지 처리에 효과적인 학습법이다. 아래의 두가지 구조로 구성된다. Convolution Layer kernel/filter를 이용해서 데이터를 특성 맵(feature map)으로 만드는것 스트라이드(stride) kernel/filter가 특성 맵을 만들때 이동하는 거리를 의미한다. 패딩(padding) 특성맵의 크기 축소를 해소하는 방법으로 빈공간으로 채우는 방법 Polling Layer 특성 맵을 풀링 연산(max, average, …)을 통하여 다운 샘플링하는 것 그래프신경망(GNN) Graph Neural Network로 그래프 데이터를 활용하는 신경망이다. 비정형의 복잡한 형태로 인하여 분석이 힘들다. 가중치 초기화 Weight initialization은 학습 초기 가중치를 결정하는 방법으로 효율적이지 못한값을 제공할 경우 미분값의 소실, 발산이 생길 수 있다. 아래의 초기화 기법들은 이와 같은 문제를 효율적으로 다룰 수 있다. He ReLU와 같은 함수를 사용 ReLU 함수는 양수값에서 수렴하지 않으며 속도도 빠르지만 훈련도중 가중치가 음수를 가지게 되면 기울기가 0이 되는 Dying ReLU이슈가 있다. LeakyReLU는 위의 이슈를 해결하기 위하여 음수도 기울기를 가하는 방법이다. $LeakyReLU(z) = max(\alpha z, z)$ RReLU는 정해진 범위의 $\alpha$을 랜덤으로 선택하는것 PReLU는 $\alpha$가 학습하면서 결정이되며 데이터가 적으면 과적합 위험이 있다. ELU는 $z < 0$에서 $\alpha (e^z-1)$을 가지게되며 계산이 느리지만 학습력이 좋다. 글로럿 tanh, logistic, softmax와 같은 함수 또는 활성화 함수 사용 X 인풋과 아웃풋 노드 수의 평균에 의존적이다. 르쿤 SELU와 같은 함수를 사용 인풋의 노드 수에 의존적이다. 배치 정규화 가중치 초기화는 초기의 가중치를 통하여 이후의 안정성을 제공하지만 완전히 안정적이지는 않다. 그렇기 때문에 배치 정규화를 이용해서 은닉층 내부에서 안정화를 제공할 수 있다. 활성화 함수 전후에 연산을 추가하여 진행되며 배치 정규화를 진행하기 위해서는 입력의 평균과 표준 편차를 필요로 한다. 각 층의 입력의 값을 활용하기 때문에 테스트를 할때는 전체 훈련결과를 이용하여 정규화를 진행한다. 그래디언트 클리핑 그래디언트 폭주가 발생하지 않게 역전파에서 임계값을 초과하지 않게한다. 전이학습 transfer learning이라고도 하며 이전에 학습한 층을 재활용하는 것이다. 상위층의 경우 재사용시 다른 모델에 최적화 되어 있기때문에 하위층을 주로 활용한다.
AI
/
DL
/
basic · 2023-10-30

Touch background to close