securelayer공부

tpot

sckit-learn

 

AUTO ML 활용해서 케글에 적용해보자 

1  feature 선택

2 모델 선택

3hyper param 설정

 

EfficientNetB3의 base로 -> ImageNet을 활용 

 

autokeras.com

 

11.HPOlib(GNU

https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html

EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling

1 BO 

    -GP  

    - 

    

2 genetic algo 사이킷런에서 활용해 볼 수 있음

          hyper parameter넣을 게 많아 custom하기 쉬움 

      eliticist algorirhm - local optima 에 갇힐 위험이 있어서 잘 안씀 

      ranking/roulette과 달리 tournament선호도 높음(적합도

     

      잘 이해 안감

--->hyper (crossover) 5개 중에서 3개를 아버지 2개를 어머니 // random (mutation)

테스트를 하고 결과를 볼 때 200 개 파라미터 뽑고 싶으면 테스트를 200번해야지 

 

파라미터마다 10개씩 수가 있어 

 

HPO문제-> 테스트하는 샘플이 적어  

 

 

EfficientNetB3,B4등을 섞는 게 나을수도

직접 해봐서 결과 낸 것이기에 너도 그 과정 거치는게 더 빠를지도 몰라

 

hpo-keyword

Hyper Parameter (Tuning/Optimization/Search)
Genetic Algorithm (Evloutionary Algorithm/Search)

 --- HPO에서 쓰는 GA알고리즘 다양 

    GA개선 알고리즘 정리
Bayesian Optimization (BO)
Grid Search, Random Search(Manual Search/Brute-force)
Simulated Annealing (SA)

 

 

Particle Swarm Optimization (PSO)  double/continuous / binary 

   중력/각 설정 

  --> 구슬을 뿌렸을 때 얼마나 빨리 local minima에 빠지는가. l.r.선정의 문제 

  --> 
Tree-structured Parzen Estimation (TPE)

2개도 알아서 알려줘야 함
Multi-armed(one-armed) Bandit

 

HPO 속도 개선 

-Sequential Model-based Algorithm Configuration(SMAC)--반 버린다 
-Hyperband

-

 

Successive Halving (Algorithm/Pruning)
EarlyStopping(EarlyStop Callback) -->1) patience 2 // 2) epoch 을 50정도는 해줘야  3)개선율 관찰 

문제를 바꾼게 10개 개체를 한번에 테스트 하고 가망없는 것을 버린다. 

 

 

Reinforcement Learning
Confusion Matrix
Greedy - Stochastic