[논문 리뷰] 이상치 탐지 | Deep SVDD, Deep One-Class Classification

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : )

 

오늘은 2018년에 나온 Deep SVDD에 대해 간단하게 살펴보겠습니다. 22년에 봤던 논문인데 이제야... 정리하네요 ㅎㅎ

23년 4월 기준 1347회 인용되었고, 논문은 아래 링크 참고 부탁드립니다!

Deep One-Class Classification, http://proceedings.mlr.press/v80/ruff18a/ruff18a.pdf

 

---

Deep SVDD란?!

Deep SVDD는 기존 머신러닝 기반의 one-class classification 방법론인 support vector data description (SVDD)에 딥러닝을 접목한 방법론입니다. neural network를 통해 input을 feature space로 mapping한 후, 해당 공간에서 대부분의 정상 데이터를 둘러싸는 가장 작은 구 경계를 찾는 방법으로 classification을 진행합니다.
세부적으로 pretrained convolutional autoencoder의 encoder를 Deep SVDD의 neural network 가중치의 초기값으로 사용하며, 초기값을 통해 도출된 정상 데이터의 representations 평균을 구의 중심으로 설정하여 경계를 찾습니다.

 

Related Works

• SVM(Support Vector Machine) : 서로 다른 클래스를 잘 분류하는 Classifier(d-1차원의 hyperplane classifier) 찾는 방법
• SVDD(Support Vector Data Description) : 비선형 SVM을 이용한 One-Class Classificaion을 위한 대표적인 방법
  • 기존 데이터 Point들의 Feature space에서 정상 데이터를 둘러싸는 Hypersphere(초구, Boundary)를 찾고, 해당 Boundary를 기준으로 이상치를 탐지
  • 목적함수 - 최적화된 Hypersphere의 반지름을 최소화하면서 많은 정상 데이터를 둘러싸는 방향

 

 

그러면 Deep SVDD는 위 방법론과 어떻게 다른 방법으로 문제를 풀어낼까요?

•  

기존 SVDD가 Kernel을 기반으로 했다면, Deep SVDD는 딥러닝으로 feature space를 학습하고 해당 feature space에서 정상 데이터를 둘러싸는 최적의 구(반지름이 작은)를 찾습니다.

 

아래의 Deep SVDD의 목적함수는 정상 데이터의 feature space를 추출하여 각 데이터 point들이 구의 중심 c에 가깝게 mapping하게 합니다.

• Hypersphere의 반지름을 최소화
• hypersphere의 중심 c와 변환된 차원의 데이터 point 사이 거리를 최소화
• weight decay regularizer(특정 가중치 w가 비정상적으로 커지는 것 방지)