Data Science 39

[논문 리뷰] 이상치 탐지 | Deep SVDD, Deep One-Class Classification

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 오늘은 2018년에 나온 Deep SVDD에 대해 간단하게 살펴보겠습니다. 22년에 봤던 논문인데 이제야... 정리하네요 ㅎㅎ 23년 4월 기준 1347회 인용되었고, 논문은 아래 링크 참고 부탁드립니다! Deep One-Class Classification, http://proceedings.mlr.press/v80/ruff18a/ruff18a.pdf Deep SVDD란?! Deep SVDD는 기존 머신러닝 기반의 one-class classification 방법론인 support vector data description (SVDD)에 딥러닝을 접목한 방법론입니다. neural network를 통해 input을 feature space로 mappin..

BentoML로 모델 서빙하기(우당탕탕 ver.)| BentoML, Docker, k8s, Prometheus 그리고 Grafana

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스트에서는 실제 데이터를 가지고 모델 학습-배포하는 전체 과정을 차근차근 실습해보려고 합니다. 간단하게 보면, 모델학습 -> BentoML로 모델 저장/도커 이미지 생성 -> k8s에 배포 -> Prometheus&Grafana로 모니터링 순으로 진행해 보겠습니다. 0. 준비물 아래 모든 실습 과정은 Virtual Box에서 우분투 이미지로 구축한 리눅스 터미널에서 진행하였습니다. 리눅스 환경 Virtual Box 7.0, https://www.virtualbox.org/ 우분투 이미지 20.04, https://releases.ubuntu.com/focal/ docker : containerization(컨테이너화)을 위한 도구 k8s : c..

Programming/Others 2023.04.04

BentoML이란?!

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) BentoML에 대해 찾아보며 알게된 내용을 정리한 포스트입니다. BentoML이란?! 0. BentoML 기본 정보 The Unified Model Serving Framework, BentoML makes it easy to create Machine Learning services that are ready to deploy and scale. 모델을 쉽고 빠르게 배포하는 도구 모델 API 서버 구성을 쉽게 할 수 있고 dockerfile Data Scientists and ML Engineers use BentoML to: Accelerate and standardize the process of taking ML models to produc..

Programming/Others 2023.03.15

도커 & 쿠버네티스 설치에 필요한 기본 개념 정리

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 요즘 모델 서빙을 준비하다 보니 도커와 쿠버네티스 베이스가 필요해 공부하며 정리한 포스트입니다. 참고한 도서는 그림과 실습으로 배우는 도커&쿠버네티스이고, Fast campus에서 머신러닝 서비스 구축을 위한 실전 MLOps 강의도 수강하였는데, 도커와 쿠버네티스에 대한 아무런 베이스가 없는 사람들에게 좋은 조합인 것 같습니다. http://www.yes24.com/Product/Goods/108431011 그림과 실습으로 배우는 도커 & 쿠버네티스 - YES24 컨테이너나 도커를 도통 이해하기 어려운 분들을 위한 본격 도커 입문서!이 책은 컨테이너 기술이 어렵게 느껴지는 엔지니어나 백엔드 기술에 자신이 없는 분들을 위한 도커 입문서다. 자세한 www..

Programming/Others 2023.03.15

[논문 리뷰] 차원 축소 | PaCMAP, Pairwise Controlled Manifold Approximation Projection

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 오늘은 새롭게 접하게 된 PaCMAP이라는 방법론을 소개해보려고 합니다. 리서치 중 찾게 된 방법론인데, t-sne만 사용하던 저에게는 다소 큰 충격으로 와닿았고 차원축소 성능이나 활용성 측면에서 t-sne보다는 훨씬 좋은 것 같아 해당 논문을 리뷰해 보고 데이터로 실제 성능이 어떻게 다른 지 공유드려보려고 합니다. (현업에서 사용해 봤을 때는 훨씬 좋았어요. 성능!) 우선 논문은 2021년에 나온 논문, Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMap and PaCMAP for Data Visualizatio..

[논문 리뷰] 이상치 탐지 | DevNet, An End-to-end Anomaly Score Learning Network

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스팅에서는 anomaly detection 분야에서 SOTA 중의 하나인 DevNet에 대해 알아보도록 하겠습니다. An End-to-end Anomaly Score Learning Network, DevNet은 2019년에 게재된 논문으로 딥러닝 기반 end-to-end 이상 탐지 방법을 제안하고 있습니다. 본 방법론이 나오게 된 배경과 컨셉, 구조 등에 대해 아래에서 살펴보겠습니다. 0. Abstract 딥러닝은 다양한 문제를 해결하는데 적용되고 있지만, 이상 탐지 문제에 있어서는 상대적으로 적용이 제한되어 있습니다. 현존하는 이상탐지 분야의 방법은 주로 data representation으로 indirect 하게 anomaly scoring..