어쩌다통계

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 오랜만에 이상치 탐지 방법론 리뷰를 해보려고 합니다. 어떤 방법론을 공부해볼까 하고 찾아보다 2023년에 나온 Deep Isolation Forest for Anomaly Detection, DIF라는 Isolation Forest 기반의 딥러닝 방법론이 있어 살펴보려고 합니다. PyOD 라이브러리에 들어가 있어서 실제 적용도 간단하게 해 볼 수 있을 것 같네요. https://slowsteadystat.tistory.com/25 PyOD 라이브러리로 간단하게 이상치 탐지하기 이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 이상치 탐지를 하다 보면 데이터에 맞는 방법들이 있어 여러 가지 방법들을 적용해보는 편인데, 아무래도 일관성이 떨어지다 보니 ..

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스트에서는 2020년 9월에 공개된 추천시스템 라이브러리인 TensorFlow Recommenders의 대략적인 컨셉에 대해 알아보고 예제 데이터로 모델이 어떻게 돌아가지는 지 살펴보겠습니다. 최근 추천 관련 대회를 준비하면서 여러 가지 추천 방법론을 시도해 보았는데, 그중 나름 성능이 괜찮았던 TFRS에 대해 한번 정리해보려고 합니다. 추천 시스템?! 일상생활에서 많이 접해보셨을텐데요, 사용자의 취향에 맞는 상품, 컨텐츠를 추천해 주어 사용자에게는 맞춤 서비스를 제공할 수 있고 기업에서는 매출을 증가시키거나 사이트 체류시간을 높일 수 있을 것 입니다. McKindsey의 조사에 따르면, 아래와 같이 각종 서비스에서 추천 시스템은 주요한 역할을 ..

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스트에서는 실제 데이터를 가지고 모델 학습-배포하는 전체 과정을 차근차근 실습해보려고 합니다. 간단하게 보면, 모델학습 -> BentoML로 모델 저장/도커 이미지 생성 -> k8s에 배포 -> Prometheus&Grafana로 모니터링 순으로 진행해 보겠습니다. 0. 준비물 아래 모든 실습 과정은 Virtual Box에서 우분투 이미지로 구축한 리눅스 터미널에서 진행하였습니다. 리눅스 환경 Virtual Box 7.0, https://www.virtualbox.org/ 우분투 이미지 20.04, https://releases.ubuntu.com/focal/ docker : containerization(컨테이너화)을 위한 도구 k8s : c..

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) BentoML에 대해 찾아보며 알게된 내용을 정리한 포스트입니다. BentoML이란?! 0. BentoML 기본 정보 The Unified Model Serving Framework, BentoML makes it easy to create Machine Learning services that are ready to deploy and scale. 모델을 쉽고 빠르게 배포하는 도구 모델 API 서버 구성을 쉽게 할 수 있고 dockerfile Data Scientists and ML Engineers use BentoML to: Accelerate and standardize the process of taking ML models to produc..

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 요즘 모델 서빙을 준비하다 보니 도커와 쿠버네티스 베이스가 필요해 공부하며 정리한 포스트입니다. 참고한 도서는 그림과 실습으로 배우는 도커&쿠버네티스이고, Fast campus에서 머신러닝 서비스 구축을 위한 실전 MLOps 강의도 수강하였는데, 도커와 쿠버네티스에 대한 아무런 베이스가 없는 사람들에게 좋은 조합인 것 같습니다. http://www.yes24.com/Product/Goods/108431011 그림과 실습으로 배우는 도커 & 쿠버네티스 - YES24 컨테이너나 도커를 도통 이해하기 어려운 분들을 위한 본격 도커 입문서!이 책은 컨테이너 기술이 어렵게 느껴지는 엔지니어나 백엔드 기술에 자신이 없는 분들을 위한 도커 입문서다. 자세한 www..

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 오늘은 새롭게 접하게 된 PaCMAP이라는 방법론을 소개해보려고 합니다. 리서치 중 찾게 된 방법론인데, t-sne만 사용하던 저에게는 다소 큰 충격으로 와닿았고 차원축소 성능이나 활용성 측면에서 t-sne보다는 훨씬 좋은 것 같아 해당 논문을 리뷰해 보고 데이터로 실제 성능이 어떻게 다른 지 공유드려보려고 합니다. (현업에서 사용해 봤을 때는 훨씬 좋았어요. 성능!) 우선 논문은 2021년에 나온 논문, Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMap and PaCMAP for Data Visualizatio..