어쩌다통계

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스트에서는 실제 데이터를 가지고 모델 학습-배포하는 전체 과정을 차근차근 실습해보려고 합니다. 간단하게 보면, 모델학습 -> BentoML로 모델 저장/도커 이미지 생성 -> k8s에 배포 -> Prometheus&Grafana로 모니터링 순으로 진행해 보겠습니다. 0. 준비물 아래 모든 실습 과정은 Virtual Box에서 우분투 이미지로 구축한 리눅스 터미널에서 진행하였습니다. 리눅스 환경 Virtual Box 7.0, https://www.virtualbox.org/ 우분투 이미지 20.04, https://releases.ubuntu.com/focal/ docker : containerization(컨테이너화)을 위한 도구 k8s : c..

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) BentoML에 대해 찾아보며 알게된 내용을 정리한 포스트입니다. BentoML이란?! 0. BentoML 기본 정보 The Unified Model Serving Framework, BentoML makes it easy to create Machine Learning services that are ready to deploy and scale. 모델을 쉽고 빠르게 배포하는 도구 모델 API 서버 구성을 쉽게 할 수 있고 dockerfile Data Scientists and ML Engineers use BentoML to: Accelerate and standardize the process of taking ML models to produc..

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 요즘 모델 서빙을 준비하다 보니 도커와 쿠버네티스 베이스가 필요해 공부하며 정리한 포스트입니다. 참고한 도서는 그림과 실습으로 배우는 도커&쿠버네티스이고, Fast campus에서 머신러닝 서비스 구축을 위한 실전 MLOps 강의도 수강하였는데, 도커와 쿠버네티스에 대한 아무런 베이스가 없는 사람들에게 좋은 조합인 것 같습니다. http://www.yes24.com/Product/Goods/108431011 그림과 실습으로 배우는 도커 & 쿠버네티스 - YES24 컨테이너나 도커를 도통 이해하기 어려운 분들을 위한 본격 도커 입문서!이 책은 컨테이너 기술이 어렵게 느껴지는 엔지니어나 백엔드 기술에 자신이 없는 분들을 위한 도커 입문서다. 자세한 www..

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스팅에서는 간단하게 Flask로 웹 모델 서빙 실습했던 노트북을 정리해보려고 합니다. 전체적인 코드는 아래 자료의 소스를 활용하여 진행하였으며, 중간중간 Flask 모델 서빙 구현에 필요한 개념이나 구조를 추가하였습니다. https://www.analyticsvidhya.com/blog/2020/04/how-to-deploy-machine-learning-model-flask/ How to Deploy Machine Learning Models using Flask (with Code) How can you deploy a machine learning model into production? That's where we use Flask, an..

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 이상치 탐지를 하다 보면 데이터에 맞는 방법들이 있어 여러 가지 방법들을 적용해보는 편인데, 아무래도 일관성이 떨어지다 보니 이런 방법론들이 모여있는 라이브러리가 없을까?! 하고 찾던 중 PyOD를 발견하게 되어 정리를 해봅니다. 풀네임이 Python Outlier Detection인 PyOD는 다변량 데이터에 적용 가능한 이상치 탐지 방법론들이 30개 이상 구현되어 있는 라이브러리입니다. 가장 기본적인 LOF부터 HBOS, OCSVM, IForest와 제가 좋아하는 AutoEncoder와 VAE까지 방법론이 너무 많아 우선 여기 있는 이상치 탐지 방법론부터 공부해봐도 좋겠다 생각이 들었습니다. 예전에 나온 방법론뿐 아니라 2022년에 나온 ECOD라는..

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스팅에서는 실시간 데이터 현황 파악을 하거나 사용자의 목적에 맞게 데이터를 시각화해서 보여주기위해 python으로 dash board를 만드는 절차나 기본 구조가 어떻게 되어 있는지 정리해보려고 합니다. 참고한 도서는 파이썬을 이용한 인터랙티브 대시보드 만들기라는 책이고 POD 상품으로 주문하면 그 때 제작이 들어가서 살까말까 오랫동안 망설였는데, plotly나 dash에 대한 아무 개념이 없다면 충분히 사도 좋은 책이라고 생각합니다. 함수들이 어떤 구조로 어떤 절차로 진행되는 지 설명이 있어서 기초를 쌓는데 도움이 많이 되었습니다. http://www.yes24.com/Product/Goods/102267640 파이썬을 이용한 인터랙티브 대시보..