모델 서빙 3

BentoML로 모델 서빙하기(우당탕탕 ver.)| BentoML, Docker, k8s, Prometheus 그리고 Grafana

이 글이 도움 되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스트에서는 실제 데이터를 가지고 모델 학습-배포하는 전체 과정을 차근차근 실습해보려고 합니다. 간단하게 보면, 모델학습 -> BentoML로 모델 저장/도커 이미지 생성 -> k8s에 배포 -> Prometheus&Grafana로 모니터링 순으로 진행해 보겠습니다. 0. 준비물 아래 모든 실습 과정은 Virtual Box에서 우분투 이미지로 구축한 리눅스 터미널에서 진행하였습니다. 리눅스 환경 Virtual Box 7.0, https://www.virtualbox.org/ 우분투 이미지 20.04, https://releases.ubuntu.com/focal/ docker : containerization(컨테이너화)을 위한 도구 k8s : c..

Programming/Others 2023.04.04

Flask로 모델 서빙하기 | 실습

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) 이번 포스팅에서는 간단하게 Flask로 웹 모델 서빙 실습했던 노트북을 정리해보려고 합니다. 전체적인 코드는 아래 자료의 소스를 활용하여 진행하였으며, 중간중간 Flask 모델 서빙 구현에 필요한 개념이나 구조를 추가하였습니다. https://www.analyticsvidhya.com/blog/2020/04/how-to-deploy-machine-learning-model-flask/ How to Deploy Machine Learning Models using Flask (with Code) How can you deploy a machine learning model into production? That's where we use Flask, an..

Programming/Python 2022.11.01

[도서 리뷰] Introducing MLOps, MLOps 도입가이드 part1

이 글이 도움되셨다면 광고 클릭 부탁드립니다 : ) ML모델 관련 구글링을 하다 보면 DevOps와 비슷한 MLOps라는 용어를 손쉽게 접할 수 있습니다. 저는 처음에는 당장 필요하지 않아 보여 관심을 두지 않았는데, 회사에서 모델을 배포/서빙을 하거나 개인 프로젝트를 하더라도 API를 만들어 서비스가 가능한 모델을 만들려면 MLOps에 대한 배경지식이 필요하게 됩니다. 본 포스팅은 Introducing MLOps, MLOps 도입 가이드를 읽으며 MLOps를 구상하는데 도움이 되는 부분을 정리하였습니다. https://product.kyobobook.co.kr/detail/S000001810502 MLOps 도입 가이드 | 데이터이쿠 - 교보문고 MLOps 도입 가이드 | MLOps의 개념부터 도입과 ..