DevOps
ในบทความ DevOps Insider หลายๆอัน ได้อธิบายว่า DevOps คือชุด Practice ที่ช่วยให้ทีมทำงานแบบ Continuous Integration และ Continuous Delivery ปล่อยงานได้ไวขึ้น คุณภาพดีขึ้น และลดปัญหาระหว่าง Dev กับ Ops เพื่อพัฒนา Product ได้เร็วและเป็นระบบ และเมื่อเข้าสู่ยุคที่ Data, ML, AI โตแบบก้าวกระโดด Workflow ที่เคยใช้กับ CICD ปกติเริ่มไม่พอ เพราะงาน Data Pipeline, Model Training, Model Deployment รวมถึงการ Monitor Model แบบ Real Time มีความซับซ้อนขึ้นเยอะมาก Tools ที่ใช้ก็ต่างออกไป สิ่งที่ยังเหมือนเดิมคือ แนวคิด DevOps แต่เราต้องเอามาประยุกต์กับโลกของ Data และ Machine Learning ให้ทำงานได้แบบอัตโนมัติและทำซ้ำได้ จึงเกิดคำว่า DataOps และ MLOps ขึ้นมา วันนี้จึงชวน คุณเกรซ Senior Platform Services Engineer มาช่วยสรุปสั้นๆ ให้เห็นภาพง่ายๆว่า DataOps และ MLOps คืออะไร และการเลือก Tool มาใช้ในงาน CICD ของสายนี้
DataOps
คือการนำ DevOps ไปใช้กับงาน Data ตั้งแต่ Ingestion, ETL/ELT, Data Quality, Data Versioning จนถึงการ Deploy Data Pipeline ให้เสถียรเหมือน Deploy Code
MLOps
คือการขยายต่อจาก DataOps ไปจัดการ Lifecycle ของ ML เช่น Training, Experiment Tracking, Model Registry, Deploy Model, Monitor Model และ Retrain อัตโนมัติ
สำหรับสาย Platform จะคุ้นกับ CNCF มาก เหมือนเป็นแผนที่กลางว่ามี Tools อะไรบ้างที่เป็น Open Source และ Mature พอจะใช้ได้กับระบบ CI/CD หรือ Infra ของเรา แต่พอเข้ามาในโลก DataOps/MLOps คำถามคือ แล้วเราดู Tools จากที่ไหน? เพราะมันไม่มี CNCF ให้ดูแบบเดียวกัน? คำตอบคือ ถึงจะไม่มีแผนที่หลักแบบ CNCF แต่ก็มี Ecosystem ใหญ่ๆ ที่คนในวงการใช้เป็น reference เช่น
• LF AI & Data ของ Linux Foundation รวมของดังๆ อย่าง MLFlow, Feast, ONNX, Delta Lake
• AI Infrastructure Alliance รวม Tools และ vendors สาย MLOps มี Landscape ให้ดูด้วยนะ
https://ai-infrastructure.org/ai-infrastructure-landscape/
• Best Practice จาก Cloud Provider เช่น AWS, GCP, Azure
• Community อย่าง Mlops.Community
• และ Open Source Landscape ที่ Community ทำขึ้นเอง เช่น Dagshub, DataOps.live
สุดท้ายเวลาจะเลือก Tools MLOps/DataOps ต้องดูงานของทีมเป็นหลัก เพราะแต่ละงานไม่เหมือนกันเช่น
• ถ้าเน้น Batch Pipeline ก็มักใช้ Airflow, MLFlow, DBT
• ถ้าเน้น Real-time ML จะไปทาง Kafka, Flink, Feast, KServe
• ถ้าเน้น Cloud Native ก็ไป Databricks, SageMaker, Vertex AI
• ถ้าอยาก Open Source ล้วนๆ ก็ Kubeflow, Argo, MLFlow, Feast
ท้ายนี้หากองค์กรของท่านกำลังมองหาโซลูชันด้าน DevOps ช่วยปรับรูปแบบการทำงานให้เป็นอัตโนมัติ ลดต้นทุนการทำธุรกิจ SCB TechX พร้อมเป็นโซลูชันที่ช่วยพัฒนา และ Deliver ผลิตภัณฑ์และบริการออกสู่ตลาด ต่อยอดองค์กรของท่านให้เติบโตอย่างยั่งยืน
สนใจบริการโปรดติดต่อเราที่ https://bit.ly/4etA8Ym
อ่านรายละเอียดเพิ่มเติมคลิก https://bit.ly/4dpGl6U
