เมื่อ Metric มันขัดใจ… ก็ต้องจัดให้ตรงใจด้วย Script Exporter

script exporter cover

เราจะมาเล่าถึง Solution ที่ SCB TechX เรื่องการ Monitor Backup ใน Multi-Cloud Environment ที่มีความซับซ้อนด้วยการใช้ Script Exporter เนื่องจากแต่ละ Cloud Provider มีบริการ Backup เแยกเป็นของตัวเอง ทำให้การติดตามสถานะ Backup แบบ Centralized เป็นเรื่องที่มีความ challenge เพื่อให้เข้าใจง่าย เราจะเล่าเรื่องโดยใช้ STAR methodology ครอบคลุม Situation, Task, Action และ Result 1. SituationSCB TechX มีการจัดการ Workload อยู่บนสภาพแวดล้อม Multi-Cloud ซึ่งทำให้การ Monitor งาน Backup ในแต่ละ Cloud เป็นเรื่องยาก เพราะแต่ละ Cloud มีบริการ Backup ของตัวเอง เราจึงต้องการโซลูชันแบบ ศูนย์กลางเดียว (unified centralized solution) ที่สามารถ Monitor และตรวจจับการแจ้งเตือนข้าม Multi-Cloud ได้ 2. Task สร้าง Solution ที่มีความ Automate และยืดหยุ่น สำหรับ Monitor Backup ใน Multi-Cloud Environment แสดงสถานะ Backup ผ่าน Grafana dashboards เชื่อมต่อระบบแจ้งเตือนเข้ากับ PagerDuty 3. Action ได้พัฒนา Flow การ Monitor แบบ Cetralized โดยใช้ Script Exporter ทำการรัน Python Script เพื่อเรียก API ของ AWS Boto3 / Azure … Continue reading เมื่อ Metric มันขัดใจ… ก็ต้องจัดให้ตรงใจด้วย Script Exporter

EKS Auto Mode: ให้ AWS เป็น Ops ของคุณ

eks auto mode

คุณเคยเหนื่อยกับการจัดการ Kubernetes Cluster เองไหม? Node Up, Node Down, Load Balancer ปวดหัวสุดๆ! ตอนนี้ AWS มีตัวช่วยสุดเจ๋งชื่อ EKS Auto Mode – ปล่อยให้ AWS เป็น Ops ของคุณ ทำงานแทนทุกอย่าง แล้วคุณแค่โฟกัสไปที่โค้ดและไอเดียของคุณ Cluster ทำงานเอง เรานั่งชิล EKS Auto Mode ช่วยให้คุณ ไม่ต้องมานั่งปรับ Node หรือคิดว่าจะ Scale ยังไง เพราะ AWS จะจัดการทุกอย่างให้เองคุณแค่ Deploy แอป แล้วนั่งชิล ๆ รอ AWS จัดการให้ NodePool Auto – ง่ายกว่าที่คิด ด้วย EKS Auto Mode คุณสามารถสร้าง NodePools และ NodeClasses แบบปรับแต่งเอง หรือใช้ Default NodePools ก็ได้ ระบบจะคำนวณ resource ให้เหมาะสมโดยอัตโนมัติ พร้อมกับ: Compute อัตโนมัติ – Node เลือก AMI ที่เหมาะสม, เปิด GPU Support, ปิด SSH/SSM Auto Scaling – ใช้ Karpenter ตรวจจับ Pods ที่ไม่สามารถ Schedule และเพิ่ม Node ใหม่อัตโนมัติ Load Balancing อัตโนมัติ – Integration กับ AWS Elastic Load Balancing จัดการ Application & Network LB แบบ Production-ready Storage อัตโนมัติ – ตั้งค่า Ephemeral Storage, Volume Size, Encryption, และ Deletion Policy ให้ … Continue reading EKS Auto Mode: ให้ AWS เป็น Ops ของคุณ

Airflow 3 ทำอะไรให้สาย Data และ Dev ง่ายขึ้นบ้าง?

DAG

ทุกวันนี้ทีม Data และ Dev ต้องเจอกับงานที่ซับซ้อน แต่ถ้ามีผู้ช่วยจัดการคิวงานให้ทุกขั้นตอน ชีวิตจะง่ายขึ้นขนาดไหน? วันนี้เลยชวนคุณ Patsakorn, Platform Services Engineer มาแชร์ว่า ทำไม Apache Airflow 3 ถึงกลายเป็นเพื่อนคู่ใจของสาย Data และ Dev ที่ช่วยให้ทำงานเร็วขึ้น ง่ายขึ้น และเหนื่อยน้อยลงจริง ๆ Apache Airflow คืออะไร? ลองจินตนาการว่าคุณเป็น Project Manager ที่ต้องจัดการโปรเจกต์ซับซ้อน มีหลาย Tasks ต้องทำตามลำดับ บาง Tasks เริ่มไม่ได้จนกว่า Tasks อื่นจะเสร็จ และต้องแน่ใจว่าทุกอย่างทำงานตามกำหนดเวลา ซึ่ง Apache Airflow ก็เหมือนกับการมี Automated Project Manager ให้กับ Data Workflows นั่นเอง DAG คืออะไร? DAG ย่อมาจาก Directed Acyclic Graph ตัวแรก Directed คือ Tasks ที่ไหลไปในทิศทางเดียว (เหมือนน้ำไหลลงสู่ที่ต่ำ) Acyclic คือไม่มี Circular Loops (Tasks ไม่วนกลับมาที่ตัวเอง) Graph คือ Visual Representation ของ Tasks ที่เชื่อมต่อกันโดย DAG มี 5 ประเภทที่ยอดนิยม ประเภทของ DAG 1. Standard DAG (Traditional Workflow) เป็น Workflow ที่พบบ่อยสุด Tasks ทำงานตามลำดับที่กำหนด เช่น Processing dail… Continue reading Airflow 3 ทำอะไรให้สาย Data และ Dev ง่ายขึ้นบ้าง?

อยากลองของ? LocalStack ช่วยคุณได้!

localstack

คุณควรรู้จักกับ LocalStack — เครื่องมือที่ช่วยให้เราสามารถจำลอง AWS มารันบนเครื่องตัวเองได้เหมือนมี AWS เวอร์ชันส่วนตัวเลยทีเดียว…

GreenOps คืออะไร? ทำไมองค์กรไอทีต้องให้ความสำคัญ

ในยุคที่ภาวะโลกร้อนกลายเป็นปัญหาใหญ่ระดับโลก GreenOps หรือ Sustainable DevOps กำลังกลายเป็นหัวใจสำคัญในวงการไอที ไม่ใช่เพียงเพื่อลด Carbon Footprint แต่ยังตอบโจทย์การดำเนินงานตามหลัก ESG (Environmental, Social, Governance) อีกด้วย ต่อจากนี้ ความสำเร็จของ DevOps จะไม่วัดแค่ “ความเร็ว” หรือ “ประสิทธิภาพ” เท่านั้น แต่ต้องดู “ผลกระทบต่อสิ่งแวดล้อม” ด้วย จาก DevOps สู่ GreenOps: โมเดลการทำงานใหม่เพื่อโลกที่ยั่งยืน GreenOps เกิดจากการต่อยอดกระบวนการ DevOps ดั้งเดิม ด้วยแนวคิด Sustainable Software Engineeringตัวอย่างเช่น: วัด Carbon Footprint ของระบบแบบ Real-Timeเพื่อวัดว่าแต่ละครั้งที่ Deploy Container เราสร้างก๊าซคาร์บอนไปเท่าไร โดย ใช้ Tools เช่น – AWS Customer Carbon Footprint Tool– Microsoft Cloud for Sustainability บริหารทรัพยากรอย่างชาญฉลาดเช่น ปิด Server อัตโนมัติในช่วง Non-Peak Hours ด้วย Kubernetes Horizontal Pod Autoscaler เลือกใช้ Cloud Region ที่ใช้พลังงานสะอาด ตัวอย่างเช่น Deploy ใน AWS Europe (Ireland) ซึ่งใช้พลังงานลม 10… Continue reading GreenOps คืออะไร? ทำไมองค์กรไอทีต้องให้ความสำคัญ

ทำไม Cloud-Native ถึงเป็นรากฐานขององค์กรยุคดิจิทัล

จากอดีตสู่ปัจจุบัน: จุดกำเนิดของ Cloud-Native เมื่อเราย้อนกลับไปสักสิบกว่าปีนั้น การพัฒนาแอปพลิเคชันขององค์กรส่วนใหญ่ยังเป็นแบบ Monolithic ที่ทุกฟังก์ชันยังรวมกันอยู่ในโค้ดก้อนเดียว รันบนเครื่อง Server ใน Data Center ของผู้ให้บริการ ซึ่งการ Update หรือเพิ่ม Feature แต่ละครั้งมักต้องใช้เวลานาน เสี่ยงทำให้ทั้งระบบล่ม และยิ่งองค์กรเติบโตขึ้น ปัญหาการขยายระบบก็ยิ่งหนักหน่วงขึ้นเรื่อย ๆ การเปลี่ยนผ่านครั้งใหญ่เกิดขึ้นเมื่อ Cloud Computing และเทคโนโลยีใหม่ ๆ เช่น Container (Docker) และการออกแบบแอปพลิเคชันแบบ Microservices เข้ามา ได้แยกแอปพลิเคชันออกเป็น Service ย่อย ๆ จึงพัฒนาได้อย่างอิสระ ขยายได้ง่าย และนำไปใช้งานบนโครงสร้างพื้นฐานแบบใดก็ได้ ไม่ว่าจะ Public, Private หรือ Hybrid Cloud ภาพจาก: https://kubernetes.io/images/kubernetes-open-graph.png และไม่นานหลังจากนั้น Kubernetes ก็ถือกำเนิดขึ้นจาก Google ก่อนจะถูกส่งต่อให้ CNCF ที่ถูกพัฒนาเป็น Open Source และกลายเป็นมาตรฐานสำคัญของการจัดการคอนเทนเนอร์ในระดับองค์กร ซึ่งทุกวันนี้ Kubernetes แทบจะเป็นหัวใจหลักของโลก Cloud-Native Cloud-Nati… Continue reading ทำไม Cloud-Native ถึงเป็นรากฐานขององค์กรยุคดิจิทัล

MLOps เครื่องมืออัตโนมัติที่พา AI ต่อยอดธุรกิจ

เมื่อพูดถึง DevOps หลายคนคงคุ้นเคยกับภาพการทำงานที่เน้นการ Automate งานต่าง ๆ เช่น การพัฒนา (Development), การ Build, การ Testing และการ Deploy เพื่อให้นักพัฒนา (Developer) ทำงานได้รวดเร็วขึ้นและส่งมอบซอฟต์แวร์ถึงมือผู้ใช้อย่างมีประสิทธิภาพ แต่ถ้าเรานำแนวคิดเดียวกันนี้มาใช้กับงาน AI หรือ Data Science ล่ะ? ตอนนี้มีเครื่องมือที่ชื่อว่า MLOps (Machine Learning Operations) ซึ่งเปรียบเสมือน DevOps ในโลกของ Data และ AI เลย ดังนั้นเราไปทำความรู้จักกับ MLOps เพื่อนำคุณสมบัติเด่นๆไปใช้ประโยชน์กัน จาก DevOps สู่ MLOps DevOps คือการ Automate งานซ้ำ ๆ ในซอฟต์แวร์ เพื่อเพิ่มความเร็วและลดความผิดพลาด ในทำนองเดียวกัน MLOps คือการ Automate pipeline ของงานด้าน Data และ Machine Learning เช่น Data Collection: การรวบรวมข้อมูลจากแหล่งต่าง ๆ Data Cleaning: การทำความสะอาดข้อมูลให้อยู่ในรูปที่พร้อมใช้งาน Model Training: การนำข้อมูลมาเทรนโมเดล Machine Learning Deployment: การนำโมเดลที่ผ่านการเทรนไปใช้งานจริง Monitoring & Retraining: ติดตามผลและ Re-train โมเดลอัตโนมัติเมื่อมีข้อมูลใหม่ ทำไมองค์กรควรสน… Continue reading MLOps เครื่องมืออัตโนมัติที่พา AI ต่อยอดธุรกิจ

หมวดหมู่: Technology

เมื่อ Metric มันขัดใจ… ก็ต้องจัดให้ตรงใจด้วย Script Exporter

EKS Auto Mode: ให้ AWS เป็น Ops ของคุณ

Airflow 3 ทำอะไรให้สาย Data และ Dev ง่ายขึ้นบ้าง?

อยากลองของ? LocalStack ช่วยคุณได้!

GreenOps คืออะไร? ทำไมองค์กรไอทีต้องให้ความสำคัญ

MLOps เครื่องมืออัตโนมัติที่พา AI ต่อยอดธุรกิจ

Opentofu: ยุคใหม่ของ Infrastructure as Code (IaC)

Resource on Cloud ไม่เป็นระเบียบ เก็บเรียบด้วย c7n

Airflow 3 มาแล้ววว!!! ทำไมถึงควรอัปเกรด และมีอะไรใหม่ที่น่าสนใจ?

Your consent required

| การเพิกถอนความยินยอม

Message sent