Airflow 3 ทำอะไรให้สาย Data และ Dev ง่ายขึ้นบ้าง?

DAG

ทุกวันนี้ทีม Data และ Dev ต้องเจอกับงานที่ซับซ้อน แต่ถ้ามีผู้ช่วยจัดการคิวงานให้ทุกขั้นตอน ชีวิตจะง่ายขึ้นขนาดไหน? วันนี้เลยชวนคุณ Patsakorn, Platform Services Engineer มาแชร์ว่า ทำไม Apache Airflow 3 ถึงกลายเป็นเพื่อนคู่ใจของสาย Data และ Dev ที่ช่วยให้ทำงานเร็วขึ้น ง่ายขึ้น และเหนื่อยน้อยลงจริง ๆ Apache Airflow คืออะไร? ลองจินตนาการว่าคุณเป็น Project Manager ที่ต้องจัดการโปรเจกต์ซับซ้อน มีหลาย Tasks ต้องทำตามลำดับ บาง Tasks เริ่มไม่ได้จนกว่า Tasks อื่นจะเสร็จ และต้องแน่ใจว่าทุกอย่างทำงานตามกำหนดเวลา ซึ่ง Apache Airflow ก็เหมือนกับการมี Automated Project Manager ให้กับ Data Workflows นั่นเอง DAG คืออะไร? DAG ย่อมาจาก Directed Acyclic Graph ตัวแรก Directed คือ Tasks ที่ไหลไปในทิศทางเดียว (เหมือนน้ำไหลลงสู่ที่ต่ำ) Acyclic คือไม่มี Circular Loops (Tasks ไม่วนกลับมาที่ตัวเอง) Graph คือ Visual Representation ของ Tasks ที่เชื่อมต่อกันโดย DAG มี 5 ประเภทที่ยอดนิยม ประเภทของ DAG 1. Standard DAG (Traditional Workflow) เป็น Workflow ที่พบบ่อยสุด Tasks ทำงานตามลำดับที่กำหนด เช่น Processing dail… Continue reading Airflow 3 ทำอะไรให้สาย Data และ Dev ง่ายขึ้นบ้าง?

GreenOps คืออะไร? ทำไมองค์กรไอทีต้องให้ความสำคัญ

ในยุคที่ภาวะโลกร้อนกลายเป็นปัญหาใหญ่ระดับโลก GreenOps หรือ Sustainable DevOps กำลังกลายเป็นหัวใจสำคัญในวงการไอที ไม่ใช่เพียงเพื่อลด Carbon Footprint แต่ยังตอบโจทย์การดำเนินงานตามหลัก ESG (Environmental, Social, Governance) อีกด้วย ต่อจากนี้ ความสำเร็จของ DevOps จะไม่วัดแค่ “ความเร็ว” หรือ “ประสิทธิภาพ” เท่านั้น แต่ต้องดู “ผลกระทบต่อสิ่งแวดล้อม” ด้วย จาก DevOps สู่ GreenOps: โมเดลการทำงานใหม่เพื่อโลกที่ยั่งยืน GreenOps เกิดจากการต่อยอดกระบวนการ DevOps ดั้งเดิม ด้วยแนวคิด Sustainable Software Engineeringตัวอย่างเช่น: วัด Carbon Footprint ของระบบแบบ Real-Timeเพื่อวัดว่าแต่ละครั้งที่ Deploy Container เราสร้างก๊าซคาร์บอนไปเท่าไร โดย ใช้ Tools เช่น – AWS Customer Carbon Footprint Tool– Microsoft Cloud for Sustainability บริหารทรัพยากรอย่างชาญฉลาดเช่น ปิด Server อัตโนมัติในช่วง Non-Peak Hours ด้วย Kubernetes Horizontal Pod Autoscaler เลือกใช้ Cloud Region ที่ใช้พลังงานสะอาด ตัวอย่างเช่น Deploy ใน AWS Europe (Ireland) ซึ่งใช้พลังงานลม 10… Continue reading GreenOps คืออะไร? ทำไมองค์กรไอทีต้องให้ความสำคัญ

ทำไม Cloud-Native ถึงเป็นรากฐานขององค์กรยุคดิจิทัล

จากอดีตสู่ปัจจุบัน: จุดกำเนิดของ Cloud-Native เมื่อเราย้อนกลับไปสักสิบกว่าปีนั้น การพัฒนาแอปพลิเคชันขององค์กรส่วนใหญ่ยังเป็นแบบ Monolithic ที่ทุกฟังก์ชันยังรวมกันอยู่ในโค้ดก้อนเดียว รันบนเครื่อง Server ใน Data Center ของผู้ให้บริการ ซึ่งการ Update หรือเพิ่ม Feature แต่ละครั้งมักต้องใช้เวลานาน เสี่ยงทำให้ทั้งระบบล่ม และยิ่งองค์กรเติบโตขึ้น ปัญหาการขยายระบบก็ยิ่งหนักหน่วงขึ้นเรื่อย ๆ การเปลี่ยนผ่านครั้งใหญ่เกิดขึ้นเมื่อ Cloud Computing และเทคโนโลยีใหม่ ๆ เช่น Container (Docker) และการออกแบบแอปพลิเคชันแบบ Microservices เข้ามา ได้แยกแอปพลิเคชันออกเป็น Service ย่อย ๆ จึงพัฒนาได้อย่างอิสระ ขยายได้ง่าย และนำไปใช้งานบนโครงสร้างพื้นฐานแบบใดก็ได้ ไม่ว่าจะ Public, Private หรือ Hybrid Cloud ภาพจาก: https://kubernetes.io/images/kubernetes-open-graph.png และไม่นานหลังจากนั้น Kubernetes ก็ถือกำเนิดขึ้นจาก Google ก่อนจะถูกส่งต่อให้ CNCF ที่ถูกพัฒนาเป็น Open Source และกลายเป็นมาตรฐานสำคัญของการจัดการคอนเทนเนอร์ในระดับองค์กร ซึ่งทุกวันนี้ Kubernetes แทบจะเป็นหัวใจหลักของโลก Cloud-Native Cloud-Nati… Continue reading ทำไม Cloud-Native ถึงเป็นรากฐานขององค์กรยุคดิจิทัล

MLOps เครื่องมืออัตโนมัติที่พา AI ต่อยอดธุรกิจ

เมื่อพูดถึง DevOps หลายคนคงคุ้นเคยกับภาพการทำงานที่เน้นการ Automate งานต่าง ๆ เช่น การพัฒนา (Development), การ Build, การ Testing และการ Deploy เพื่อให้นักพัฒนา (Developer) ทำงานได้รวดเร็วขึ้นและส่งมอบซอฟต์แวร์ถึงมือผู้ใช้อย่างมีประสิทธิภาพ แต่ถ้าเรานำแนวคิดเดียวกันนี้มาใช้กับงาน AI หรือ Data Science ล่ะ? ตอนนี้มีเครื่องมือที่ชื่อว่า MLOps (Machine Learning Operations) ซึ่งเปรียบเสมือน DevOps ในโลกของ Data และ AI เลย ดังนั้นเราไปทำความรู้จักกับ MLOps เพื่อนำคุณสมบัติเด่นๆไปใช้ประโยชน์กัน จาก DevOps สู่ MLOps DevOps คือการ Automate งานซ้ำ ๆ ในซอฟต์แวร์ เพื่อเพิ่มความเร็วและลดความผิดพลาด ในทำนองเดียวกัน MLOps คือการ Automate pipeline ของงานด้าน Data และ Machine Learning เช่น Data Collection: การรวบรวมข้อมูลจากแหล่งต่าง ๆ Data Cleaning: การทำความสะอาดข้อมูลให้อยู่ในรูปที่พร้อมใช้งาน Model Training: การนำข้อมูลมาเทรนโมเดล Machine Learning Deployment: การนำโมเดลที่ผ่านการเทรนไปใช้งานจริง Monitoring & Retraining: ติดตามผลและ Re-train โมเดลอัตโนมัติเมื่อมีข้อมูลใหม่ ทำไมองค์กรควรสน… Continue reading MLOps เครื่องมืออัตโนมัติที่พา AI ต่อยอดธุรกิจ

Jenkins & GitHub Actions สูตรลับ DevOps ที่มีประสิทธิภาพกว่า

Jenkins and GitHub Actions

ทุกวันนี้ Jenkins ยังคงเป็นพระเอกของงาน Automation แต่บางครั้งการทำงานหนักมากๆเกินไปก็อาจทำให้มีติดขัดบ้างจะดีกว่าไหมถ้าวันนี้มีคู่หูคนใหม่มาช่วยแบ่งเบาภาระงาน Jenkins บ้าง? วันนี้จึงขอเชิญคุณพัตเตอร์ Platform Services Engineer มาแชร์ว่า GitHub Actions เข้ามาช่วยเติมเต็ม Jenkins ได้อย่างไร ตามไปอ่านกันค่ะJenkins เป็นเครื่องมือยอดนิยมในการจัดการงานอัตโนมัติ แต่การให้ Jenkins ดูแลทุกอย่างคนเดียวอาจเป็นภาระที่หนักอยู่GitHub Actions ก็เป็นหนึ่งในเครื่องมือที่คล้ายกับ Jenkins แต่เราสามารถแบ่งงานบางส่วนที่ Jenkins เคยทำให้ GitHub Actions ช่วยดูได้ โดยเฉพาะงานที่ผูกกับ GitHub เช่น Pull Request Automation รัน Lint และ Unit Test เบื้องต้น ตรวจสอบ Code Style และ Security Scan Auto label และ assign reviewer Release Automation สร้าง Release Note อัตโนมัติ Bump เวอร์ชันและสร้าง Tag Publish package ไปยัง npm, PyPI หรือ Docker Hub Repo Management ลบ Branch ที่ merge แล้ว Sync fork อัตโนมัติ Schedule งานแบบ cron (เช่น cleanup, update dependency) ตัวอย่างการนำ GitHub Actions มาประยุกต์ใช้ เรานำ GitHub… Continue reading Jenkins & GitHub Actions สูตรลับ DevOps ที่มีประสิทธิภาพกว่า

Multi-Cloud หรือ Hybrid Cloud เลือกอันไหนดี?

ทำไมทุกคนถึงใช้ Cloud? ทุกคน เคยสงสัยกันไหมว่าทำไมตอนนี้ใครๆ ก็หันมาใช้ Cloud กันเยอะแยะเต็มไปหมด ก็เพราะว่ามันช่วยให้เราทำงานได้เร็วขึ้น สะดวกขึ้น แถมไม่ต้องคอยดูแลเซิร์ฟเวอร์เองให้ยุ่งยากด้วยนะ แต่ปัญหาคือ Cloud สมัยนี้มันมีหลายเจ้าเหลือเกิน ทั้ง AWS, Azure, Google Cloud, IBM Cloud… โอ้โห แล้วเราจะเลือกใช้เจ้าไหนดีล่ะ? นี่แหละคือคำถามยอดฮิต เมื่อก่อนพี่ก็คิดนะว่า ถ้าจะใช้ Cloud ก็ต้องเลือกเจ้าเดียวสิ ไม่งั้นคงจะวุ่นวายตายชักเลยกับการต้องจัดการหลายๆ แพลตฟอร์ม แต่พอได้มารู้จักกับ Multi-Cloud กับ Hybrid Cloud เท่านั้นแหละ ทุกอย่างก็เริ่มกระจ่างขึ้นมาทันทีเลยว่า “อ๋อ…จริงๆ แล้วเราสามารถใช้ Cloud หลายๆ เจ้าได้นะ เพื่อให้เหมาะกับความต้องการขององค์กรเราไง” Multi-Cloud คืออะไร? ลองจินตนาการดูนะว่า Multi-Cloud ก็เหมือนกับการที่เรามีเพื่อนซี้หลายคนที่มีความเก่งกาจแตกต่างกันไปน่ะ เราเลือกใช้บริการจาก Cloud หลายๆ เจ้าในเวลาเดียวกัน เพราะแต่ละเจ้าเขาก็มีจุดเด่นไม่เหมือนกัน AWS อาจจะเด่นเรื่องการประมวลผลและการเก็บข้อมูลขนาดใหญ่ Azure อาจจะเจ๋งเรื่องการเชื่อมต่อกับเทคโ… Continue reading Multi-Cloud หรือ Hybrid Cloud เลือกอันไหนดี?

Vibe Coding: เมื่อ DevOps โค้ดด้วย “ภาษาคน”

เคยไหมคะ? ที่ต้องนั่งจ้องหน้าจออยุ่ในโลกของไฟล์ Groovy script , Terraform หรือ Ansible playbook ที่ยาวเหยียดเป็นกิโล มีความซับซ้อนเพื่อควบคุม CI/CD Pipeline ของเรา ไหนจะการเตรียม Infrastructure บน AWS, Azure งานเหล่านี้สนุกก็จริง แต่ก็เปลืองเวลาและพลังงานไม่น้อย

AI-Powered DevOps: Claude Code เพื่อนร่วมงานที่ไม่เคยบ่น

Anyone working in DevOps knows well that our job is full of many tasks—ranging from complex, brain-intensive work to small, repetitive tasks that are time-consuming but necessary, such as deploying applications, analyzing logs, troubleshooting issues, or monitoring systems. But nowadays, AI-powered DevOps helps make our work life much easier.

Low-Code และ No-Code DevOps เร่งสปีดองค์กรได้เร็วกว่า ในสไตล์พี่สาวเล่าให้ฟัง

low-code-no-code-DevOps

เวลาทีม DevOps ต้องคอยดูแลระบบ เช่น การปล่อยโค้ดขึ้นเซิร์ฟเวอร์ การตรวจสอบระบบ หรือการแก้ปัญหาที่เกิดขึ้นแบบเร่งด่วน ขั้นตอนเหล่านี้จะเต็มไปด้วยโค้ดยาว ๆ และสคริปต์ซับซ้อน เมื่อก่อนพี่เองก็มองว่าเป็นเรื่องที่เข้าใจยาก และทำได้เฉพาะคนที่เก่งเทคโนโลยีจริง ๆ เท่านั้น แต่พอได้รู้จักกับ Low-Code และ No-Code DevOps ทุกอย่างก็เปลี่ยนไปเลย มันเหมือนมีผู้ช่วยที่ทำให้เรื่องยาก ๆ กลายเป็นเรื่องง่ายและจับต้องได้มากขึ้น Low-Code และ No-Code คืออะไร? – Low-Code คือการใช้เครื่องมือช่วยให้การเขียนโค้ดนั้นลดลงเยอะ และช่วยให้ทำงานได้เร็วขึ้น – No-Code: คือไม่ต้องเขียนโค้ดเลย ใช้การลากวาง คลิกเลือก กำหนดเงื่อนไขต่าง ๆ ผ่านหน้าจอแทน สรุปง่าย ๆ ก็คือ จากเดิมที่ต้องนั่งพิมพ์ตัวหนังสือเต็มจอ ตอนนี้เปลี่ยนเป็น “กดเลือก ลากวาง” เหมือนต่อบล็อกของเล่นก็ทำให้งานสำเร็จและเร็วขึ้นมาก ยกตัวอย่างให้เห็นภาพ ถ้าทีมพี่เจอปัญหา เวลาอัปเดตโปรแกรมขึ้นระบบ (Deployment) ปกติต้องนั่งเปิด Log หาสาเหตุเอง แล้วค่อยแจ้งทีมที่เกี่ยวข้อง ซึ่งใช้เวลานานและเสียโอกาสหลายอย่าง แต่พอพี่ลองนำเครื่องมือ No-Code มาช่วย เช่น ตั… Continue reading Low-Code และ No-Code DevOps เร่งสปีดองค์กรได้เร็วกว่า ในสไตล์พี่สาวเล่าให้ฟัง

Jira Automation ช่วยทีมทำงานได้ไวขึ้นจริง

TechX_Jira Automation_Thumbnail_Cover_TH

หลายๆองค์กรที่ทำงานแบบ Agile หรือ Scrum มักจะคุ้นชินกับ Jira เครื่องมือที่ใช้จัดการ และ Track การทำงานของทีม แต่รู้ไหมว่าเรายังนำ Jira มา Automate ช่วยลดเวลาและเพิ่มประสิทธิภาพการทำงานได้ เพียงใช้ Jira API ร่วมกับ Webhook นั่นเอง วันนี้คุณแพรว จากทีม Platform Services จะมาแชร์ตัวอย่างการใช้งานพร้อมสรุปข้อดี ข้อจำกัดให้เข้าใจง่ายๆใน 1 นาทีค่ะ Jira API คืออะไร? Jira API คือ การสั่ง Jira ด้วยการ Programming โดยตรง ตัวอย่างที่เราทำได้ เช่น1. อ่านข้อมูลของการ์ด Jira /rest/api/3/issue/{issueIdOrKey}2. เพิ่มคอมเม้นต์ในการ์ด Jira /rest/api/3/issue/{issueIdOrKey}/comment3. เลื่อนสถานะของการ์ด /rest/api/3/issue/{issueIdOrKey}/transitions Jira webhook คืออะไร? คือ กลไกที่ใช้ส่งข้อมูล Jira ไปยัง App หรือ Web Application เมื่อเจอเหตุการณ์หรือเงื่อนไขที่กำหนด ตัวอย่างการใช้งานจริง เนื่องจากการทำงานจริงจะมีการจำกัดสิทธิ์เข้าถึง Git ซึ่ง Flow จะเป็นการแจ้งเจ้าของ Project ให้ Grant สิทธิ์โดยการเพิ่มชื่อและข้อมูลอื่นๆอีกหลายขั้นตอน แต่พอเรานำเอา Jira มา Automate ร่วมกับ Jenkins ขั้นตอน Manual ต่างๆจะหา… Continue reading Jira Automation ช่วยทีมทำงานได้ไวขึ้นจริง

ป้ายกำกับ: DevOps