ลดงานซ้ำ ลดความเสี่ยง เพิ่มมาตรฐาน ด้วย Automated OS Patching

SCB TechX OS Patching Thumbnail THAI

การทำ Patching OS เป็นสิ่งที่สำคัญมาก โดยเฉพาะทีม Operation ต่างรู้ดีว่าเป็นวิธีการแก้ไข ป้องกันความเสี่ยงที่จะเกิดขึ้นต่อเครื่อง Server ได้ แต่ปัญหาด้านจำนวนและความหลากหลายของเครื่อง Server ที่มีเยอะมาก วันนี้จึงขอเชิญ คุณเตย Platform Services Engineer มาแชร์การทำ Automated Patching ที่ช่วยแก้ปัญหาได้จริงและทำให้ชีวิตง่ายขึ้นค่ะ การกำหนด Patch Group และ Baseline ID Patch Group และ Baseline ID นั้นจะเป็นการกำหนดลักษณะเฉพาะ 3 อย่างในการ Patching เครื่อง Server ได้แก่ • Operating System• Classification, และ • Severity of Risk AWS Automation และ Maintenance Windows การทำ AWS Automation ต้องกำหนด AWS Maintenance Windows โดยนำ Patch Group มาตั้งเป็น Tag ในการ Filter หาเครื่องที่ต้องการ และมีการ Setting ข้อมูลที่จะใช้ในการทำ Patching ครั้งนั้นๆ เช่น Cron Job, Task, Targets, Duration หลังจากการตั้ง Maintenance Windows แล้ว ตัว AWS Automation จะนำข้อมูลทั้งหมดมาทำ Patching โดย Task ที่ AWS Automation ใช้หลักๆคือ AWS-RunPatchBaseline ทำ Patching ตาม Baseline & Patch Group ที่มีการกำหนดมาก่… Continue reading ลดงานซ้ำ ลดความเสี่ยง เพิ่มมาตรฐาน ด้วย Automated OS Patching

Unlock Cloud Experience on On-Premise: เสก Data Center เดิมให้กลายเป็น Internal Developer Platform แบบ Cloud-Ready

kubernetes

ในยุคที่ “Cloud First” กลายเป็นมาตรฐานไปแล้ว หลายคนคุ้นชินกับความสะดวกสบายที่กดเพียงไม่กี่คลิกก็ได้ Database หรือ Kubernetes Cluster มาใช้งาน แต่ในความเป็นจริง หลายองค์กรยังจำเป็นต้องรักษา On-Premise Data Center ไว้ ด้วยเหตุผลด้าน Security, Compliance หรือ Cost Management โจทย์ที่ท้าทายทีม Platform Infrastructure ของเราคือ: “ทำอย่างไรให้ Hardware เดิมที่มีอยู่ (VMware vSphere & Enterprise Storage) มอบประสบการณ์ (Developer Experience) ที่รวดเร็ว อัตโนมัติ และยืดหยุ่น ได้เหมือนกับการใช้งาน AWS หรือ Google Cloud?” Tweet บทความนี้จะพาไปเปิดเบื้องหลัง Tech Stack และ Design Choices ที่เราเลือกใช้เพื่อเปลี่ยน “Hardware” ให้กลายเป็น “Internal Developer Platform (IDP)” เพื่อให้เห็นภาพการทำงานที่สอดคล้องกัน เราได้แบ่งสถาปัตยกรรมของระบบออกเป็นส่วนสำคัญต่างๆ ดังนี้ครับ 1. The Foundation: Infrastructure as Code (IaC) จุดเริ่มต้นของการทำ Platform คือต้องเลิกทำ Manual Operation ให้ได้มากที่สุด เราเปลี่ยนทุกอย่างให้เป็น Code เพื่อความแม่นยำและ… Continue reading Unlock Cloud Experience on On-Premise: เสก Data Center เดิมให้กลายเป็น Internal Developer Platform แบบ Cloud-Ready

DevOps Insider: DataOps & MLOps: การยกระดับ DevOps สู่โลก Data & AI

DataOps_MLOps_TH

DevOps ในบทความ DevOps Insider หลายๆอัน ได้อธิบายว่า DevOps คือชุด Practice ที่ช่วยให้ทีมทำงานแบบ Continuous Integration และ Continuous Delivery ปล่อยงานได้ไวขึ้น คุณภาพดีขึ้น และลดปัญหาระหว่าง Dev กับ Ops เพื่อพัฒนา Product ได้เร็วและเป็นระบบ และเมื่อเข้าสู่ยุคที่ Data, ML, AI โตแบบก้าวกระโดด Workflow ที่เคยใช้กับ CICD ปกติเริ่มไม่พอ เพราะงาน Data Pipeline, Model Training, Model Deployment รวมถึงการ Monitor Model แบบ Real Time มีความซับซ้อนขึ้นเยอะมาก Tools ที่ใช้ก็ต่างออกไป สิ่งที่ยังเหมือนเดิมคือ แนวคิด DevOps แต่เราต้องเอามาประยุกต์กับโลกของ Data และ Machine Learning ให้ทำงานได้แบบอัตโนมัติและทำซ้ำได้ จึงเกิดคำว่า DataOps และ MLOps ขึ้นมา วันนี้จึงชวน คุณเกรซ Senior Platform Services Engineer มาช่วยสรุปสั้นๆ ให้เห็นภาพง่ายๆว่า DataOps และ MLOps คืออะไร และการเลือก Tool มาใช้ในงาน CICD ของสายนี้ DataOps คือการนำ DevOps ไปใช้กับงาน Data ตั้งแต่ Ingestion, ETL/ELT, Data Quality, Data Versioning จนถึงการ Deploy Data Pipeline ให้เสถียรเหมือน Deploy Code MLOps คือการขยายต่อจาก Dat… Continue reading DevOps Insider: DataOps & MLOps: การยกระดับ DevOps สู่โลก Data & AI

สร้าง SFTP Gateway ที่รองรับ Multicloud และ On-premises Storage ด้วย SFTPGo

sftpgo

ยุคนี้ใคร ๆ ก็ใช้คลาวด์หลายเจ้า แล้วการจัดการไฟล์จะยุ่งไหม? ทุกวันนี้องค์กรส่วนใหญ่ใช้คลาวด์กันแบบจัดเต็ม AWS, Google Cloud, Azure ไหนจะระบบในองค์กร (On-premises) อีก…

เจ็บมาเยอะกับ ELK Stack ที่ Scale ไม่รอด? นี่คือวิธี Sizing และ Scale ที่ได้ผลจริง

ELK stack

บทความนี้ เราจะโฟกัสที่ขั้นตอนหลังจากที่เราได้ติดตั้งและเซ็ตอัป ELK Stack ให้รันได้เรียบร้อยแล้ว โดยประเด็นสำคัญคือการบริหารจัดการและปรับขนาด (Sizing) ของระบบ เพื่อรองรับปริมาณ Log ที่เพิ่มมากขึ้นอย่างต่อเนื่อง พร้อมทั้งรักษาประสิทธิภาพของทั้งกระบวนการเขียน (Write) และอ่านข้อมูล (Read) ให้ทำงานได้อย่างราบรื่น โดยการติดตั้ง ELK Stack ซึ่งในครั้งนี้ผมจะอ้างอิงตามมาตรฐานการใช้งานทั่วไปตามภาพครับ อย่างแรก เราต้องประเมินปริมาณของ Log (Log volume) ที่จะเกิดขึ้นในแต่ละวันได้คร่าว ๆ ก่อน ว่าจะมีประมาณเท่าไหร่ เพื่อใช้เป็นข้อมูลในการทำ Sizing ของระบบได้ถูกต้อง จากนั้น มาพิจารณาประเด็นหลัก ๆ ที่เราต้องคำนึงถึง ได้แก่ 1.Sharding การทำ Sharding ใน Index Pattern ของเเต่ละ Index Type เพื่อกระจายการทำงานไปหาในเเต่ละ Node แบ่งการทำงานให้เท่าๆกัน ไม่ไปหนักที่ Node ใด Node หนึ่ง และ Scale จำนวนเครื่อง Data Node แบบ Scale Out โดยการ Set จำนวน Shard ในเเต่ละ Index Template นั้น เราต้องประเมินว่า Log Size ในเเต่ละวันมีประมานเท่าไหร่ เพราะ Shard เล็ก หรือ ใหญ่เกินไปจะไม่ดีต่อ Performance ของ Elasticsear… Continue reading เจ็บมาเยอะกับ ELK Stack ที่ Scale ไม่รอด? นี่คือวิธี Sizing และ Scale ที่ได้ผลจริง

อยากเก็บไฟล์สำคัญไว้ทุกที่? ให้ MinIO ช่วยซิงค์และลดความเสี่ยงได้!

MinIO

ในยุคที่ระบบขององค์กรย้ายขึ้นคลาวด์กันแทบทั้งหมด การเก็บไฟล์เอกสารสำคัญขององค์กร ไม่ว่าจะเป็น Word, PDF หรือไฟล์อื่น ๆ ไว้กับผู้ให้บริการคลาวด์เพียงรายเดียว ณ วันนี้อาจจะไม่ใช่คำตอบที่ดีนัก เพราะนั่นหมายถึง “ความเสี่ยง” ทั้งหมด ก็จะถูกรวมอยู่ที่จุดเดียวเช่นกัน ดังนั้น เพื่อไม่ให้ความเสี่ยงทั้งหมดไปกองอยู่ที่คลาวด์เดียว เราอาจจะต้องกระจายไฟล์เอกสารสำคัญไปยังผู้ให้บริการคลาวด์รายอื่นด้วย เพื่อให้สามารถทำ Disaster Recovery (DR) ได้เมื่อเกิดเหตุไม่คาดคิด แต่!!! ทันทีที่คุณเริ่มมองหาระบบจัดเก็บไฟล์ที่รองรับทั้ง Multi-Cloud, Hybrid Cloud หรือแม้แต่ On-Premise คุณจะเจอปัญหาว่า แต่ละผู้ให้บริการมี API ไม่เหมือนกันแทน ไม่ว่าจะเป็น AWS S3, Azure Blob, Google Cloud Storage หรือค่ายอื่น ๆ ซึ่งนั่นหมายความว่าคุณต้องมานั่งแก้โค้ดกันจนน่าปวดหัว และแน่นอน… มันคือวงจรที่ดูเหมือนจะไม่มีวันจบสิ้น ถ้าคุณไม่อยากให้ชีวิตของ Dev หรือ Ops ต้องมานั่งแก้โค้ดและ Deploy ซ้ำๆ ทุกครั้งที่เปลี่ยนระบบจัดเก็บไฟล์ เพื่อซัพพอร์ต API ใหม่ ๆ ตลอดเวลา “MinIO คือคำตอบที่คุณกำลังตามหา” เพราะ MinIO ถูกออกแบบ… Continue reading อยากเก็บไฟล์สำคัญไว้ทุกที่? ให้ MinIO ช่วยซิงค์และลดความเสี่ยงได้!

เมื่อ Metric มันขัดใจ… ก็ต้องจัดให้ตรงใจด้วย Script Exporter

script exporter cover

เราจะมาเล่าถึง Solution ที่ SCB TechX เรื่องการ Monitor Backup ใน Multi-Cloud Environment ที่มีความซับซ้อนด้วยการใช้ Script Exporter เนื่องจากแต่ละ Cloud Provider มีบริการ Backup เแยกเป็นของตัวเอง ทำให้การติดตามสถานะ Backup แบบ Centralized เป็นเรื่องที่มีความ challenge เพื่อให้เข้าใจง่าย เราจะเล่าเรื่องโดยใช้ STAR methodology ครอบคลุม Situation, Task, Action และ Result 1. SituationSCB TechX มีการจัดการ Workload อยู่บนสภาพแวดล้อม Multi-Cloud ซึ่งทำให้การ Monitor งาน Backup ในแต่ละ Cloud เป็นเรื่องยาก เพราะแต่ละ Cloud มีบริการ Backup ของตัวเอง เราจึงต้องการโซลูชันแบบ ศูนย์กลางเดียว (unified centralized solution) ที่สามารถ Monitor และตรวจจับการแจ้งเตือนข้าม Multi-Cloud ได้ 2. Task สร้าง Solution ที่มีความ Automate และยืดหยุ่น สำหรับ Monitor Backup ใน Multi-Cloud Environment แสดงสถานะ Backup ผ่าน Grafana dashboards เชื่อมต่อระบบแจ้งเตือนเข้ากับ PagerDuty 3. Action ได้พัฒนา Flow การ Monitor แบบ Cetralized โดยใช้ Script Exporter ทำการรัน Python Script เพื่อเรียก API ของ AWS Boto3 / Azure … Continue reading เมื่อ Metric มันขัดใจ… ก็ต้องจัดให้ตรงใจด้วย Script Exporter

EKS Auto Mode: ให้ AWS เป็น Ops ของคุณ

eks auto mode

คุณเคยเหนื่อยกับการจัดการ Kubernetes Cluster เองไหม? Node Up, Node Down, Load Balancer ปวดหัวสุดๆ! ตอนนี้ AWS มีตัวช่วยสุดเจ๋งชื่อ EKS Auto Mode – ปล่อยให้ AWS เป็น Ops ของคุณ ทำงานแทนทุกอย่าง แล้วคุณแค่โฟกัสไปที่โค้ดและไอเดียของคุณ Cluster ทำงานเอง เรานั่งชิล EKS Auto Mode ช่วยให้คุณ ไม่ต้องมานั่งปรับ Node หรือคิดว่าจะ Scale ยังไง เพราะ AWS จะจัดการทุกอย่างให้เองคุณแค่ Deploy แอป แล้วนั่งชิล ๆ รอ AWS จัดการให้ NodePool Auto – ง่ายกว่าที่คิด ด้วย EKS Auto Mode คุณสามารถสร้าง NodePools และ NodeClasses แบบปรับแต่งเอง หรือใช้ Default NodePools ก็ได้ ระบบจะคำนวณ resource ให้เหมาะสมโดยอัตโนมัติ พร้อมกับ: Compute อัตโนมัติ – Node เลือก AMI ที่เหมาะสม, เปิด GPU Support, ปิด SSH/SSM Auto Scaling – ใช้ Karpenter ตรวจจับ Pods ที่ไม่สามารถ Schedule และเพิ่ม Node ใหม่อัตโนมัติ Load Balancing อัตโนมัติ – Integration กับ AWS Elastic Load Balancing จัดการ Application & Network LB แบบ Production-ready Storage อัตโนมัติ – ตั้งค่า Ephemeral Storage, Volume Size, Encryption, และ Deletion Policy ให้ … Continue reading EKS Auto Mode: ให้ AWS เป็น Ops ของคุณ

Airflow 3 ทำอะไรให้สาย Data และ Dev ง่ายขึ้นบ้าง?

DAG

ทุกวันนี้ทีม Data และ Dev ต้องเจอกับงานที่ซับซ้อน แต่ถ้ามีผู้ช่วยจัดการคิวงานให้ทุกขั้นตอน ชีวิตจะง่ายขึ้นขนาดไหน? วันนี้เลยชวนคุณ Patsakorn, Platform Services Engineer มาแชร์ว่า ทำไม Apache Airflow 3 ถึงกลายเป็นเพื่อนคู่ใจของสาย Data และ Dev ที่ช่วยให้ทำงานเร็วขึ้น ง่ายขึ้น และเหนื่อยน้อยลงจริง ๆ Apache Airflow คืออะไร? ลองจินตนาการว่าคุณเป็น Project Manager ที่ต้องจัดการโปรเจกต์ซับซ้อน มีหลาย Tasks ต้องทำตามลำดับ บาง Tasks เริ่มไม่ได้จนกว่า Tasks อื่นจะเสร็จ และต้องแน่ใจว่าทุกอย่างทำงานตามกำหนดเวลา ซึ่ง Apache Airflow ก็เหมือนกับการมี Automated Project Manager ให้กับ Data Workflows นั่นเอง DAG คืออะไร? DAG ย่อมาจาก Directed Acyclic Graph ตัวแรก Directed คือ Tasks ที่ไหลไปในทิศทางเดียว (เหมือนน้ำไหลลงสู่ที่ต่ำ) Acyclic คือไม่มี Circular Loops (Tasks ไม่วนกลับมาที่ตัวเอง) Graph คือ Visual Representation ของ Tasks ที่เชื่อมต่อกันโดย DAG มี 5 ประเภทที่ยอดนิยม ประเภทของ DAG 1. Standard DAG (Traditional Workflow) เป็น Workflow ที่พบบ่อยสุด Tasks ทำงานตามลำดับที่กำหนด เช่น Processing dail… Continue reading Airflow 3 ทำอะไรให้สาย Data และ Dev ง่ายขึ้นบ้าง?

อยากลองของ? LocalStack ช่วยคุณได้!

localstack

คุณควรรู้จักกับ LocalStack — เครื่องมือที่ช่วยให้เราสามารถจำลอง AWS มารันบนเครื่องตัวเองได้เหมือนมี AWS เวอร์ชันส่วนตัวเลยทีเดียว…

หมวดหมู่: Technology