La สถาปัตยกรรมของ โรงงาน AI มันไม่ใช่แค่การฝึกโมเดลขนาดใหญ่แล้วนำไปใช้งานผ่าน API เท่านั้น มันคือการผสมผสานอย่างเป็นระบบของข้อมูล โครงสร้างพื้นฐาน โมเดล กระบวนการทางธุรกิจ ความปลอดภัย และการกำกับดูแล ที่ช่วยให้สามารถสร้าง พัฒนา และปรับปรุงโซลูชันปัญญาประดิษฐ์ได้อย่างต่อเนื่อง หากสร้างอย่างดี มันจะกลายเป็นเหมือนสายการผลิตดิจิทัลที่สามารถผลิตผู้ช่วยนักบินอัจฉริยะ ตัวแทน และแอปพลิเคชันได้อย่างรวดเร็วในระดับอุตสาหกรรม
ในช่วงไม่กี่ปีที่ผ่านมา เราได้เปลี่ยนจากการทดสอบแบบแยกส่วนด้วยข้อความแจ้งเตือนง่ายๆ ไปสู่การใช้งานจริง ระบบนิเวศ AI สร้างสรรค์ที่สมบูรณ์แบบ ซึ่งสนับสนุนแอปพลิเคชันทางธุรกิจที่สำคัญยิ่ง ผู้ช่วยสนทนา การวิเคราะห์ข้อมูลขั้นสูง หรือระบบอัตโนมัติ เพื่อให้สิ่งเหล่านี้ทำงานได้อย่างมีประสิทธิภาพในระดับใหญ่ จำเป็นต้องมีโรงงาน AI ที่ออกแบบมาอย่างดี พร้อมสถาปัตยกรรมที่ชัดเจนซึ่งครอบคลุมทุกอย่างตั้งแต่รากฐานข้อมูลไปจนถึงเอเจนต์ระดับสูงและการกำกับดูแลด้านจริยธรรม
โรงงาน AI คืออะไรกันแน่?
โดยพื้นฐานแล้ว โรงงาน AI คือ... แพลตฟอร์ม AI ระดับอุตสาหกรรม มันรวบรวมพื้นที่จัดเก็บข้อมูลขนาดใหญ่ เครือข่ายความเร็วสูง การประมวลผลเฉพาะทาง และบริการซอฟต์แวร์ เพื่อฝึกฝน ปรับใช้ และใช้งานโมเดลปัญญาประดิษฐ์ขนาดใหญ่ มันเปรียบเสมือนโรงงานดิจิทัล: แทนที่จะใช้วัตถุดิบทางกายภาพ มันรับข้อมูลเข้ามา แทนที่จะใช้สายการผลิต มันใช้ท่อส่งและตัวจัดการ และแทนที่จะผลิตสินค้าทางกายภาพ มันส่งมอบโมเดลอัจฉริยะ API และแอปพลิเคชัน
ภายในโรงงานแห่งนี้ ผู้คนอาศัยอยู่ร่วมกัน ฟาร์ม GPU และฮาร์ดแวร์เร่งความเร็ว (GPU, TPU, DPU), เครือข่ายที่ได้รับการปรับแต่ง, เลเยอร์จัดเก็บข้อมูลประสิทธิภาพสูง และบริการแพลตฟอร์มที่จัดการวงจรชีวิตของโมเดล ทั้งหมดนี้ได้รับการออกแบบมาเพื่อรองรับภาระงานการฝึกอบรมอย่างเข้มข้นและการอนุมานแบบเรียลไทม์ พร้อมด้วยกลไกการปรับสมดุลภาระงาน การตรวจสอบ และการปรับขนาดแบบยืดหยุ่น
แนวทางนี้เกี่ยวข้องกับ การพัฒนา AI ในระดับอุตสาหกรรมแทนที่จะดำเนินโครงการแบบแยกส่วนและทดลอง องค์กรต่างๆ สร้างแพลตฟอร์มร่วมกันเพื่อสร้างโซลูชันที่หลากหลายโดยการนำส่วนประกอบต่างๆ กลับมาใช้ซ้ำ เช่น ท่อส่งข้อมูล โมเดลพื้นฐาน ไลบรารีการประเมินผล กลไกการรักษาความปลอดภัย และรูปแบบสถาปัตยกรรมที่ได้รับการพิสูจน์แล้ว
นอกจากนี้ โรงงาน AI ไม่ใช่โครงการที่ทำครั้งเดียวจบ แต่เป็นโครงการระยะยาว การลงทุนอย่างต่อเนื่องโมเดลได้รับการฝึกฝนใหม่ ข้อมูลได้รับการอัปเดต สถาปัตยกรรมปรับให้เข้ากับข้อกำหนดทางธุรกิจใหม่ ๆ และความต้องการใหม่ ๆ ก็เกิดขึ้น (ตัวอย่างเช่น การบูรณาการตัวแทนที่ประสานงานกัน หรือกรณีการใช้งานแบบสร้างสรรค์ใหม่ ๆ) โรงงานนี้เป็นกรอบการทำงานที่มั่นคงซึ่งนวัตกรรมเหล่านี้สามารถสร้างขึ้นได้
ส่วนประกอบหลักของสถาปัตยกรรมโรงงาน AI
เพื่อให้โรงงาน AI ทำงานได้อย่างมีประสิทธิภาพ จำเป็นต้องผสานองค์ประกอบหลายอย่างเข้าด้วยกัน กลุ่มอาคารที่กำหนดไว้อย่างชัดเจน ซึ่งเชื่อมต่อถึงกันผ่าน API, อีเวนต์ และไปป์ไลน์ แม้ว่าแต่ละองค์กรจะปรับการออกแบบให้เข้ากับความเป็นจริงของตนเอง แต่ก็มีองค์ประกอบหลักหลายอย่างที่ซ้ำกัน
1. แพลตฟอร์มข้อมูล: คลังข้อมูลขนาดใหญ่ คลังข้อมูล และการวิเคราะห์ข้อมูล
หากปราศจากข้อมูลที่มีคุณภาพ ก็จะไม่มีแบบจำลองที่มีประโยชน์ ดังนั้นหัวใจหลักของโรงงานจึงอยู่ที่... แพลตฟอร์มข้อมูล สามารถรับ จัดเก็บ และให้บริการข้อมูลปริมาณมากทั้งแบบมีโครงสร้างและไม่มีโครงสร้างได้
ในงานด้านนี้ โดยทั่วไปมักมีการนำชิ้นส่วนหลายชิ้นมาประกอบกัน: ก. คลังข้อมูลองค์กร เพื่อจัดเก็บข้อมูลดิบ (ตัวอย่างเช่น บนเทคโนโลยีอย่าง Azure Data Lake Storage หรือ OneLake บน Microsoft Fabric) คลังข้อมูลที่ได้รับการปรับให้เหมาะสมสำหรับการวิเคราะห์ และกลไกการประมวลผลแบบกระจาย ซึ่งโดยทั่วไปจะใช้ Apache Spark (Databricks, Spark on Fabric หรือ HDInsight เป็นต้น)
ดาต้าเลคช่วยให้สามารถจัดเก็บข้อมูลในรูปแบบดั้งเดิม (ไฟล์, บล็อกข้อมูล, รูปภาพ, เสียง, ข้อความอิสระ) พร้อมด้วยความหมายของระบบไฟล์ การรักษาความปลอดภัยหลายระดับ และความสามารถในการขยายขนาด ขนาดเพตาไบต์รูปแบบธุรกรรม เช่น Delta Lake ถูกนำมาใช้บนเลเยอร์นั้นเพื่อให้ได้มาซึ่งความสมบูรณ์ของข้อมูลตามหลัก ACID การกำหนดเวอร์ชัน และประสิทธิภาพในการค้นหาข้อมูลเชิงวิเคราะห์ขนาดใหญ่
แพลตฟอร์มแบบบูรณาการ เช่น Microsoft Fabric ช่วยรวมทุกอย่างเข้าด้วยกัน การเคลื่อนไหว การเปลี่ยนแปลง และการวิเคราะห์ ภายใต้ร่มเดียวกัน: วิศวกรรมข้อมูล วิทยาศาสตร์ข้อมูล การวิเคราะห์แบบเรียลไทม์ คลังข้อมูล และฐานข้อมูลเชิงวิเคราะห์ ทั้งหมดนี้ใช้แหล่งเก็บข้อมูลร่วมกัน (OneLake) และนำเสนอความสามารถด้าน AI ในตัว รวมถึงตัวช่วยในการวิเคราะห์และทักษะ AI เชิงสร้างสรรค์ที่มุ่งเน้นการค้นหาด้วยภาษาธรรมชาติ
2. กระบวนการจัดการข้อมูล: การรับข้อมูล การทำความสะอาด และการเตรียมข้อมูล
เหนือพื้นที่จัดเก็บคือ ท่อส่งข้อมูลนี่คือ "รางป้อนวัตถุดิบ" ที่แท้จริงของโรงงาน AI ที่นี่เป็นที่ที่กำหนดกระแสข้อมูลที่นำข้อมูลจากแอปพลิเคชันทางธุรกิจ เซ็นเซอร์ บันทึกข้อมูล ธุรกรรม API ของบุคคลที่สาม หรือสตรีมข้อมูลแบบเรียลไทม์
เครื่องมือการบูรณาการ เช่น โรงงานข้อมูล หรือ โรงงานข้อมูลผ้า เครื่องมือเหล่านี้ช่วยให้คุณสร้างไปป์ไลน์ที่จัดการงานคัดลอก แปลง เพิ่มคุณค่า ลบข้อมูลซ้ำซ้อน และโหลดข้อมูลในดาต้าเลคหรือดาต้าแวร์เฮาส์ได้ รองรับทั้งวิธีการเขียนโค้ด (Spark, โน้ตบุ๊ก, สคริปต์) และวิธีการเขียนโค้ดน้อยหรือไม่ต้องเขียนโค้ดเลยด้วยอินเทอร์เฟซแบบลากและวาง
ในหลายกรณีมักจะใช้ร่วมกัน ไปป์ไลน์แบบแบตช์ สำหรับข้อมูลในอดีตที่มีสตรีมข้อมูลแบบสตรีมมิ่งซึ่งอัปเดตข้อมูลที่แบบจำลองใช้ในแบบเรียลไทม์ คุณภาพของไปป์ไลน์เหล่านี้มีความสำคัญอย่างยิ่ง เพราะหากข้อมูลเสียหายหรือมาถึงล่าช้า แบบจำลองจะทำงานได้ไม่ดี และโรงงานจะหยุดสร้างมูลค่า
นอกจากนี้ สำหรับแอปพลิเคชัน AI แบบสร้างภาพด้วย RAG (Retrieval Augmented Generation) จะมีการสร้างไปป์ไลน์เฉพาะเพื่อสร้างภาพ เวกเตอร์อินเลย์ป้อนข้อมูลให้กับดัชนีการค้นหาเชิงความหมาย และอัปเดตคลังความรู้ที่แบบจำลองภาษาใช้เป็นประจำ
3. ชั้นการคำนวณและการฝึกโมเดล
สิ่งก่อสร้างถัดไปคือ... แพลตฟอร์มสำหรับการฝึกอบรมและการทดลองที่ซึ่งนักวิทยาศาสตร์ข้อมูล วิศวกรการเรียนรู้ของเครื่อง และทีมผลิตภัณฑ์ออกแบบ ฝึกฝน ประเมิน และปรับปรุงเวอร์ชันของโมเดล
บริการต่างๆ เช่น Azure Machine Learning มีพื้นที่ทำงาน คลัสเตอร์ GPU และ CPU ที่จัดการได้ การผสานรวมกับไลบรารีโอเพนซอร์ส (PyTorch, TensorFlow, scikit-learn, XGBoost และอื่นๆ) AutoML เพื่อช่วยในการทำงานบางส่วนโดยอัตโนมัติ และการสนับสนุนเฟรมเวิร์กต่างๆ เช่น MLflow อย่างเต็มรูปแบบ การติดตามตรวจสอบการทดลองและแบบจำลอง.
ขั้นตอนการทำงานโดยทั่วไปประกอบด้วย: การเลือกอัลกอริธึม, การสร้างคุณลักษณะ, การฝึกอบรมแบบมีผู้กำกับดูแลหรือแบบไม่มีผู้กำกับดูแล, การตรวจสอบความถูกต้องแบบไขว้ (Cross-validation) การปรับไฮเปอร์พารามิเตอร์ (แบบแมนนวลหรืออัตโนมัติ) และการทดสอบด้วยข้อมูลการตรวจสอบและการทดสอบ ทั้งหมดนี้จะถูกบันทึกไว้เพื่อสร้างผลลัพธ์ซ้ำ เปรียบเทียบเวอร์ชัน และติดตามว่ารุ่นใดที่จะเข้าสู่กระบวนการผลิตในที่สุด
สำหรับการโหลดที่มีความเข้มข้นสูงหรือกระจายตัวมาก จะมีการกำหนดเวลาการประมวลผลเฉพาะ เช่น Databricks Runtime สำหรับการเรียนรู้ของเครื่อง หรือสภาพแวดล้อม Spark ที่ได้รับการปรับแต่งให้เหมาะสม รวมถึงไลบรารีการเรียนรู้เชิงลึก การสนับสนุนการฝึกอบรมแบบกระจาย (เช่น ด้วย Horovod) และยูทิลิตี้สำหรับการสร้างคุณลักษณะและการให้บริการโมเดลที่มีความหน่วงต่ำ
4. โมเดลภาษา ปัญญาประดิษฐ์เชิงสร้างสรรค์ และ RAG
ในบริบทปัจจุบัน โรงงานผลิต AI ส่วนใหญ่เกี่ยวข้องกับ... ปัญญาประดิษฐ์เชิงสร้างสรรค์และแบบจำลองภาษาโมเดลเหล่านี้ได้รับการฝึกฝนโดยใช้ชุดข้อมูลขนาดใหญ่ ไม่ว่าจะเป็นข้อความ โค้ด รูปภาพ หรือไฟล์เสียง และเรียนรู้รูปแบบทางสถิติที่ช่วยให้สามารถสร้างเนื้อหาที่สอดคล้องกัน สรุป แปล ตอบคำถาม หรือให้เหตุผลเกี่ยวกับคำสั่งต่างๆ ได้
แบบจำลองภาษามีลักษณะเฉพาะคือจำนวนพารามิเตอร์ ซึ่งจะกำหนดความสามารถในการแสดงออกและต้นทุนการคำนวณ มีอยู่หลายแบบ โมเดลขนาดเล็ก โมเดลขนาดเล็ก (น้อยกว่า 10.000 ล้านพารามิเตอร์) ที่สามารถทำงานในสภาพแวดล้อมที่จำกัดกว่า และโมเดลขนาดใหญ่ (LLM) ที่มีพารามิเตอร์หลายหมื่นล้านหรือหลายแสนล้านตัว ตระกูลอย่าง Microsoft Phi-3 แสดงให้เห็นถึงความหลากหลายนี้ได้เป็นอย่างดี โดยมีทั้งรุ่นขนาดเล็ก ขนาดกลาง และขนาดใหญ่ ที่ออกแบบมาเพื่อสร้างสมดุลระหว่างต้นทุน ประสิทธิภาพ และความง่ายในการใช้งาน
รูปแบบของ การฟื้นฟูพลังงานที่เพิ่มขึ้น (RAG) มันเข้ากันได้อย่างลงตัวกับสถาปัตยกรรมของโรงงาน AI แทนที่จะปรับแต่งโมเดลด้วยข้อมูลส่วนตัว ระบบค้นหาข้อมูล (เช่น เครื่องมือค้นหาแบบเวกเตอร์ ฐานข้อมูลเอกสาร หรือคลังความรู้) จะถูกเชื่อมต่อเข้าไป ซึ่งจะแทรกข้อมูลที่เกี่ยวข้องเข้าไปในคำถามเมื่อทำการค้นหา วิธีนี้ช่วยจำกัดขอบเขตของคำตอบให้เหลือเฉพาะเนื้อหาขององค์กร ปรับปรุงความแม่นยำ และรักษาการควบคุมแหล่งที่มาได้ดียิ่งขึ้น
RAG ไม่จำกัดอยู่แค่การจัดเก็บข้อมูลประเภทเดียว: มันสามารถใช้เครื่องมือค้นหาแบบเวกเตอร์ ฐานข้อมูลเอกสาร คลังข้อมูล หรือการผสมผสานของสิ่งเหล่านี้ได้ สิ่งสำคัญคือ... สถาปัตยกรรมการกู้คืน ระบบนี้ผสานรวมเข้ากับระบบประมวลผลข้อมูลและบริการการอนุมานได้อย่างลงตัว ทำให้การเปลี่ยนแปลงใดๆ ในข้อมูลทางธุรกิจสะท้อนให้เห็นในผลลัพธ์ของแบบจำลองได้อย่างรวดเร็ว
5. ผู้ช่วยนักบินและตัวแทน AI ที่ใช้สถาปัตยกรรมนี้
แบบจำลองและชั้นการกู้คืนถูกสร้างขึ้นบนพื้นฐานนี้ นักบินผู้ช่วยและตัวแทน AICopilot คือผู้ช่วยสนทนาที่ใช้ปัญญาประดิษฐ์เชิงสร้างสรรค์ (AI) ซึ่งผสานรวมเข้ากับแอปพลิเคชันเฉพาะ (ชุดโปรแกรมสำนักงาน เครื่องมือพัฒนาซอฟต์แวร์ CRM ฯลฯ) และให้ความช่วยเหลือตามบริบท เช่น การเขียนข้อความ การเขียนโค้ด การสรุป การสร้างคำค้นหา หรือการทำงานอัตโนมัติ
นักบินผู้ช่วยเหล่านี้อาศัยสถาปัตยกรรมแบบเปิดของโรงงาน ได้แก่ โมเดลพื้นฐาน ปลั๊กอินหรือเครื่องมือ การเชื่อมต่อกับข้อมูลขององค์กร และความสามารถต่างๆ วิศวกรรมและการประสานงานที่รวดเร็วสามารถขยายขีดความสามารถได้ผ่านส่วนเสริมที่พัฒนาโดยบุคคลภายนอกหรือโดยองค์กรเอง ซึ่งจะเพิ่มฟังก์ชันใหม่ๆ (เช่น การเรียกใช้ระบบ ERP การเริ่มขั้นตอนการอนุมัติ การเรียกดูรายงานภายใน)
ในขณะเดียวกัน สถาปัตยกรรมแบบเอเจนต์ช่วยให้สามารถประสานงานหลายๆ อย่างได้ ตัวแทน AI เฉพาะทาง ซึ่งทำงานร่วมกัน: ตัวแทนวางแผน ตัวแทนค้นหาข้อมูล ตัวแทนดำเนินการเครื่องมือ เป็นต้น การประสานงานของตัวแทนกลายเป็นรูปแบบสำคัญเมื่อสถานการณ์มีความซับซ้อน (กระบวนการยาวนาน ระบบหลายระบบ การตัดสินใจแบบมีเงื่อนไข)
บริการระดับสูงอย่าง Foundry Agent Service นำเสนอวิธีการสร้างเอเจนต์ในรูปแบบไมโครเซอร์วิส แม้กระทั่งด้วยวิธีการที่ไม่ต้องเขียนโค้ด โดยเชื่อมต่อกับโมเดลพื้นฐาน คลังความรู้ และ API ทางธุรกิจ เอเจนต์แต่ละตัวเป็นส่วนหนึ่งของโรงงาน โดยใช้โครงสร้างพื้นฐาน กลไกการรักษาความปลอดภัย และการตรวจสอบซ้ำ แต่เปิดเผยในรูปแบบที่เข้าถึงได้ง่าย บริการอิสระ ไปยังส่วนอื่นๆ ขององค์กร
6. การติดตั้งใช้งาน การอนุมาน และการดำเนินงานในขั้นตอนการผลิต
เมื่อโมเดลได้รับการฝึกฝนและตรวจสอบความถูกต้องแล้ว ก็จะเข้าสู่ขั้นตอนต่อไป การปรับใช้และการอนุมานในที่นี้ สถาปัตยกรรมมุ่งเน้นไปที่การเปิดเผย API ที่ปลอดภัยและปรับขนาดได้ การบูรณาการโมเดลเข้ากับแอปพลิเคชันไคลเอ็นต์ (เว็บ มือถือ แบ็กเอนด์ ไมโครเซอร์วิส) และการรับประกันว่าความหน่วง ต้นทุน และคุณภาพจะอยู่ภายใต้การควบคุมตลอดเวลา แม้ว่าจะใช้โซลูชันจากภายนอกก็ตาม การประมวลผลแบบ Edge สำหรับ AI ที่มีเวลาแฝงต่ำ.
สามารถใช้งานโมเดลในรูปแบบบริการจัดการผ่าน API แบบจ่ายตามการใช้งาน หรือโฮสต์ภายในสภาพแวดล้อมขององค์กรเอง โดยเฉพาะอย่างยิ่งสำหรับโมเดลขนาดเล็ก สถาปัตยกรรมอ้างอิงโดยทั่วไปจะประกอบด้วยเกตเวย์แอปพลิเคชัน ไฟร์วอลล์แอปพลิเคชันเว็บ เครือข่ายเสมือนแบบแบ่งส่วน จุดเชื่อมต่อส่วนตัว และอื่นๆ การป้องกันดีดอส เพื่อให้มั่นใจว่าการเข้าถึง AI ได้รับการปกป้องอย่างเหมาะสม
เครื่องมือตรวจสอบอย่าง Application Insights และ Azure Monitor จึงเข้ามามีบทบาทในจุดนี้ โดยจะรวบรวมเมตริกประสิทธิภาพ เวลาตอบสนอง ข้อผิดพลาด การใช้โทเค็น และข้อมูลการติดตามต่างๆ สัญญาณเหล่านี้จะถูกส่งไปยังแดชบอร์ดและการแจ้งเตือน ซึ่งช่วยให้... ดำเนินการระบบ AI ในฐานะบริการที่สำคัญโดยสามารถมองเห็นภาพรวมได้ทั้งในระดับโครงสร้างพื้นฐานและระดับตรรกะทางธุรกิจ
สถาปัตยกรรมนี้ยังรวมถึงการควบคุมการเข้าถึงอินเทอร์เน็ตผ่านไฟร์วอลล์ และการใช้งาน การจัดการข้อมูลประจำตัว เพื่อเชื่อมต่อบริการภายใน (ตัวอย่างเช่น จากเอเจนต์ไปยัง Azure OpenAI) และแบ่งส่วนเป็นซับเน็ตเพื่อแยกโซนข้อมูล การประมวลผล เอเจนต์การสร้าง และจุดเชื่อมต่อการบริหารจัดการ (บาสเตียน จัมพ์บ็อกซ์)
7. วงจรป้อนกลับต่อเนื่อง
คุณลักษณะหนึ่งที่บ่งบอกถึงโรงงาน AI ที่พัฒนาเต็มที่แล้ว คือการมีอยู่ของ... วงจรข้อเสนอแนะ มีการกำหนดไว้อย่างชัดเจน ทุกปฏิสัมพันธ์ของผู้ใช้ ทุกผลลัพธ์ของโมเดล และทุกตัวชี้วัดการใช้งาน จะถูกรวบรวม วิเคราะห์ และนำไปใช้เป็นข้อมูลป้อนเข้าเพื่อปรับปรุงโมเดลหรือปรับตรรกะทางธุรกิจ
วงจรต่อเนื่องนี้ประกอบด้วยการรวบรวมข้อเสนอแนะโดยตรง (การให้คะแนน การแก้ไข) และข้อเสนอแนะโดยนัย (อัตราความสำเร็จของงาน อัตราการเลิกทำ การคลิก) และการบูรณาการข้อมูลเหล่านั้นเข้ากับ... ท่อฝึกอบรมเพื่อประเมินรุ่นใหม่ของโมเดลเทียบกับรุ่นก่อนหน้า และหากมีการปรับปรุงที่น่าพอใจ ก็ควรนำไปใช้ในการผลิตอย่างเป็นระบบ
ข้อมูลป้อนกลับยังถูกส่งไปยังโมดูลที่ตรวจสอบอคติ คุณภาพการตอบสนอง ความปลอดภัย และการปฏิบัติตามข้อกำหนด โรงงานขั้นสูงประกอบด้วยแผง "AI ที่มีความรับผิดชอบ" เพื่อตรวจจับข้อผิดพลาดที่เป็นระบบ ความไม่สอดคล้องกับนโยบายภายใน หรือพฤติกรรมที่ไม่พึงประสงค์ของแบบจำลอง
ด้วยวงจรนี้ โรงงานจึงเปลี่ยนจากระบบคงที่ไปเป็นระบบที่เคลื่อนไหวได้ แพลตฟอร์มการเรียนรู้ต่อเนื่องสามารถปรับตัวให้เข้ากับการเปลี่ยนแปลงของสภาพแวดล้อม ข้อมูล หรือความต้องการทางธุรกิจได้โดยไม่ต้องเริ่มต้นใหม่ทั้งหมด
8. จริยธรรม การกำกับดูแล และความปลอดภัยในโรงงานปัญญาประดิษฐ์
สถาปัตยกรรมโรงงาน AI ที่จริงจังใดๆ ก็ตาม จะต้องรวมสิ่งนี้ไว้ตั้งแต่ขั้นตอนการออกแบบ จริยธรรมและกลไกการกำกับดูแลระบบแค่ทำงานได้นั้นยังไม่เพียงพอ มันต้องทำงานได้จริง ๆ ด้วย เคารพความเป็นส่วนตัวหลีกเลี่ยงอคติที่ไม่เป็นธรรม ปฏิบัติตามกฎระเบียบ และสอดคล้องกับค่านิยมขององค์กร
สิ่งนี้แปลความหมายเป็นกรอบการกำกับดูแลที่กำหนดว่าใครสามารถฝึกอบรมโมเดลใดได้บ้าง ข้อมูลใดที่สามารถนำมาใช้ได้ วิธีการตรวจสอบการตัดสินใจของระบบ และอื่นๆ การควบคุมการเข้าถึงและการตรวจสอบย้อนกลับ สิ่งเหล่านี้ได้รับการนำไปประยุกต์ใช้แล้ว ในระดับเทคนิค มีการนำเทคนิคการปกปิดข้อมูลส่วนบุคคล การควบคุมการใช้ข้อมูลที่ละเอียดอ่อน นโยบายการเก็บรักษาข้อมูล และเครื่องมือสำหรับการตรวจสอบและอธิบายผลลัพธ์ของแบบจำลองมาใช้
ความปลอดภัยเป็นส่วนหนึ่งของแพ็กเกจเดียวกัน: การรับรองความถูกต้องและการอนุญาตแบบรวมศูนย์ (ตัวอย่างเช่น ด้วย Microsoft Entra ID), การแยกเครือข่าย, การเข้ารหัสระหว่างการส่งและขณะจัดเก็บ การจัดการลับ ในบริการต่างๆ เช่น Key Vault และการกำหนดค่าไฟร์วอลล์และ WAF เพื่อปกป้องจุดเข้าใช้งานสาธารณะ
ในขณะเดียวกัน เฟรมเวิร์กต่างๆ เช่น Azure Well-Architected Framework สำหรับเวิร์กโหลด AI ก็ให้คำแนะนำเกี่ยวกับวิธีการสร้างสมดุล ความน่าเชื่อถือ ความปลอดภัย ประสิทธิภาพ ความคุ้มค่า และความเป็นเลิศในการดำเนินงาน ในสภาพแวดล้อมที่ปัญญาประดิษฐ์เป็นองค์ประกอบสำคัญลำดับแรก
บริการและเครื่องมือหลักภายในโรงงาน AI
การสร้างโรงงาน AI ไม่ได้เริ่มต้นจากศูนย์ แต่ต้องอาศัยระบบนิเวศที่กว้างขวาง บริการและเครื่องมือของแพลตฟอร์ม ซึ่งครอบคลุมทุกส่วนของวงจรชีวิตของ AI ตั้งแต่ข้อมูลไปจนถึงเอเจนต์
บริการ AI ที่พร้อมใช้งาน
บริการ Azure AI มี API และโมเดลที่ผ่านการฝึกฝนล่วงหน้าสำหรับงานต่างๆ เช่น คอมพิวเตอร์วิชั่น, การประมวลผลภาษาธรรมชาติ, เสียง, การแปล และการตัดสินใจบล็อกสำเร็จรูปเหล่านี้ช่วยให้คุณเร่งความเร็วโครงการได้โดยไม่ต้องฝึกอบรมตั้งแต่เริ่มต้น ในขณะเดียวกันก็ยังคงมีตัวเลือกการปรับแต่งครบครัน
เช่น คำพูด Azure AI ซอฟต์แวร์นี้มีฟังก์ชันการจดจำและสังเคราะห์เสียง พร้อมตัวเลือกเสียงแบบกำหนดเองเพื่อปรับแต่งคำศัพท์และลักษณะเสียงให้เหมาะสมกับสาขาเฉพาะ นอกจากนี้ Azure AI Translator ยังช่วยให้คุณฝึกฝนตัวแปลภาษาแบบโครงข่ายประสาทเทียมแบบกำหนดเองเพื่อปรับปรุงคุณภาพในอุตสาหกรรมที่มีศัพท์เฉพาะทาง
ในด้านเอกสาร Azure AI Document Intelligence ใช้โมเดลขั้นสูงเพื่อ... จัดประเภทเอกสารและดึงข้อมูล แบบฟอร์มที่มีโครงสร้างหรือไฟล์ PDF สามารถฝึกฝนโมเดลที่กำหนดเองสำหรับเอกสารทางธุรกิจประเภทต่างๆ และนำมาผสมผสานกันเป็นโมเดลเชิงประกอบเพื่อแก้ปัญหากระบวนการทำงานด้านเอกสารทั้งหมดได้
บริการเหล่านี้ถูกรวมเข้าไว้ในโรงงานแล้ว ไมโครเซอร์วิสเฉพาะทาง ซึ่งครอบคลุมกรณีการใช้งานเฉพาะ (การสร้างคำบรรยายอัตโนมัติ การจัดประเภทตั๋ว การประมวลผลสัญญา) โดยได้รับประโยชน์จากโครงสร้างพื้นฐานข้อมูล ความปลอดภัย และการตรวจสอบแบบเดียวกัน
Azure OpenAI และการปรับแต่งโมเดลให้เหมาะสม
Azure OpenAI อนุญาตให้เข้าถึงได้ โมเดลภาษาขั้นสูง (เช่น รูปแบบต่างๆ ของ GPT หรือโมเดลอื่นๆ จากผลิตภัณฑ์ของ Foundry) และปรับแต่งให้เหมาะสมกับความต้องการเฉพาะผ่านการปรับแต่งอย่างละเอียด กระบวนการนี้จะฝึกฝนโมเดลด้วยข้อมูลที่เป็นกรรมสิทธิ์เพื่อปรับปรุงคุณภาพของการตอบสนองในโดเมนเฉพาะ ลดความยาวของข้อความแจ้งเตือนที่จำเป็น และเพิ่มประสิทธิภาพด้านต้นทุน
การปรับแต่งอย่างละเอียดนั้นเสริมด้วยรูปแบบต่างๆ เช่น RAG และการกรองเนื้อหาและการควบคุมการดูแลจัดการ จากมุมมองด้านสถาปัตยกรรม Azure OpenAI ถูกใช้งานเป็นบริการภายในเครือข่ายขององค์กร (มักผ่านทางปลายทางส่วนตัว) โดยผสานรวมกับข้อมูลประจำตัวที่ได้รับการจัดการและปฏิบัติตาม นโยบายการกำกับดูแล ขององค์กร
นอกจากนี้ ความสามารถเหล่านี้ยังถูกบูรณาการเข้ากับแพลตฟอร์มต่างๆ มากขึ้นเรื่อยๆ เช่น Foundry ซึ่งมีแคตตาล็อกโมเดลที่รวบรวมไว้ (มากกว่าหนึ่งพันรายการในบางแคตตาล็อก) และตัวเลือกต่างๆ สำหรับ โมเดล-as-a-บริการรวมถึงกระบวนการปรับแต่งและประเมินผลอัตโนมัติเพื่อเปรียบเทียบโมเดลและกำหนดค่าต่างๆ อย่างรวดเร็ว
ทั้งหมดนี้ทำให้โรงงานสามารถทดลองกับโมเดลต่างๆ ได้อย่างรวดเร็ว เลือกโมเดลที่ให้ความสมดุลระหว่างประสิทธิภาพและต้นทุนได้ดีที่สุด และ กำหนดมาตรฐานวิธีการบริโภค จากแอปพลิเคชันทางธุรกิจ
แพลตฟอร์มการพัฒนา: Azure Machine Learning และ Foundry
เพื่อประสานงานทีมและโครงการต่างๆ ในโรงงาน จำเป็นต้องมีแพลตฟอร์มที่สามารถจัดการได้ วงจรชีวิตการเรียนรู้ของเครื่องจักรที่สมบูรณ์Azure Machine Learning Studio นำเสนอสภาพแวดล้อมบนคลาวด์สำหรับการฝึกอบรม การกำหนดเวอร์ชัน และการปรับใช้โมเดล พร้อมรองรับ AutoML, ไปป์ไลน์แบบจัดระเบียบ, การทดลองที่ทำซ้ำได้ และการตรวจสอบโมเดลในสภาพแวดล้อมการใช้งานจริง
แพลตฟอร์มนี้รวมศูนย์พื้นที่ทำงาน การประมวลผล ความปลอดภัย และการเชื่อมต่อ เพื่อให้ทีมต่างๆ สามารถทำงานร่วมกันได้โดยการแบ่งปันทรัพยากรในขณะที่ยังคงรักษาประสิทธิภาพไว้ การปกครองแบบรวมศูนย์นอกจากนี้ยังช่วยให้สามารถบูรณาการขั้นตอนการสร้างคุณลักษณะ การปรับแต่งไฮเปอร์พารามิเตอร์ การประเมินผลด้วยแดชบอร์ด AI ที่เชื่อถือได้ และการใช้งานผ่าน REST endpoints การอนุมานแบบเรียลไทม์หรือแบบแบตช์ได้อีกด้วย
ในส่วนของ Foundry นั้น มุ่งเน้นไปที่การเร่งการพัฒนา แอปพลิเคชัน AI สร้างสรรค์แบบกำหนดเอง: โครงการความร่วมมือ การเชื่อมต่อกับข้อมูลภายใน การจัดการ LLM และ RAG การออกแบบขั้นตอนการตอบสนอง เครื่องมือในการประเมินการตอบสนอง และกลไกในการนำต้นแบบไปใช้งานจริงบนโครงสร้างพื้นฐานที่ได้รับการจัดการ
การผสมผสานแพลตฟอร์มเหล่านี้ทำให้โรงงานสามารถสร้างสภาพแวดล้อมที่สอดคล้องกัน ตั้งแต่การทดลองวิจัยไปจนถึง... ผลิตภัณฑ์ AI อยู่ในขั้นตอนการผลิตโดยไม่สูญเสียความสามารถในการตรวจสอบย้อนกลับ ความปลอดภัย หรือการควบคุมต้นทุนไปพร้อมกัน
ภาษาและเฟรมเวิร์กสำหรับโรงงาน AI
ในระดับการนำไปใช้งาน โรงงาน AI อาศัยหลักการสำคัญดังต่อไปนี้ ภาษาต่างๆ เช่น Python และ RPython ครองความเป็นผู้นำในระบบนิเวศการเรียนรู้ของเครื่องและการเรียนรู้เชิงลึก เนื่องจากไวยากรณ์ที่เรียบง่าย ไลบรารีมาตรฐานขนาดใหญ่ และไลบรารีด้าน AI และข้อมูลที่มีอยู่มากมาย ในขณะที่ R ยังคงมีความสำคัญในด้านสถิติขั้นสูง การวิเคราะห์ข้อมูล และภาคส่วนเฉพาะบางด้าน (การเงิน การดูแลสุขภาพ การวิจัย)
ภาษาเหล่านี้ใช้ในการสร้างทั้งสองอย่าง อัลกอริธึมการเรียนรู้ของเครื่องแบบดั้งเดิม (การถดถอย, ต้นไม้ตัดสินใจ, การจัดกลุ่ม ฯลฯ) รวมถึงการออกแบบและฝึกฝนโครงข่ายประสาทเทียมเชิงลึกและแบบจำลองสร้างข้อมูล ในเชิงสถาปัตยกรรม พวกมันสามารถผสานรวมเข้ากับบริการจัดการกระบวนการทำงาน แพลตฟอร์มต่างๆ เช่น Azure Machine Learning หรือ Databricks และเครื่องมือตรวจสอบ เช่น MLflow ได้
นอกเหนือจากนี้ ยังมีการสร้างเฟรมเวิร์กการจัดการเอเจนต์ ไลบรารีสำหรับการสร้างข้อความแจ้งเตือน SDK สำหรับการโต้ตอบกับบริการ AI และส่วนประกอบที่นำกลับมาใช้ใหม่ได้ ซึ่งในที่สุดจะกลายเป็นส่วนหนึ่งของ “แคตตาล็อกภายใน"ของโรงงาน AI ของแต่ละองค์กร"
ด้วยระบบนิเวศนี้ ทีมต่างๆ จึงสามารถเปลี่ยนผ่านระหว่างขั้นตอนต่างๆ ได้อย่างราบรื่น การสร้างต้นแบบในสมุดบันทึก และการพัฒนาต้นแบบเหล่านั้นให้เป็นบริการที่มีประสิทธิภาพภายในสถาปัตยกรรมระดับโลก
ข้อได้เปรียบที่สำคัญของสถาปัตยกรรมโรงงาน AI ที่ได้รับการออกแบบมาอย่างดี
เมื่อองค์ประกอบทั้งหมดเหล่านี้ถูกผสานรวมเข้าด้วยกันอย่างสอดคล้อง องค์กรก็จะได้รับประโยชน์หลายประการ ประโยชน์ที่เป็นรูปธรรมมาก ซึ่งนอกเหนือไปจากการมี "แชทบอทที่สวยงาม" แล้ว
ประการแรก คือเรื่องความสามารถในการขยายขนาด: โรงงานได้รับการออกแบบมาให้สามารถทำงานได้อย่างมีประสิทธิภาพ โครงการ AI หลายโครงการดำเนินไปพร้อมกันด้วยการใช้โครงสร้างพื้นฐานและไลบรารีร่วมกัน ช่วยลดเวลาและค่าใช้จ่าย ทีมงานไม่จำเป็นต้องสร้างทุกอย่างขึ้นมาใหม่ทุกครั้งที่ลองทำ แต่สามารถใช้ส่วนประกอบมาตรฐาน (ไปป์ไลน์ เทมเพลตโมเดล รูปแบบการปรับใช้) แทนได้
ความเร็วก็ดีขึ้นอย่างเห็นได้ชัด ด้วยกระบวนการที่เป็นมาตรฐาน การใช้ระบบอัตโนมัติในการฝึกอบรมและการใช้งาน และบริการที่พร้อมใช้งาน ทำให้เวลาตั้งแต่เริ่มต้นไอเดียจนถึงการผลิตลดลง สั้นลงอย่างมากวิธีนี้ช่วยให้สามารถพัฒนาซ้ำได้อย่างรวดเร็ว ทดสอบสมมติฐานทางธุรกิจ และปรับเปลี่ยนกรณีการใช้งานได้โดยมีความเสี่ยงน้อยลง
ผลกระทบที่สำคัญอีกประการหนึ่งคือความสม่ำเสมอ: การปฏิบัติตามขั้นตอนการทำงานที่ทำซ้ำได้และรูปแบบสถาปัตยกรรมที่ได้รับการพิสูจน์แล้วจะช่วยให้มั่นใจได้ว่า คุณภาพที่สม่ำเสมอยิ่งขึ้น ท่ามกลางโมเดลและการใช้งานที่หลากหลาย แนวทางแบบ "โรงงาน" ช่วยป้องกันไม่ให้องค์กรเต็มไปด้วยโซลูชันที่แยกส่วนซึ่งดูแลรักษายากและมีระดับความปลอดภัยที่ไม่สม่ำเสมอ
สุดท้ายนี้ วงจรป้อนกลับช่วยให้เกิดการสร้างวัฒนธรรมของ พัฒนาอย่างต่อเนื่องโดยที่แบบจำลองจะได้รับการฝึกฝนใหม่เป็นระยะๆ อคติที่ตรวจพบจะได้รับการแก้ไข แหล่งข้อมูลใหม่จะถูกนำมาใช้ และผลลัพธ์ทางธุรกิจจะถูกวัดผล ปัญญาประดิษฐ์จึงไม่ใช่โครงการที่ทำเพียงครั้งเดียวอีกต่อไป แต่จะกลายเป็นความสามารถเชิงกลยุทธ์ถาวร
โครงสร้างทางเทคนิคและองค์กรทั้งหมดนี้ ทำให้การออกแบบสถาปัตยกรรมของโรงงาน AI นั้นคล้ายกับการออกแบบโรงงานอุตสาหกรรมที่มีความแม่นยำสูง มากกว่าการเปิดตัวแอปพลิเคชันธรรมดาๆ ใครก็ตามที่สามารถประกอบชิ้นส่วนเหล่านี้เข้าด้วยกันได้อย่างลงตัว—ข้อมูลที่เชื่อถือได้ด้วยพลังการประมวลผลอันทรงพลัง โมเดลที่มีการกำกับดูแลที่ดี เอเจนต์ที่มีประโยชน์ และระบบรักษาความปลอดภัยและจริยธรรมที่แข็งแกร่ง แพลตฟอร์มนี้จะพร้อมที่จะใช้ประโยชน์จากนวัตกรรมคลื่นลูกใหม่ในด้านปัญญาประดิษฐ์ได้อย่างแข็งแกร่งและปรับตัวได้มากกว่าคู่แข่ง
