วันนี้ “Hallucination” ไม่ได้หมายถึงเพียงการสร้างข้อความผิดอีกต่อไป หาก AI เข้าใจสถานการณ์ผิด มันอาจลบข้อมูลสำคัญ ส่งข้อมูลลับออกไปยังบุคคลภายนอก หรือดำเนินกระบวนการที่สร้างความเสียหายต่อธุรกิจโดยตรงได้

โลกกำลังเผชิญความจริงใหม่ว่า ความผิดพลาดของ AI ไม่ได้หยุดอยู่บนหน้าจอสนทนา แต่สามารถส่งผลต่อโลกแห่งความเป็นจริงได้ทันที

ความท้าทายใหม่ เมื่อ AI เป็นผู้ตัดสินใจระหว่างปฏิบัติงาน

ในอดีต ซอฟต์แวร์ถูกสร้างขึ้นภายใต้หลักการที่ค่อนข้างคาดเดาได้ นักพัฒนากำหนดกฎเกณฑ์ทั้งหมดล่วงหน้า ตรวจสอบโค้ดก่อนนำไปใช้งาน และจำกัดสิทธิ์การเข้าถึงตามบทบาทอย่างชัดเจน

แต่ AI Agent ทำงานแตกต่างออกไป

แม้ว่าจะได้รับคำสั่งเดียวกันหลายครั้ง มันอาจเลือกเส้นทางการตัดสินใจไม่เหมือนกันทุกครั้ง เพราะการตัดสินใจจำนวนมากเกิดขึ้น “ขณะทำงานจริง” ไม่ใช่ตอนที่นักพัฒนาเขียนโปรแกรม

กล่าวอีกนัยหนึ่ง องค์กรไม่สามารถรู้ล่วงหน้าได้ครบถ้วนว่า AI จะเลือกดำเนินการอะไรในทุกสถานการณ์
ความไม่แน่นอนนี้กลายเป็นโจทย์ด้านความปลอดภัยที่สำคัญที่สุดของยุค Agentic AI

เมื่อสิทธิ์ที่ถูกต้อง อาจนำไปสู่ผลลัพธ์ที่ผิด

ปัญหาที่น่าสนใจคือ AI Agent อาจไม่ละเมิดกฎใดเลย แต่ยังคงก่อให้เกิดความเสี่ยงได้

ลองพิจารณาสถานการณ์หนึ่ง

AI มีสิทธิ์เข้าถึงฐานข้อมูลลูกค้าเพื่อวิเคราะห์ข้อมูล นี่เป็นสิทธิ์ที่จำเป็น
ขณะเดียวกัน AI ก็มีสิทธิ์ส่งอีเมล เนื่องจากถูกออกแบบมาเพื่อสื่อสารกับลูกค้า

ทั้งสองสิทธิ์นี้ดูสมเหตุสมผลเมื่อแยกพิจารณา

แต่หาก AI นำข้อมูลจากฐานข้อมูลลูกค้ามาแนบในอีเมลโดยไม่ตั้งใจ หรือส่งไปยังปลายทางที่ไม่เหมาะสม จะเกิดการรั่วไหลของข้อมูลส่วนบุคคลในทันที แม้ว่าทุกขั้นตอนจะเกิดขึ้นภายใต้สิทธิ์ที่ได้รับอนุญาตก็ตาม

นี่คือประเภทของความเสี่ยงที่ระบบรักษาความปลอดภัยแบบดั้งเดิมมักตรวจจับได้ยาก

แนวคิดใหม่ อย่าตรวจสอบแค่สิทธิ์ แต่ต้องตรวจสอบ “เจตนาของการกระทำ”

บริษัทสตาร์ทอัพชื่อ Kyvvu เสนอแนวทางที่แตกต่างออกไป

แทนที่จะเฝ้าดูเนื้อหาทั้งหมดที่ AI สร้างหรือประมวลผล ระบบของบริษัทมุ่งเน้นไปที่การตรวจสอบ “การกระทำ” ที่ AI กำลังจะทำ

หัวใจสำคัญของแนวคิดนี้คือสิ่งที่เรียกว่า Agent Security Kernel หรือ ASK ซึ่งทำหน้าที่เป็นเหมือนเจ้าหน้าที่รักษาความปลอดภัยที่ยืนอยู่ระหว่าง AI กับโลกภายนอก

ทุกครั้งที่ Agent ต้องการดำเนินการบางอย่าง ระบบจะตรวจสอบก่อนว่าการกระทำนั้นสอดคล้องกับเป้าหมายที่ได้รับหรือไม่

หากปลอดภัย ระบบอาจอนุญาตให้ดำเนินการต่อ
หากมีความเสี่ยง ระบบอาจแสดงคำเตือน
และหากการกระทำอาจก่อให้เกิดผลเสีย ระบบสามารถสั่งหยุดก่อนที่เหตุการณ์จะเกิดขึ้นจริงได้

แนวคิดนี้เปรียบเสมือนการเปลี่ยน AI จากพนักงานที่สามารถลงมือทำได้ทันที ให้กลายเป็นพนักงานที่ต้องรายงานหัวหน้าก่อนดำเนินการเรื่องสำคัญ

อุตสาหกรรมเริ่มตระหนักถึงปัญหาเดียวกัน

แม้ Kyvvu จะเป็นหนึ่งในผู้เล่นที่เข้ามาพัฒนาแนวคิดด้านความปลอดภัยของ AI Agent ตั้งแต่ระยะแรก แต่ปัจจุบันอุตสาหกรรมเทคโนโลยีทั้งระบบกำลังเคลื่อนตัวไปในทิศทางเดียวกัน

องค์กรด้านความปลอดภัยไซเบอร์อย่าง OWASP กำลังพัฒนามาตรฐานสำหรับการควบคุม AI Agent

Microsoft ผลักดันแนวทางด้าน Agent Control Specification
ขณะที่ NVIDIA เปิดตัวแพลตฟอร์ม Open Agent Safety Platform เพื่อช่วยสร้างสภาพแวดล้อมที่ปลอดภัยสำหรับ Agent ในระดับโครงสร้างพื้นฐาน

การเคลื่อนไหวพร้อมกันจากหลายองค์กรสะท้อนให้เห็นถึงข้อเท็จจริงสำคัญข้อหนึ่ง

อุตสาหกรรมเริ่มมองว่าปัญหาความปลอดภัยของ Agent ไม่ใช่เรื่องรองอีกต่อไป แต่เป็นองค์ประกอบพื้นฐานที่จำเป็นต่อการนำ AI มาใช้งานจริงในวงกว้าง

ความสมดุลระหว่าง “อิสระ” และ “ความปลอดภัย”

ความท้าทายของการออกแบบ AI Agent ไม่ได้อยู่ที่การทำให้มันปลอดภัยที่สุดเพียงอย่างเดียว
หากกำหนดข้อจำกัดมากเกินไป Agent ก็อาจสูญเสียความสามารถในการช่วยเหลืองานที่ซับซ้อน
แต่หากให้อิสระมากเกินไป ความเสี่ยงก็เพิ่มขึ้นตามไปด้วย

นี่คือจุดสมดุลที่องค์กรทั่วโลกกำลังพยายามค้นหา

AI ที่ดีในอนาคตอาจไม่ใช่ AI ที่ทำทุกอย่างได้เองโดยไม่ต้องถามใคร แต่เป็น AI ที่รู้ว่าเมื่อไรควรตัดสินใจเอง และเมื่อไรควรหยุดเพื่อขอการยืนยันจากมนุษย์

ความฉลาดจึงไม่ได้วัดจากความสามารถในการลงมือทำเพียงอย่างเดียว
แต่รวมถึงความสามารถในการยับยั้งตัวเองด้วย

มองไปข้างหน้า เมื่อ “การขออนุญาต” กลายเป็นคุณสมบัติสำคัญของ AI

ตลอดประวัติศาสตร์ของเทคโนโลยี ทุกครั้งที่เครื่องจักรมีอำนาจมากขึ้น มนุษย์ก็มักสร้างกลไกควบคุมที่ซับซ้อนขึ้นตามมา

รถยนต์มีระบบเบรก
เครื่องบินมีระบบสำรองหลายชั้น
โรงไฟฟ้ามีมาตรการความปลอดภัยที่เข้มงวด

AI Agent ก็อาจกำลังเดินเข้าสู่แนวทางเดียวกัน

เมื่อปัญญาประดิษฐ์สามารถดำเนินการแทนมนุษย์ได้จริง ความสามารถในการ “ถามก่อนทำ” อาจกลายเป็นคุณสมบัติที่สำคัญไม่แพ้ความฉลาดในการคิดหาคำตอบ

และในท้ายที่สุด ความสำเร็จของ AI อาจไม่ได้ขึ้นอยู่กับจำนวนงานที่มันทำได้

แต่อยู่ที่จำนวนความผิดพลาดที่มันรู้จักหลีกเลี่ยงก่อนที่จะเกิดขึ้นจริง

Key Takeaways

• AI Agent แตกต่างจาก AI แบบเดิม เพราะสามารถลงมือปฏิบัติงานและตัดสินใจได้เอง
• ความผิดพลาดของ Agent อาจสร้างผลกระทบต่อระบบและธุรกิจจริง ไม่ใช่เพียงข้อมูลผิดพลาด
• สิทธิ์การเข้าถึงที่ถูกต้องหลายอย่าง เมื่อนำมารวมกัน อาจก่อให้เกิดความเสี่ยงโดยไม่ตั้งใจ
• Agent Security Kernel (ASK) ถูกออกแบบมาเพื่อตรวจสอบการกระทำของ AI ก่อนดำเนินการจริง
• อุตสาหกรรมเทคโนโลยีรายใหญ่กำลังพัฒนามาตรฐานและโครงสร้างด้านความปลอดภัยสำหรับ AI Agent
• อนาคตของ AI อาจขึ้นอยู่กับความสามารถในการรู้ว่า “เมื่อไรควรถามมนุษย์ก่อนลงมือทำ” มากพอ ๆ กับความสามารถในการคิดเอง

…..

เรียบเรียงโดย AiNextopia
อ้างอิง : Kyvvu: Why every AI agent needs to ‘ASK’ before it can act. / artificialintelligence