Edge AI คืออะไร?

Edge AI ผลักดันความชาญฉลาดไปยังจุดที่ข้อมูลถือกำเนิดขึ้น ฟังดูหรูหรา แต่แนวคิดหลักนั้นเรียบง่าย: คิดให้รอบคอบควบคู่ไปกับเซ็นเซอร์ เพื่อให้ผลลัพธ์ปรากฏขึ้นทันที ไม่ใช่ในภายหลัง คุณจะได้รับความเร็ว ความน่าเชื่อถือ และความเป็นส่วนตัวที่ดี โดยที่คลาวด์ไม่ต้องคอยดูแลทุกการตัดสินใจ มาแกะกล่องกันเลย - รวมถึงทางลัดและภารกิจเสริมด้วย 😅

บทความที่คุณอาจสนใจอ่านต่อหลังจากบทความนี้:

🔗 AI เชิงสร้างสรรค์คืออะไร
อธิบายชัดเจนเกี่ยวกับ AI เชิงสร้างสรรค์ หลักการทำงาน และการใช้งานจริง

🔗 เอเจนติกเอไอคืออะไร
ภาพรวมของ AI เชิงตัวแทน พฤติกรรมอัตโนมัติ และรูปแบบแอปพลิเคชันในโลกแห่งความเป็นจริง

🔗 AI scalability คืออะไร
เรียนรู้วิธีปรับขนาดระบบ AI อย่างน่าเชื่อถือ มีประสิทธิภาพ และคุ้มต้นทุน

🔗 กรอบซอฟต์แวร์สำหรับ AI คืออะไร
รายละเอียดของกรอบงานซอฟต์แวร์ AI ประโยชน์ของสถาปัตยกรรม และพื้นฐานการใช้งาน

Edge AI คืออะไร? คำจำกัดความสั้นๆ 🧭

Edge AI คือการรันโมเดลการเรียนรู้ของเครื่องที่ผ่านการฝึกอบรมแล้วโดยตรงบนหรือใกล้กับอุปกรณ์ที่รวบรวมข้อมูล ไม่ว่าจะเป็นโทรศัพท์ กล้อง หุ่นยนต์ รถยนต์ อุปกรณ์สวมใส่ ตัวควบคุมอุตสาหกรรม และอื่นๆ อีกมากมาย แทนที่จะส่งข้อมูลดิบไปยังเซิร์ฟเวอร์ระยะไกลเพื่อวิเคราะห์ อุปกรณ์จะประมวลผลอินพุตภายในเครื่องและส่งเฉพาะข้อมูลสรุปหรือไม่ส่งเลย ช่วยลดรอบการทำงาน ลดความล่าช้า และควบคุมได้มากขึ้น หากคุณต้องการคำอธิบายที่ชัดเจนและเป็นกลางสำหรับผู้ขาย เริ่มต้นได้ที่นี่ [1]

อะไรที่ทำให้ Edge AI มีประโยชน์จริง ๆ 🌟

• ความหน่วงต่ำ - การตัดสินใจเกิดขึ้นบนอุปกรณ์ ดังนั้นการตอบสนองจึงเกิดขึ้นทันทีสำหรับงานการรับรู้ เช่น การตรวจจับวัตถุ การระบุคำปลุก หรือการแจ้งเตือนความผิดปกติ [1]

• ความเป็นส่วนตัวตามท้องถิ่น - ข้อมูลที่ละเอียดอ่อนสามารถอยู่ในอุปกรณ์ ลดการเปิดเผย และช่วยในการหารือเกี่ยวกับการลดข้อมูล [1]

• การประหยัดแบนด์วิดท์ - ส่งฟีเจอร์หรือเหตุการณ์แทนสตรีมดิบ [1]

• ความยืดหยุ่น - ทำงานได้ระหว่างการเชื่อมต่อที่ไม่แน่นอน

• การควบคุมต้นทุน - รอบการประมวลผลบนคลาวด์น้อยลงและการออกนอกระบบลดลง

• การรับรู้บริบท - อุปกรณ์ “รู้สึก” ถึงสภาพแวดล้อมและปรับตัว

เกร็ดเล็กเกร็ดน้อย: โครงการนำร่องค้าปลีกเปลี่ยนจากการอัปโหลดกล้องอย่างต่อเนื่องเป็นการจัดประเภทบุคคลกับวัตถุบนอุปกรณ์ และผลักดันเฉพาะจำนวนชั่วโมงและคลิปข้อยกเว้น ผลลัพธ์: การแจ้งเตือนที่ขอบชั้นวางในเวลาต่ำกว่า 200 มิลลิวินาที และปริมาณการรับส่งข้อมูลอัปลิงก์ลดลงประมาณ 90% โดยไม่ต้องเปลี่ยนสัญญา WAN ของร้านค้า (วิธีการ: การอนุมานภายใน, การแบ่งกลุ่มเหตุการณ์, เฉพาะความผิดปกติ)

Edge AI เทียบกับ Cloud AI - ความแตกต่างอย่างรวดเร็ว 🥊

• จุดที่การคำนวณเกิดขึ้น : edge = บนอุปกรณ์/ใกล้อุปกรณ์; cloud = ศูนย์ข้อมูลระยะไกล

• ความหน่วง : ขอบ ≈ เรียลไทม์; คลาวด์มีการเดินทางไปกลับ

• การเคลื่อนย้ายข้อมูล : กรองขอบ/บีบอัดก่อน; คลาวด์ชอบการอัปโหลดแบบความเที่ยงตรงเต็มรูปแบบ

• ความน่าเชื่อถือ : Edge ยังคงทำงานแบบออฟไลน์ได้ ส่วนคลาวด์จำเป็นต้องมีการเชื่อมต่อ

• การกำกับดูแล : Edge รองรับการลดข้อมูลให้เหลือน้อยที่สุด; คลาวด์รวมศูนย์การกำกับดูแล [1]

ไม่ใช่ว่าต้องเลือกอย่างใดอย่างหนึ่ง ระบบอัจฉริยะผสมผสานทั้งสองอย่างเข้าด้วยกัน ได้แก่ การตัดสินใจที่รวดเร็วในพื้นที่ การวิเคราะห์เชิงลึก และการเรียนรู้เกี่ยวกับยานพาหนะจากส่วนกลาง คำตอบแบบผสมผสานนั้นน่าเบื่อและถูกต้อง

Edge AI ทำงานอย่างไรจริงๆ ภายใต้ประทุน 🧩

1. เซ็นเซอร์ จะจับสัญญาณดิบ เช่น เฟรมเสียง พิกเซลของกล้อง การแตะ IMU ร่องรอยการสั่นสะเทือน

2. การประมวลผลล่วงหน้า จะปรับเปลี่ยนสัญญาณเหล่านั้นให้เป็นฟีเจอร์ที่เป็นมิตรกับโมเดล

3. รันไทม์การอนุมาน จะดำเนินการแบบจำลองแบบกะทัดรัดบนอุปกรณ์โดยใช้ตัวเร่งความเร็วเมื่อพร้อมใช้งาน

4. การประมวลผลหลังการ แปลงผลลัพธ์เป็นเหตุการณ์ ป้ายกำกับ หรือการดำเนินการควบคุม

5. ข้อมูลทางไกล จะอัปโหลดเฉพาะข้อมูลที่เป็นประโยชน์เท่านั้น เช่น สรุป ความผิดปกติ หรือข้อเสนอแนะเป็นระยะ

รันไทม์บนอุปกรณ์ที่คุณจะเห็นทั่วไป ได้แก่ LiteRT (เดิมชื่อ TensorFlow Lite), ONNX Runtime และ OpenVINO เครื่องมือเหล่านี้ช่วยรีดประสิทธิภาพจากงบประมาณด้านพลังงาน/หน่วยความจำที่จำกัด ด้วยเทคนิคต่างๆ เช่น การหาปริมาณและการรวมตัวดำเนินการ หากคุณชอบรายละเอียดปลีกย่อย เอกสารของพวกเขาก็มีประโยชน์มาก [3][4]

ที่ปรากฏขึ้น - กรณีการใช้งานจริงที่คุณสามารถชี้ให้เห็นได้ 🧯🚗🏭

• วิสัยทัศน์ที่ขอบ : กล้องกริ่งประตู (คนกับสัตว์เลี้ยง) การสแกนชั้นวางสินค้าในร้านค้าปลีก โดรนตรวจพบข้อบกพร่อง

• เสียงบนอุปกรณ์ : คำปลุก การบอกตามคำบอก การตรวจจับการรั่วไหลในพืช

• IoT ในภาคอุตสาหกรรม : ตรวจสอบมอเตอร์และปั๊มเพื่อหาความผิดปกติของการสั่นสะเทือนก่อนเกิดความล้มเหลว

• ยานยนต์ : การตรวจสอบคนขับ การตรวจจับเลน ระบบช่วยจอด - ต่ำกว่าวินาทีหรือหยุดกะทันหัน

• การดูแลสุขภาพ : อุปกรณ์สวมใส่จะแจ้งเตือนภาวะหัวใจเต้นผิดจังหวะในบริเวณนั้น และซิงค์สรุปภายหลัง

• สมาร์ทโฟน : การปรับปรุงภาพ, การตรวจจับการโทรสแปม, ช่วงเวลา "โทรศัพท์ของฉันทำแบบนั้นแบบออฟไลน์ได้อย่างไร"

สำหรับคำจำกัดความอย่างเป็นทางการ (และการสนทนาเกี่ยวกับ "หมอกกับขอบ") โปรดดูแบบจำลองแนวคิดของ NIST [2]

ฮาร์ดแวร์ที่ทำให้มันรวดเร็ว 🔌

มีแพลตฟอร์มไม่กี่แห่งที่มักถูกกล่าวถึงบ่อยครั้ง:

• NVIDIA Jetson - โมดูลที่ขับเคลื่อนด้วย GPU สำหรับหุ่นยนต์/กล้อง-มีดสวิส-กองทัพ-ไวไฟสำหรับ AI แบบฝังตัว

• Google Edge TPU + LiteRT - การอนุมานจำนวนเต็มที่มีประสิทธิภาพและรันไทม์ที่คล่องตัวสำหรับโครงการที่ใช้พลังงานต่ำเป็นพิเศษ [3]

• Apple Neural Engine (ANE) - ML บนอุปกรณ์ที่รัดกุมสำหรับ iPhone, iPad และ Mac; Apple ได้เผยแพร่ผลงานเชิงปฏิบัติเกี่ยวกับการปรับใช้หม้อแปลงอย่างมีประสิทธิภาพบน ANE [5]

• CPU/iGPU/NPU ของ Intel ที่มี OpenVINO - "เขียนครั้งเดียว ปรับใช้งานได้ทุกที่" บนฮาร์ดแวร์ของ Intel; ผ่านการเพิ่มประสิทธิภาพที่เป็นประโยชน์

• ONNX Runtime ทุกที่ - รันไทม์ที่เป็นกลางพร้อมผู้ให้บริการการดำเนินการแบบปลั๊กอินที่ครอบคลุมโทรศัพท์ พีซี และเกตเวย์ [4]

คุณต้องการทั้งหมดเลยไหม? ไม่จำเป็น เลือกเส้นทางเดียวที่เหมาะกับกลุ่มลูกค้าของคุณ แล้วยึดเส้นทางนั้นไว้ เพราะการเลิกจ้างเป็นศัตรูของทีมฝังตัว

ซอฟต์แวร์สแต็ก - ทัวร์สั้น ๆ 🧰

• การบีบอัดแบบจำลอง : การหาปริมาณ (มักใช้เป็น int8), การตัดแต่ง, การกลั่น

• การเร่งความเร็วในระดับผู้ปฏิบัติงาน : เคอร์เนลที่ปรับให้เหมาะกับซิลิกอนของคุณ

• รันไทม์ : LiteRT, รันไทม์ ONNX, OpenVINO [3][4]

• ตัวห่อการปรับใช้ : คอนเทนเนอร์/ชุดแอป บางครั้งเป็นไมโครเซอร์วิสบนเกตเวย์

• MLOps สำหรับ edge : การอัปเดตโมเดล OTA, การเปิดตัว A/B, ลูปการวัดระยะไกล

• การควบคุมความเป็นส่วนตัวและความปลอดภัย : การเข้ารหัสบนอุปกรณ์ การบูตที่ปลอดภัย การรับรอง การเข้ารหัส

กรณีศึกษาขนาดเล็ก: ทีมโดรนตรวจสอบได้กลั่นตัวเครื่องตรวจจับรุ่นเฮฟวี่เวทให้เป็นแบบจำลองนักเรียนเชิงปริมาณสำหรับ LiteRT จากนั้นจึงผสานรวม NMS บนอุปกรณ์ เวลาบินดีขึ้นประมาณ 15% เนื่องจากการประมวลผลที่ลดลง ปริมาณการอัปโหลดลดลงไปยังเฟรมข้อยกเว้น (วิธีการ: การบันทึกชุดข้อมูล ณ สถานที่, การปรับเทียบหลังควอนต์, โหมดเงา A/B ก่อนการเปิดตัวเต็มรูปแบบ)

ตารางเปรียบเทียบ - ตัวเลือก Edge AI ยอดนิยม 🧪

พูดจริง ๆ: ตารางนี้มีความคิดเห็นส่วนตัวและรกนิดหน่อย เหมือนกับโลกแห่งความเป็นจริง

วิธีเลือกเส้นทาง Edge AI - ต้นไม้การตัดสินใจขนาดเล็ก 🌳

• ยากที่จะกำหนดชีวิตของคุณแบบเรียลไทม์ใช่ไหม? เริ่มต้นด้วยตัวเร่งความเร็วและโมเดลเชิงปริมาณ

• มีอุปกรณ์หลายประเภทใช่ไหม? แนะนำให้ใช้ ONNX Runtime หรือ OpenVINO เพื่อความสะดวกในการพกพา [4]

• กำลังจัดส่งแอปมือถือใช่ไหม? LiteRT คือเส้นทางที่ง่ายที่สุด [3]

• หุ่นยนต์หรือการวิเคราะห์ด้วยกล้อง? การดำเนินงานที่เป็นมิตรกับ GPU ของ Jetson ช่วยประหยัดเวลา

• มาตรการความเป็นส่วนตัวที่เข้มงวด? เก็บข้อมูลไว้ในเครื่อง เข้ารหัสเมื่อไม่ได้ใช้งาน บันทึกข้อมูลแบบรวม ไม่ใช่เฟรมดิบ

• ทีมเล็กเหรอ? หลีกเลี่ยงเครื่องมือแปลกๆ เพราะความน่าเบื่อคือสิ่งสวยงาม

• โมเดลจะเปลี่ยนแปลงบ่อยไหม? วางแผน OTA และ telemetry ตั้งแต่วันแรกเลย

ความเสี่ยง ข้อจำกัด และส่วนที่น่าเบื่อแต่สำคัญ 🧯

• แบบจำลองการดริฟท์ - สภาพแวดล้อมเปลี่ยนแปลง ตรวจสอบการกระจาย รันโหมดเงา ฝึกอบรมใหม่เป็นระยะ

• เพดานการคำนวณ - หน่วยความจำที่จำกัด/กำลังไฟฟ้าแบบจำลองขนาดเล็กหรือความแม่นยำที่ผ่อนคลาย

• ความปลอดภัย - ถือว่ามีการเข้าถึงทางกายภาพ ใช้การบูตที่ปลอดภัย สิ่งประดิษฐ์ที่ลงนาม การรับรอง บริการที่มีสิทธิ์ขั้นต่ำที่สุด

• การกำกับดูแลข้อมูล - การประมวลผลภายในช่วยได้ แต่คุณยังคงต้องได้รับความยินยอม การเก็บรักษา และการวัดระยะไกลแบบมีขอบเขต

• การดำเนินงานของกองเรือ - อุปกรณ์จะออฟไลน์ในเวลาที่แย่ที่สุด ออกแบบการอัปเดตที่เลื่อนออกไปและอัปโหลดที่สามารถดำเนินการต่อได้

• การผสมผสานความสามารถ - ฝังตัว + ML + DevOps เป็นทีมงานที่หลากหลาย ควรฝึกข้ามสายงานตั้งแต่เนิ่นๆ

แผนงานปฏิบัติเพื่อส่งมอบสิ่งที่มีประโยชน์ 🗺️

1. เลือกกรณีการใช้งานหนึ่งกรณี ที่มีการตรวจจับค่าข้อบกพร่องที่วัดได้บน Line 3, คำปลุกบนลำโพงอัจฉริยะ ฯลฯ

2. รวบรวมชุดข้อมูลที่เป็นระเบียบเรียบร้อย ซึ่งสะท้อนสภาพแวดล้อมเป้าหมาย เพิ่มสัญญาณรบกวนเพื่อให้ตรงกับความเป็นจริง

3. ต้นแบบบนชุดพัฒนา ที่ใกล้เคียงกับฮาร์ดแวร์การผลิต

4. บีบอัดโมเดล ด้วยการวัดปริมาณ/การตัดแต่ง; วัดการสูญเสียความแม่นยำอย่างซื่อสัตย์ [3]

5. ห่ออนุมานใน API ที่สะอาด ด้วยแรงดันย้อนกลับและเฝ้าระวัง เนื่องจากอุปกรณ์ค้างเวลา 2.00 น.

6. ออกแบบการวัดระยะไกล ที่เคารพความเป็นส่วนตัว: ส่งจำนวน ฮิสโทแกรม คุณสมบัติที่แยกจากขอบ

7. เสริมความแข็งแกร่งด้านความปลอดภัย : ไบนารีที่ลงนาม, การบูตที่ปลอดภัย, เปิดบริการขั้นต่ำ

8. วางแผน OTA : การเปิดตัวแบบสลับกัน, การเปิดตัวแบบคานารี, การย้อนกลับทันที

9. นักบินต้องลุยในมุมที่ยากลำบาก ก่อน ถ้ามันรอดที่นั่นได้ มันก็จะรอดที่ไหนก็ได้

10. ปรับขนาดด้วยคู่มือ : คุณจะเพิ่มโมเดล หมุนคีย์ เก็บถาวรข้อมูล อย่างไรเพื่อให้โครงการที่ 2 ไม่วุ่นวาย

คำถามที่พบบ่อย - คำตอบสั้นๆ สำหรับ ความอยากรู้เกี่ยว Edge AI คืออะไร

Edge AI กำลังรันโมเดลขนาดเล็กบนคอมพิวเตอร์จิ๋วอยู่หรือเปล่า?
ส่วนใหญ่ก็ใช่ แต่ขนาดไม่ใช่ประเด็นทั้งหมด มันยังเกี่ยวกับงบประมาณด้านเวลาแฝง คำมั่นสัญญาด้านความเป็นส่วนตัว และการประสานงานระหว่างอุปกรณ์จำนวนมากที่ทำงานในระดับท้องถิ่นแต่กำลังเรียนรู้จากทั่วโลก [1]

ฉันสามารถฝึกแบบ Edge ได้ด้วยไหม?
มีการฝึก/ปรับแต่งอุปกรณ์แบบเบาๆ อยู่แล้ว แต่การฝึกแบบหนักกว่ายังคงทำงานแบบรวมศูนย์ ONNX Runtime มีเอกสารประกอบตัวเลือกการฝึกบนอุปกรณ์ หากคุณชอบผจญภัย [4]

Edge AI กับ Fog Computing ต่างกันอย่างไร?
Fog และ Edge เป็นญาติกัน ทั้งสองทำให้การประมวลผลเข้าใกล้แหล่งข้อมูลมากขึ้น บางครั้งผ่านเกตเวย์ที่อยู่ใกล้เคียง สำหรับคำจำกัดความอย่างเป็นทางการและบริบท โปรดดู NIST [2]

Edge AI ช่วยปรับปรุงความเป็นส่วนตัวได้เสมอจริงหรือ?
มันช่วยได้จริง แต่ก็ไม่ได้วิเศษอะไร คุณยังคงต้องลดขนาด รักษาความปลอดภัยเส้นทางการอัปเดต และบันทึกข้อมูลอย่างระมัดระวัง ถือว่าความเป็นส่วนตัวเป็นนิสัย ไม่ใช่ช่องทำเครื่องหมาย

เจาะลึกที่คุณอาจอ่านได้จริง 📚

1) การเพิ่มประสิทธิภาพโมเดลที่ไม่ทำลายความแม่นยำ

การหาปริมาณสามารถลดหน่วยความจำและเพิ่มความเร็วในการปฏิบัติงานได้ แต่การปรับเทียบด้วยข้อมูลตัวแทน มิฉะนั้นแบบจำลองอาจเกิดภาพหลอนเหมือนกระรอกในบริเวณที่มีกรวยจราจร การกลั่นกรอง - ครูที่คอยแนะนำนักเรียนตัวเล็ก - มักจะรักษาความหมายไว้ [3]

2) รันไทม์การอนุมานขอบในทางปฏิบัติ

ล่ามของ LiteRT ตั้งใจให้หน่วยความจำหมุนเวียนแบบไม่มีไฟฟ้าสถิตขณะรันไทม์ ONNX Runtime เชื่อมต่อกับตัวเร่งความเร็วที่แตกต่างกันผ่านตัวให้บริการการดำเนินการ ทั้งสองไม่ใช่กระสุนเงิน ทั้งสองเป็นค้อนที่แข็งแกร่ง [3][4]

3) ความแข็งแกร่งในป่า

ความร้อน ฝุ่น พลังงานที่ไม่เสถียร และ Wi-Fi ที่ไม่เสถียร: สร้างระบบเฝ้าระวังที่รีสตาร์ทไปป์ไลน์ แคชการตัดสินใจ และปรับสมดุลเมื่อเครือข่ายกลับมา แม้จะดูไม่น่าสนใจเท่าความสนใจ แต่กลับมีความสำคัญมากกว่า

วลีที่คุณจะพูดซ้ำในการประชุม - Edge AI คืออะไร 🗣️

Edge AI ยกระดับปัญญาประดิษฐ์ให้เข้าใกล้ข้อมูลมากขึ้น เพื่อตอบสนองข้อจำกัดในทางปฏิบัติ เช่น ความหน่วง ความเป็นส่วนตัว แบนด์วิดท์ และความน่าเชื่อถือ เวทมนตร์ไม่ได้อยู่ที่ชิปหรือเฟรมเวิร์กเพียงตัวเดียว แต่อยู่ที่การเลือกอย่างชาญฉลาดว่าจะประมวลผลอะไรที่ไหน

หมายเหตุสุดท้าย - ยาวเกินไป ฉันไม่ได้อ่าน 🧵

Edge AI รันโมเดลใกล้กับข้อมูล เพื่อให้ผลิตภัณฑ์ทำงานได้อย่างรวดเร็ว เป็นส่วนตัว และเสถียร คุณจะผสานการอนุมานภายในเข้ากับการควบคุมดูแลระบบคลาวด์เพื่อผลลัพธ์ที่ดีที่สุด เลือกรันไทม์ที่ตรงกับอุปกรณ์ของคุณ พึ่งพาตัวเร่งความเร็วเมื่อทำได้ จัดการโมเดลให้เป็นระเบียบด้วยการบีบอัดข้อมูล และออกแบบการดำเนินงานกลุ่มผลิตภัณฑ์ให้เหมือนกับว่างานของคุณขึ้นอยู่กับมัน เพราะบางทีมันอาจจะเกิดขึ้นก็ได้ ถ้ามีคนถามว่า Edge AI คืออะไร ให้ตอบว่า: การตัดสินใจอย่างชาญฉลาด ทำภายในระบบ และตรงเวลา จากนั้นยิ้มและเปลี่ยนเรื่องไปที่เรื่องแบตเตอรี่ 🔋🙂

เอกสารอ้างอิง

1. IBM - Edge AI คืออะไร (คำจำกัดความ ประโยชน์)
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: แบบจำลองแนวคิดการคำนวณแบบหมอก (บริบทอย่างเป็นทางการสำหรับหมอก/ขอบ)
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (เดิมชื่อ TensorFlow Lite) (รันไทม์ การวัดปริมาณ การไมเกรชัน)
   https://ai.google.dev/edge/litert

4. ONNX Runtime - การฝึกอบรมบนอุปกรณ์ (รันไทม์แบบพกพา + การฝึกอบรมบนอุปกรณ์เอดจ์)
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. การวิจัยการเรียนรู้ของเครื่องจักรของ Apple - การใช้งาน Transformers บน Apple Neural Engine (หมายเหตุประสิทธิภาพ ANE)
   https://machinelearning.apple.com/research/neural-engine-transformers

ค้นหา AI รุ่นล่าสุดได้ที่ร้านค้าผู้ช่วย AI อย่างเป็นทางการ

เกี่ยวกับเรา