קוד פתוח / EDGE AI
EdgeIntelligence
AI שנשאר על המכשיר.
פרויקט בקוד פתוח להרצת מודלי שפה על המכשיר, עם דגש על פרטיות, שימוש ללא רשת ואילוצים של מכשירים ניידים.
01 / הקשר
מה קורה כשהחיבור לרשת הוא אילוץ?
העבודה שלי על EdgeIntelligence בוחנת איך לשלב הרצת מודלי שפה באפליקציה בלי להזדקק לפנייה לענן בכל אינטראקציה. משאבי המכשיר, עבודה ללא רשת ופרטיות הופכים כך לחלק מרכזי מהבעיה ההנדסית.
02 / אילוצים
המכשיר מכתיב את התנאים.
- הזיכרון וכוח העיבוד מוגבלים. בחירת המודל והתנהגות סביבת הריצה משפיעות על חוויית המשתמש.
- אינטגרציה למובייל צריכה להתחשב במחזור החיים של האפליקציה ובהבדלים בין מכשירים.
- הרצה ללא רשת משנה את גבולות הפרטיות, אך אינה מבטלת את הצורך באבטחת האפליקציה.
03 / המערכת
להפריד בין הממשק להרצה.
הכיוון הארכיטקטוני הוא SDK ב־Rust עם ממשק יציב לאפליקציה, ומתאמים לפרטי ההרצה של סביבות שונות. הבקשה של האפליקציה נפרדת מהאופן שבו מודל מסוים מורץ בפועל.
04 / החלטות ופשרות
האילוצים הם חלק מהתכנון.
| החלטה | למה זה חשוב | המחיר |
|---|---|---|
| הרצה מקומית | עבודה ללא רשת וגבולות מידע שונים. | משאבי המכשיר ואיכות המודל מציבים מגבלות ברורות. |
| הפשטת סביבת הריצה | הפרדת האינטגרציה לאפליקציה מפרטי ההרצה. | עדיין נדרשים מדידה ותיקוף להבדלים בין הפלטפורמות. |
05 / לבחון את העבודה
להתחיל מהקוד.
המאגר הוא המקום לבחון את המימוש, התיעוד והנחיות האינטגרציה העדכניות. מבחינתי, הפרויקט מחבר החלטות ארכיטקטוניות להתנסות בבנייה ובמדידה של מערכת אמיתית.
ניצור קשר
יש אתגר מורכב?
בואו נעשה בו סדר.
מעניין אותי לדבר על מנהיגות הנדסית, AI מעשי, קוד פתוח וטכנולוגיה שעושה הבדל.
מנהיגות/ייעוץ/הרצאות/שיתופי פעולה