מומחי מיקרוסופט בחנו את האבטחה של יותר מ-100 ממוצרי החברה באמצעות AI גנרטיבי והגיעו למסקנה: המודלים מחזקים סיכונים קיימים ויוצרים סיכונים חדשים. המחקר מתואר ב סָעִיף שיעורים מ-100 מוצרי AI גנרטיביים, שהוכנו על ידי 26 מחברים, כולל ה-CTO של Azure Mark Russinovich.
המחברים מדגישים שאי אפשר לאבטח מערכות בינה מלאכותיות לחלוטין, אך אמצעים נוספים כמו עקרונות אבטחה לפי ברירת מחדל והגנות שכבות עלולים להקשות על התקפות. אחת המסקנות העיקריות היא שבטיחות הדגמים דורשת עבודה מתמדת.
המאמר מתאר שמונה שיעורי מפתח. הראשון הוא שחשוב להבין איך המודל מתפקד והיכן הוא מיושם. זה חשוב במיוחד מכיוון שלדגמים שונים יש סיכונים שונים בהתאם לאזור השימוש. לדוגמה, התקפה על AI שעוזר לכתוב טקסטים היא פחות מסוכנת מהתקפה על מודל שעובד עם נתונים רפואיים.
הלקח השני: מתקפה מוצלחת לא תמיד דורשת חישובים מורכבים. שיטות פשוטות יותר, כגון מניפולציה בממשק או מידע חזותי מטעה, הן לרוב יעילות יותר.
השיעור השלישי מציין את ההבדל בין בנצ'מרקינג לצוות אדום. הראשון מודד סיכונים ידועים, השני מזהה איומים חדשים. זה חשוב ליצירת אסטרטגיית הגנה יעילה.
השיעור הרביעי קשור לאוטומציה. מיקרוסופט פיתחה כלי קוד פתוח בשם PyRIT (Python Risk Identification Toolkit) שעוזר לזהות סיכונים מהר יותר. עם זאת, ניתן להשתמש בו גם כדי לתקוף בינה מלאכותית.
השיעור החמישי מזכיר לנו שאוטומציה לא מחליפה את הגורם האנושי. כישורי מומחים, מודעות תרבותית ואינטליגנציה רגשית משחקים תפקיד קריטי. כמו כן, יש לשקול את ההשפעה האפשרית על הרווחה הפסיכולוגית של חברי הצוות האדום, שעלולים להיחשף לכמות גדולה של תוכן מטריד.
שיעור שישי מדגיש את הקושי למדוד את הנזק שנגרם על ידי AI. שלא כמו פגיעויות תוכנה, סיכונים כאלה הם לרוב אמביוולנטיים וסובייקטיביים. דוגמה לכך תהיה סטריאוטיפים מגדריים בתמונות שנוצרו על סמך שאילתות טקסט מסוימות.
השיעור השביעי קובע כי LLMs (מודלים שפה) מחזקים סיכונים קיימים ויוצרים סיכונים חדשים. המחברים מציינים כי מודלים של שפה, בהינתן נתוני קלט לא מאובטחים, יכולים ליצור תוכן שרירותי, כולל דליפות של מידע סודי.
לבסוף, השיעור האחרון הוא תזכורת לכך שהגנה על בינה מלאכותית אף פעם לא נעשית.
ממצאים אלו חשובים במיוחד על רקע ההטמעה הפעילה של AI במוצרי מיקרוסופט. סיכונים חדשים ידרשו מעורבות של מומחים נוספים כדי לחסל אותם.
