تأمین امنیت هوش مصنوعی

هوش مصنوعی (AI) وعده‌های بسیار زیادی برای بهبود دفاع سایبری و آسان‌تر کردن زندگی متخصصان امنیتی دارد. این تکنولوژی می‌تواند به تیم‌ها کمک کند تا از خستگی ناشی از هشدارها عبور کنند، الگوها را سریع‌تر شناسایی کنند و سطحی از مقیاس را فراهم کنند که تحلیل‌گران انسانی به تنهایی قادر به دستیابی به آن نیستند. اما تحقق این پتانسیل بستگی به تأمین امنیت سیستم‌هایی دارد که این امکان را فراهم می‌آورند.

وقتی یک سازمان شروع به استفاده از هوش مصنوعی در بخش امنیت می‌کند، ممکن است بدون اینکه متوجه باشد، سطح خطرات و حملات احتمالی را افزایش دهد. به همین دلیل، وجود قوانین مشخص، کنترل‌های هویتی قوی و شفافیت در نحوه تصمیم‌گیری هوش مصنوعی بسیار ضروری است. در غیر این صورت، حتی بهترین و حرفه‌ای‌ترین پیاده‌سازی‌ها هم می‌توانند قبل از کاهش تهدیدها، خودشان باعث ایجاد ریسک‌های جدید شوند.

برای اینکه از هوش مصنوعی به‌صورت امن و مطمئن استفاده کنیم، باید امنیت هوش مصنوعی را درست مانند سایر سیستم‌های مهم جدی بگیریم. این یعنی باید مطمئن باشیم داده‌هایی که با آن یاد می‌گیرد قابل اعتماد هستند، رفتار آن قابل پیگیری و مسئولانه است و نتایج تولید شده همیشه تحت نظارت قرار می‌گیرند.

وقتی امنیت هوش مصنوعی به شکل صحیح رعایت شود، هوش مصنوعی به‌جای اینکه جای انسان را بگیرد، توانایی‌های او را تقویت می‌کند. این کار به متخصصان کمک می‌کند سریع‌تر واکنش نشان دهند، هوشمندانه‌تر تصمیم بگیرند و دفاع مؤثرتری مقابل تهدیدها داشته باشند.

در ابتدا تعریف هوش مصنوعی عاملی را توضیح می دهیم ,هوش مصنوعی عاملی (AI Agent) یعنی سیستمی که فقط پاسخ نمی‌دهد؛ بلکه خودش هدف تعیین می‌کند، برنامه‌ریزی می‌کند، تصمیم می‌گیرد و عمل انجام می‌دهد. مثل:

• یک ربات انبار که خودش مسیر بهینه را انتخاب می‌کند

• یک عامل نرم‌افزاری که سفارش‌ها را مدیریت می‌کند

• یک هوش مصنوعی که کارهای آنلاین را خودکار انجام می‌دهد

چون این سیستم‌ها مستقل تصمیم می‌گیرند و ممکن است:

• اشتباه کنند

• داده غلط استفاده کنند

• رفتار غیرمنتظره نشان دهند

برای اینکه کاربران با خیال راحت از آن‌ها استفاده کنند، باید مشخص باشد که این سیستم‌ها:

• قابل پیش‌بینی هستند

• قابل توضیح هستند (چرا این تصمیم را گرفتی؟)

• امن و قابل کنترل هستند

• حریم خصوصی را رعایت می‌کنند

• قوانین را رعایت می‌کنند

• قابل اعتماد و سازگار هستند

حالا هر مدل هوش مصنوعی، هر اسکریپت و هر عامل خودکار که در یک محیط واقعی کار می‌کند، در واقع یک «هویت جدید» به حساب می‌آید—هویتی که می‌تواند به اطلاعات دسترسی داشته باشد، دستور بدهد و روی نتیجه‌های مهم اثر بگذارد.
اگر این هویت‌ها درست مدیریت نشوند، ابزارهایی که قرار است امنیت را بیشتر کنند، ممکن است آرام‌آرام خودشان به یک خطر تبدیل شوند.

ظهور سیستم‌های هوش مصنوعی عاملی این موضوع را به ویژه مهم می‌سازد. این سیستم‌ها تنها تحلیل نمی‌کنند؛ بلکه ممکن است بدون مداخله انسانی عمل کنند. آن‌ها هشدارها را مرتب‌سازی می‌کنند، زمینه را غنی‌سازی می‌کنند یا با اختیارات واگذار شده از سوی اپراتورهای انسانی، کتابچه‌های پاسخ را فعال می‌کنند. هر عمل در واقع یک تراکنش از اعتماد است. این اعتماد باید به هویت متصل شود، از طریق سیاست‌ها احراز هویت گردد و به صورت کامل قابل حسابرسی باشد.

۱. اعتبارنامه‌های محدود و حداقل دسترسی: اطمینان از اینکه هر مدل یا عامل تنها به داده‌ها و عملکردهایی که برای وظیفه‌اش لازم است، دسترسی داشته باشد.

۲. احراز هویت قوی و چرخش کلید: جلوگیری از جعل هویت یا نشت اعتبارنامه‌ها.

۳. منشأ فعالیت و ثبت لاگ‌های حسابرسی: به‌طوری که هر اقدام آغاز شده توسط هوش مصنوعی قابل پیگیری، تأیید و در صورت لزوم معکوس باشد.

۴. بخش‌بندی و ایزولاسیون: باید جلوی این را بگیریم که عامل‌های هوش مصنوعی به بخش‌های همدیگه دسترسی داشته باشند؛ چون اگر یکی از آن‌ها خراب یا هک شود، نتواند بقیه را هم دچار مشکل کند.

در عمل باید با هر عامل هوش مصنوعی مثل یک هویت یا کاربر واقعی در سیستم برخورد کنیم. یعنی برای هر عامل:

• یک مسئول مشخص وجود داشته باشد،

• قوانین و چرخه عمر آن مشخص باشد،

• و محدوده کارهایی که اجازه دارد انجام دهد واضح و قابل نظارت باشد.

تیم‌های امنیتی هم باید همیشه بررسی کنند که این عامل‌ها واقعاً چه کارهایی انجام می‌دهند؛ نه فقط اینکه در ابتدا برای چه کاری ساخته شده‌اند. چون توانایی‌های آن‌ها ممکن است خیلی سریع تغییر کند.

وقتی هویت این عامل‌ها درست تعریف و مدیریت شود، می‌توان راحت‌تر امنیت کل سیستم را حفظ کرد.

امنیت هوش مصنوعی از اینجا شروع می‌شود که همان سیستم‌هایی را که باعث کار کردن آن هستند، درست محافظت کنیم—مثل خودِ مدل‌ها، داده‌هایی که واردشان می‌شود، و بخش‌هایی که به برنامه‌های دیگر وصل شده‌اند. همان‌طور که برای شبکه‌ها و دستگاه‌ها لایه‌لایه امنیت می‌گذاریم، سیستم‌های هوش مصنوعی هم باید مثل یک زیرساخت مهم و حیاتی دیده شوند و همیشه با چند سطح حفاظت از آن‌ها مراقبت شود.

طرح SANS Secure AI یک راهنمای مشخص برای محافظت از هوش مصنوعی ارائه می‌دهد. این طرح با استفاده از دستورالعمل‌های امنیتی مهم SANS برای هوش مصنوعی ساخته شده و شش بخش کنترل‌کننده یا حوزه مهم را معرفی می‌کند که هرکدام قابل اجرا و عملی هستند، یعنی می‌توان مستقیماً اقدامات امنیتی را بر اساس آن‌ها انجام داد.

به عبارت ساده‌تر: این طرح، یک مسیر روشن و عملی برای امن کردن سیستم‌های هوش مصنوعی مشخص می‌کند و کارها را به شش حوزه تقسیم کرده تا تیم‌ها راحت‌تر بتوانند آن را اجرا کنند.

کنترل‌های دسترسی: اعمال اصل حداقل دسترسی و احراز هویت قوی بر هر مدل، مجموعه داده، و API. ورود و بررسی دسترسی به‌صورت پیوسته برای جلوگیری از استفاده غیرمجاز.

کنترل‌های داده: اعتبارسنجی، پاک‌سازی، و طبقه‌بندی تمام داده‌های مورد استفاده برای آموزش، افزوده‌سازی یا استنتاج. ذخیره‌سازی امن و ردیابی شجره‌نامه خطر مسمومیت مدل یا نشت داده را کاهش می‌دهد.

استراتژی‌های استقرار: قبل از اینکه سیستم هوش مصنوعی وارد محیط واقعی شود، آن را در محیط‌های آزمایشی امن (sandbox)، با کنترل مراحل توسعه (مثل CI/CD gating) و با شبیه‌سازی حمله (red-teaming) تست کنید. استقرار سیستم را مثل یک رویداد کاملاً کنترل‌شده و قابل بررسی در نظر بگیرید، نه یک آزمایش شانسی

امنیت استنتاج: برای محافظت از مدل‌ها، باید ورودی‌ها و خروجی‌ها را بررسی کنیم، محدوده کار مدل را مشخص کنیم و برای هر عملی که می‌تواند تأثیر زیادی داشته باشد، مسیرهای کنترل و تأیید ویژه‌ای داشته باشیم.

پایش: مشاهده مستمر رفتار و خروجی مدل برای تشخیص انحراف، ناهنجاری‌ها، و نشانه‌های سازش. تله‌متری مؤثر به مدافعان اجازه می‌دهد تا قبل از گسترش، دستکاری را شناسایی کنند.

امنیت مدل: مدل‌ها را در طول عمرشان نسخه‌بندی کنید، امضا و بررسی کنید تا مطمئن شوید واقعی هستند و کسی آن‌ها را بدون اجازه تغییر یا دوباره آموزش نداده است.

این کنترل‌ها با استانداردهای امنیتی شناخته‌شده مثل NIST و OWASP برای هوش مصنوعی همخوانی دارند و مهم‌ترین نقاط ضعف سیستم‌های هوش مصنوعی، مانند تزریق درخواست، افزونه‌های ناامن، آسیب به مدل و افشای داده‌ها را پوشش می‌دهند. با استفاده از این راهکارها در شش حوزه اصلی، می‌توان توصیه‌های امنیتی را به اقدامات عملی تبدیل کرد. این کار به تیم‌ها کمک می‌کند بدانند چه زمانی می‌توان به سیستم‌های خودکار اعتماد کرد و چه زمانی باید دخالت انسان‌ها وجود داشته باشد، تا استفاده از هوش مصنوعی امن و مسئولانه باشد.

سیستم‌های هوش مصنوعی قادرند به متخصصان انسانی مانند یک کارآموز که هرگز نمی‌خوابد، کمک کنند. با این حال، برای تیم‌های امنیتی بسیار مهم است که بین آنچه که باید خودکارسازی شود و آنچه که باید تقویت شود، تمایز قائل شوند. برخی از وظایف از اتوماسیون کامل بهره‌مند می‌شوند، به ویژه وظایفی که قابل تکرار، قابل اندازه‌گیری و در صورت بروز خطا کم خطر هستند. با این حال، برخی دیگر نیاز به نظارت مستقیم انسان دارند زیرا زمینه، شهود یا اخلاق بیش از سرعت اهمیت دارند.

هوش مصنوعی نمی‌تواند به تنهایی تصمیم بگیرد که یک حادثه امنیتی چقدر جدی است، چه کسی مسئول آن است و چگونه باید به آن پاسخ داد. برای این نوع تصمیم‌ها نیاز است که شرایط و زمینه کامل و پیچیده را انسان درک کند، چیزی که هوش مصنوعی به‌طور کامل قادر به درک آن نیست.

یافتن این تعادل نیازمند بلوغ در طراحی فرآیند است. تیم‌های امنیتی باید گردش‌های کاری را بر اساس تحمل خطا و هزینه خرابی اتوماسیون دسته‌بندی کنند. هر جا که خطر مثبت کاذب یا نکات ظریف از دست رفته زیاد است، انسان را در حلقه نگه دارید. هر جا که دقت را بتوان به صورت عینی اندازه‌گیری کرد، اجازه دهید هوش مصنوعی کار را تسریع کند.

برای اینکه بدانیم کجا باید از هوش مصنوعی استفاده کنیم و کجا از انسان، باید فرآیندها را درست طراحی کنیم. تیم امنیتی باید کارها را بر اساس میزان اشتباه‌پذیری و هزینه‌ای که یک خطا ایجاد می‌کند دسته‌بندی کند.
اگر یک کار احتمال خطای زیاد یا نکات ظریف زیادی دارد، باید انسان در جریان باشد.
اما اگر دقت کار را می‌توان واضح و دقیق اندازه‌گیری کرد، می‌توان اجازه داد هوش مصنوعی آن کار را سریع‌تر انجام دهد.