با الهام از هفت خوان رستم؛
ساخت پلت فرم ایرانی تست تهاجمات سایبری به AI
به گزارش ابزار اپل، یک تیم استارتاپی جوان موفق به ساخت پلتفرمی برای تمرین امنیت سایبری و تست نفوذ به مدلهای زبانی بزرگ (LLM) شدند.
به گزارش ابزار اپل به نقل از مهر، همزمان با رشد فراگیر فناوری هوش مصنوعی در کشور و نفوذ آن به زیرساخت های حیاتی، بحث امنیت و تاب آوری مدلهای زبانی به چالشی راهبردی برای سازمان ها تبدیل گشته است. در این راستا، جمعی از دانش آموزان نخبه و سمپادی کشور با طراحی پلت فرم «هفت خوان»، راهکاری بومی و مبتنی بر بازی سازی برای ارزیابی و تقویت امنیت مدلهای زبانی بزرگ (LLM) ارایه کرده اند که تلاش دارد با پر کردن شکاف های موجود، فضایی امن و تعاملی را برای تست نفوذ و آموزش تخصصی فراهم آورد.
«هفت خوان»؛ معماری نوین برای کالبدشکافی امنیت هوش مصنوعی
طاها الهی بخش دانش پژوه المپیاد هوش مصنوعی و عضو تیم استارتاپی «هفت خوان» در گفتگو با گزارشگر ما درباره ی ماهیت این پلت فرم توضیح داد و اظهار داشت: تیم ما متشکل از دانش آموزان پایه یازدهم رشته نرم افزار در دبیرستان علامه حلی است که پروژه ای را در عرصه امنیت مدلهای زبانی تعریف کرده اند. پلت فرم آموزشی «هفت خوان»، بستری امن برای تمرین امنیت سایبری و تست نفوذ به مدلهای زبانی بزرگ است که کاربران را در قالب یک مسیر داستانی هفت مرحله ای، با الهام از هفت خوان رستم، با چالش های امنیتی این حوزه آشنا می کند.
وی اضافه کرد: برعکس نمونه های جهانی که عمدتا بدون روایت پردازی فرهنگی هستند، ما در این پلت فرم با ادغام داستان سرایی الهام گرفته از شاهنامه و مکانیزم های پیشرفته بازی سازی، یادگیری امنیت هوش مصنوعی را از فرآیندی تئوریک و خشک به یک ماجراجویی تعاملی و ماندگار مبدل کرده ایم.
شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها
این عضو تیم استارتاپی مسیر هفت خوان در این پلت فرم را تشریح نمود و اظهار داشت: خوان اول تزریق دستور، خوان دوم نقض محدودیت ها، خوان سوم هالوسینشن، خوان چهارم سواستفاده از قابلیت های ایجتیکال، خوان پنجم سواستفاده از مدلهای چندرسانه ای، خوان ششم تولید محتوای مخرب و خوان هفتم افشای اطلاعات حساس است و در هر محرله شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها صورت می گیرد. در هر یک از هفت خوان کاربر با شکستن قفل هر مرحله، ضمن کسب مهارت، به غنی سازی پایگاه داده حملات کمک می نماید.
پدافند سایبری در عصر مدلهای زبانی؛ گذار از نظریه به سناریوهای عملیاتی
الهی بخش در تشریح ضرورت تشکیل این پلت فرم عنوان کرد: طی سالهای اخیر، تمرکز اصلی در ایران معطوف به توسعه خدمات هوش مصنوعی بوده است؛ اما حال موضوع امنیت این سرویس ها و ممانعت از تبدیل شدن آنها به ریسک برای سازمان ها، خصوصاً در عرصه محتوای تولیدی، اهمیت یافته است. خیلی از مدلهای تازه تیون شده (Fine-tuned) در ایران، بدون گذراندن آزمون های امنیتی کافی و بدون وجود «گاردریل های» مناسب، در معرض خطرات جدی هستند؛ خطراتی که می تواند از افشای اطلاعات حساس بانکی تا تولید محتوای مخرب را در بر بگیرد.
به گفته وی، مشکل اصلی در این عرصه، کمبود داده های معتبر و بومی برای تنظیم مدلهای حفاظتی است. پلت فرم «هفت خوان» تلاش می کند از یک سو جامعه ای از آزمون گران امنیتی را در محیطی شبیه سازی شده گردهم آورد و از طرفی، بستری برای سازمان ها فراهم آورد تا مدلهای خودرا تحت ارزیابی های دقیق امنیتی قرار دهند.
زیست بوم تست نفوذ؛ راهکاری برای پیشرفت تاب آوری هوشمند
این عضو تیم استارتاپی ضمن اشاره به گروههای هدف این محصول اظهار داشت: این پلت فرم برای دو گروه اصلی طراحی شده است؛ نخست، جوانان ۱۸ تا ۲۴ سال شامل دانشجویان و علاقمندان به حوزه امنیت سایبری که به دنبال یادگیری عملی و مهارت محور هستند. گروه دوم نیز سازمان ها و تیم های فنی، شامل شرکتهای دانش بنیان و نهادهای دولتی هستند که با چالش کمبود داده های پویا و بومی برای تست امنیت مدلهای خود مواجه اند.
الهی بخش درباره ی قابلیت های فنی و خاصیت های کلیدی این محصول اضافه کرد: «هفت خوان» بطور ویژه به نیازهای خاص در ایران توجه دارد و سناریوهایی مانند حملات به مدلهای ایجنتیکال بانکی، سوءاستفاده از مدلهای تولید تصویر، تشخیص شایعه پراکنی و رویارویی با «هالوسینیشن» (توهم مدل) در پاسخ های حساس را شبیه سازی می کند.
ویژگی های کلیدی پلت فرم هفت خوان
وی خاصیت های کلیدی پلت فرم هفت خوان را حفظ حریم خصوصی و طراحی محیطی ایمن برای تمامی کاربران و سازمان ها، تکمیل پایگاه داده حملات و روشهای نفوذ بومی، شبیه سازی ۷ مرحله مبتنی بر آسیب پذیری های واقعی در مدلهای زبانی، گیمیفیکیشن (آموزش تعاملی با استفاده از سیستم لیدربورد و چالش های گروهی) و محیطی امن برای تست حملات ایجنتیکال، بانکی و تولید محتوا برشمرد و اظهار داشت: هم اکنون این پلت فرم در مرحله آزمایشی قرار دارد و برنامه ریزی های ضروری جهت توسعه همکاریهای سازمانی و انعقاد قراردادهای کسب و کار در حال انجام می باشد.
به اجمال، این عضو تیم استارتاپی مسیر هفت خوان در این پلتفرم را تشریح نمود و عنوان کرد: خوان اول تزریق دستور، خوان دوم نقض محدودیت ها، خوان سوم هالوسینشن، خوان چهارم سواستفاده از قابلیت های ایجتیکال، خوان پنجم سواستفاده از مدل های چندرسانه ای، خوان ششم تولید محتوای مخرب و خوان هفتم افشای اطلاعات حساس است و در هر محرله شبیه سازی یک کلاس ضعف واقعی در LLM ها صورت می گیرد. در هر یک از هفت خوان کاربر با شکستن قفل هر مرحله، ضمن کسب مهارت، به غنی سازی پایگاه داده حملات کمک می نماید. پلتفرم هفت خوان تلاش می کند از یک سو جامعه ای از آزمون گران امنیتی را در محیطی شبیه سازی شده گردهم آورد و از طرفی، بستری برای سازمان ها فراهم آورد تا مدل های خودرا تحت ارزیابی های دقیق امنیتی قرار دهند.
منبع: ابزار اپل
این مطلب را می پسندید؟
(0)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب