حملات تک‌پیکسلی به هوش مصنوعی

این گروه در این تحقیق دو هدف را دنبال می‌کردند. هدف نخست، فریب یک شبکه عصبی عمیق (DNN) و هدف دوم، خودکارسازی چنین حمله‌ای تا سر حد ممکن بود. الگوریتم مورد استفاده در این حمله، مناسب‌ترین پیکسل‌ها برای این کار را می‌یابد. این تحقیق نشان داد که می‌توان با کمک این الگوریتم مهاجم و یافتن تنها یک پیکسل در عکسی 1024 پیکسلی، در 74 درصد موارد هوش مصنوعی را با موفقیت فریب داد. اگر در همین عکس از پنج پیکسل استفاده شود، دقت به حدود 87 درصد می‌رسد. با افزایش ابعاد عکس به طور مثال تا 280 هزار پیکسل، فقط به 273 پیکسل نیاز است که در این مورد اگرچه عکس ابعاد به‌نسبت کمی دارد، اما این میزان تغییر در پیکسل‌ها توجه انسان را جلب نخواهد کرد. 
این حمله تک‌پیکسلی روی حدود سه‌ چهارم از تصاویری که به طور معمول در فرآیند یادگیری استفاده می‌شوند، به‌طور موفقیت‌آمیزی عمل می‌کند. نکته جالب در این روش این است که نیازی به دانستن ساختار داخلی شبکه عصبی نیست. حمله اجرا شده مبتنی بر روشی است موسوم به «تکامل تفاضلی» یا به ‌اختصار DE‌ که در زمینه بهینه‌سازی استفاده می‌شود و در اینجا به‌منظور یافتن بهترین هدف حمله به کار گرفته شده است. طبیعی است هرچه تعداد پیکسل‌ها بیشتر باشد، حمله هم مؤثرتر خواهد بود. به نوشته وب‌سایت Technology Review محافظت سامانه‌های هوش مصنوعی در مقابل چنین حملاتی بسیار دشوار است، زیرا ما اطلاع چندانی از درون یک سامانه مبتنی بر شبکه‌های عصبی عمیق نداریم.