کاربر، طرحی اولیه از آنچه را قصد دارد جستوجو کند، روی کاغذ میکشد و موتور جستوجو عکسهای مشابه آن نقاشی را برایش پیدا میکند. «James Hays»، محقق علوم کامپیوتر انستیتوی فناوری جورجیا معتقد است که این حرکت شایان توجهی به سوی ارائه موتور جستوجویی است که بر اساس نقاشیها کار میکند.
طی سالهای اخیر استفاده از هوش مصنوعی در شناسایی عکسها، گسترش زیادی پیدا کرده است، اما کار برای شناسایی نقاشی دشوارتر است. اغلب ما وقتی از سوژهای نقاشی میکشیم، بسیاری از ویژگیهای سوژه را در نقاشی نمیآوریم و آن را بر اساس سلیقه و توانایی خود سادهتر رسم میکنیم یا برعکس، بسیاری از خصوصیاتی را که وجود ندارد، به آن اضافه میکنیم. بر همین اساس کار هوش مصنوعی دشوارتر میشود.
مطلب پیشنهادی
Hays و گروهش از 664 نفر درخواست کردند نقاشیهایی بکشند. یک عکس به طور تصادفی از میان هزاران عکس انتخاب شد و به هر نفر به مدت دو ثانیه نشان داده و از آنها خواسته میشد عکسی را که دیدهاند از حفظ بکشد. هر عکس در یکی از 125 دستهبندی اشیای قابل شناسایی نظیر موز، شمشیر، سوسک یا موشک قرار داشت. در کل، نزدیک به 4000 ساعت نقاشی کشیده شد. بهمنظور تطابق نقاشیها با عکسهای متناظر، از دو شبکه عصبی مصنوعی استفاده شد. یکی از این شبکهها نقاشیها را تجزیهوتحلیل و دیگری عکسها را ارزیابی میکرد و در نهایت مشخص میشد که کدام نقاشی به کدام عکس شبیهتر است.
این نرمافزار موفق شد در 37 درصد موارد، به طور صحیح نقاشی منطبق بر عکس متناظرش را شناسایی کند. هرچند ممکن است این نتیجه ناامیدکننده به نظر برسد، اما باید توجه کرد نرمافزار دقیقاً عکسی را که نقاشی بر اساس آن کشیده شده، یافته است؛ کاری که انسان حدود 54 درصد موارد بهدرستی انجام میدهد. نتایج چنین پروژهای در دنیای واقعی کاربردهای زیادی خواهد داشت. برای مثال، در آینده پلیس میتواند با استفاده از طراحیهای کارشناسان جرمشناسی، در پایگاه داده خود تبهکاران را شناسایی کند.