قابلیت کاربردی Ask Photos در گوگل فوتوز چگونه کار می‌کند؟

گوگل در مراسم I/O از قابلیت جدیدی به نام Ask Photos برای سرویس «گوگل فوتوز» رونمایی کرد که از مدل هوش مصنوع جمنای استفاده می‌کند. این قابلیت به کاربران امکان می‌دهد تا با سؤال‌کردن به‌دنبال عکس‌های خود بگردند. به‌عنوان مثال، می‌توان سؤالاتی مانند «بهترین عکس را از هر پارکی که بازدید کرده‌ام، به من نشان بده» یا «رنگ استفاده‌شده در تم تولد دوستم چه بود؟» پرسید.

جمنای به‌عنوان قلب تپنده‌ی Ask Photos، پس از فهمیدن خواسته‌ی کاربر، با بهره‌گیری از سیستم بازیابی مبتنی‌بر وکتورهای گرافیکی شروع به جست‌و‌جو در بین تصاویر می‌کند. این سیستم درمقایسه‌با جست‌و‌جوی سنتی با کلمه‌ی کلیدی، درک بهتری از مفاهیم موجود در زبان طبیعی مانند «فردی که در حال لبخند زدن و دوچرخه‌سواری است» دارد.

پس از جست‌وجو، مدل دیگری به‌سراغ عکس‌ها و ویدئوهای پیداشده می‌رود و با تکیه‌ بر حافظه‌ی بلندمدت و توانایی‌های چندرسانه‌ای جمنای، به‌دنبال مرتبط‌ترین اطلاعات می‌گردد. این اطلاعات فراتر از محتوای تصویری هستند و شامل متن، تاریخ، موقعیت مکانی و سایر داده‌های جانبی عکس‌ها می‌شوند. در‌نهایت، مدل هوش مصنوعی پاسخی جامع و مرتبط را بر‌اساس عکس‌ها و ویدئوهای بررسی‌شده، برای کاربر ایجاد می‌کند.

کاربر می‌تواند با اصلاح اشتباهات هوش مصنوعی، عملکرد آن را بهبود ببخشد تا اشتباهات در مکالمات بعدی تکرار نشوند. بدین‌ترتیب، Ask Photos فراتر از ابزار جست‌وجو عمل می‌کند و می‌تواند به‌عنوان دستیار هوشمند استفاده شود. کاربران می‌توانند در هر زمان، جزئیات ثبت‌شده را مشاهده و مدیریت کنند.

Ask Photos هنوز در مرحله‌ی آزمایشی است و در ماه‌های آینده به‌صورت عمومی ارائه خواهد شد.