هرآنچه باید درباره ARKit و راهبرد واقعیت افزوده اپل بدانیم

از زمان معرفی iOS 11، واقعیت افزوده (AR) نقشی برجسته در تقریبا تمام رویدادهای اپل بازی کرده است. تیم کوک، مدیرعامل اپل، بر این باور است که این فناوری به‌اندازه‌ی گوشی‌ هوشمند، انقلابی خواهد بود. اپل در کنفرانس توسعه‌دهندگان امسال (WWDC 2018) نیز بیش از همه بر واقعیت افزوده تمرکز کرده بود. اما چرا اهالی کوپرتینو چنین راهبردی در پیش گرفته‌اند؟ اغلب کاربران معتقدند که واقعیت افزوده صرف‌ نظر از بازی‌هایی چون پوکمون گو، هنوز به‌معنای واقعی کاربرد اصلی خود را نیافته است. استفاده از این فناوری در حال حاضر جالب و سرگرم‌کننده، اما غیر ضروری است. همچنین تماشای افکت‌های واقعیت افزوده در نمایشگر آیفون یا آیپد در مقایسه با هدست‌ یا عینک‌ مخصوص این فناوری، قطعا جذابیت کمتری دارد.

با نطق اصلی کنفرانس امسال توسعه‌دهندگان و نشست‌های میزبانی توسعه‌دهندگان مختلف در مرکز گردهمایی سن خوزه‌ی کالیفرنیا، هیچ شکی نیست که اپل در حال سرمایه‌گذاری سنگینی در واقعیت افزوده برای آینده است. اکنون شاید برای برخی سؤال‌های مختلفی مطرح شود؛ از جمله اینکه پلتفرم ARKit دقیقا چیست و چگونه کار می‌کند؟ اپل به‌طور مشخص چه راهبردی برای واقعیت افزوده در پیش گرفته است؟ چرا کوپرتینونشین‌ها به واقعیت افزوده تا این حد علاقه‌مند شده‌اند و چرا تصور می‌کنند در تب طلای پیش رو، پیش از بقیه به موفقیت دست پیدا خواهند کرد؟ برای پاسخ به تمام این سؤال‌ها با زومیت همراه باشید.

ARKit با ترکیب ردیابی حرکتی دستگاه، ثبت صحنه‌ی دوربین، پردازش پیشرفته‌ی صحنه و قابلیت‌های نمایشگر، امر ساخت یک تجربه‌ی واقعیت افزوده را ساده‌سازی می‌کند. شما می‌توانید با استفاده از این فناوری‌ها انواع مختلف تجربیات واقعیت افزوده را با بهره‌گیری از دوربین پشت یا جلوی یک دستگاه iOS بسازید.

اپل ابتدا ARKit را در سال ۲۰۱۷ به همراه iOS 11 منتشر کرد. توسعه‌دهندگان اپلیکیشن می‌توانند با استفاده از Xcode (محیط توسعه‌ی نرم‌افزار اپل در سیستم عامل مک) به ساخت اپلیکیشن با آن بپردازند. ARKit در اصل سه وظیفه‌ی اساسیِ ردیابی، درک صحنه و رندرینگ را در پشت پرده‌ی اپلیکیشن‌های واقعیت افزوده بر عهده دارد.

ردیابی به‌صورت مداوم بر موقعیت و جهت دستگاه در دنیای فیزیکی نظارت می‌کند و می‌تواند اشیائی نظیر پوسترها و چهره‌ها را ردیابی کند (البته برخی از این اشیاء قابل ردیابی، در ابتدای انتشار iOS 11 پشتیبانی نمی‌شدند). درک صحنه در اصل محیط را اسکن می‌کند و اطلاعات مربوط به آن را در اختیار توسعه‌دهنده، اپلیکیشن یا کاربر قرار می‌دهد. این ویژگی در نسخه‌ی اولیه سطوح افقی و برخی موارد دیگر را اسکن می‌کرد. رندرینگ بدین معنی است که ARKit بخش زیادی از جایگذاری اشیاء سه‌بعدیِ مرتبط با صحنه‌ی ثبت‌شده توسط دوربین دستگاه را بر عهده می‌گیرد. به‌عنوان مثال هنگامی که کاربر در حال استفاده از اپلیکیشن خرید لوازم خانگی است، یک میز مجازی در وسط اتاق ناهارخوری وی قرار می‌دهد. ARKit این وظایف را با ردیابی محیط به روش‌های خاص انجام می‌دهد. در ادامه ویژگی‌های پشتیبانی‌شده در نسخه‌ی اولیه ARKit را بررسی خواهیم کرد.

ARKit در پیکربندی ردیابی جهت، از حسگرهای داخلی دستگاه استفاده می‌کند تا چرخش را در سه درجه از آزادی ردیابی کند؛ اما این کار همانند چرخاندن سر در حالت ایستاده و ثابت است و تغییرات در موقعیت فیزیکی در اینجا ردیابی نمی‌شوند و در اصل تنها جهت در محیط مجازی کروی مورد ردیابی قرار می‌گیرد. ردیابی جهت رویکردی بسیار سودمند در افزودن اشیاء و مکان‌های دوردست خارج از محدوده‌ی دستگاه محسوب می‌شود.

ردیابی جهان از ردیابی جهت جالب‌تر است. این ویژگی جهت دید دوربین دستگاه و هر تغییری در موقعیت فیزیکی دستگاه را ردیابی می‌کند؛ در نتیجه برخلاف ردیابی جهت می‌تواند دریابد که آیا دستگاه دو قدم به سمت راست حرکت داده شده است یا نه و این کار را بدون هیچ‌گونه اطلاعات قبلی درباره‌ی محیط انجام می‌دهد.

علاوه بر این، ARKit از فرآیندی به نام «حسگر اینرسی بصری» استفاده می‌کند که شامل شناسایی خصوصیات فیزیکی اصلی در محیط پیرامون دستگاه می‌شود. با حرکت و تغییر جهت دستگاه در فضای فیزیکی، این خصوصیات از زوایای مختلفی ثبت می‌شود (در اینجا تحرک دستگاه لازم است و گردش آن فراهم‌کننده‌ی اطلاعات کافی نیست). تصاویری که در این فرآیند ثبت می‌شوند، به‌منظور تشخیص عمق با یکدیگر مورد استفاده قرار می‌گیرند. این کار تا حد زیادی همانند درک عمق توسط دو چشم انسان است.

نتیجه‌ی این فرآیند ساخت مدلی است که اپل آن را «نقشه‌ی جهان» می‌نامد. این نقشه می‌تواند برای موقعیت‌یابی و جهت‌یابی اشیاء، اعمال نورپردازی و سایه‌زنی روی آن‌ها و بسیاری موارد دیگر به‌ کار گرفته شود. هرچه کاربر بیشتر حرکت کند و تغییر جهت دهد، اطلاعات بیشتری ردیابی می‌شود و افزودنی‌های مجازی می‌توانند دقیق‌تر و واقع‌گرایانه‌تر شوند. هنگامی که ARKit نقشه‌ی جهان را ‌بسازد، آن را با را مختصات فضای مجازی که اشیاء می‌توانند در آن قرار بگیرند، مطابقت می‌دهد.

دستگاه به‌صورت بی‌وقفه نیازمند اطلاعات حسگر است و این فرآیند در محیط‌های پرنور که حاوی بافت (تکسچر) و خصوصیات کاملا مشخص هستند، به بهترین نحو انجام می‌شود؛ بدین مفهوم که گرفتن دوربین به سمت دیوار خالی، به انجام مناسب این فرآیند کمکی نمی‌کند. همچنین حرکات بسیار زیاد در صحنه می‌تواند فرآیند را با خطا و اشتباه مواجه کند. ARKit کیفیت نقشه‌ی جهان را در بطن دستگاه ردیابی می‌کند و به یکی از سه وضعیتی اشاره می‌کند که به توسعه‌دهندگان توصیه می‌شود به نوبت به کاربران گزارش دهند:

• در دسترس نیست: نقشه‌ی جهان هنوز ساخته نشده است.
• محدود: برخی عوامل از ساخته شدن مناسب نقشه‌ی جهان ممانعت کرده‌اند؛ در نتیجه عملکرد و دقت می‌تواند محدود باشد.
• نرمال: نقشه‌ی جهان به‌ اندازه‌ی کافی قابل اعتماد است و می‌توان انتظار شکل‌گیری مناسب واقعیت افزوده را داشت.

تشخیص سطح از نقشه‌ی جهان برای شناسایی سطوحی استفاده می‌کند که اشیاء واقعی می‌توانند روی آن قرار بگیرند. هنگامی که ARKit به همراه iOS 11 منتشر شد، تنها سطوح افقی قابل شناسایی و استفاده بودند و وجود دیگر انواع سطوح نظیر برآمدگی‌ها و خمیدگی‌ها به‌سادگی می‌توانست منجر به قرارگیری نامناسب اشیاء سه‌بعدی در منظره شود. با استفاده از این سه تکنیک ردیابی، توسعه‌دهندگان می‌توانند با لمس ARKit به‌آسانی اشیاء سه‌بعدی مدل‌سازی‌شده را روی سطحی در دید کاربر از تصویر دوربین در نمایشگر دستگاه قرار دهند.

اپل ابتدای امسال ARKit نسخه‌ی ۱.۵ را به‌همراه iOS 11.3 منتشر کرد. این به‌روزرسانی در دقت و کیفیت تجربیاتی که بدون انجام اقدام قابل توجه‌ای از سوی توسعه‌دهندگان با ARKit قابل ساخت است، بهبودهایی کلی اعمال کرد. این به‌روزرسانی همچنین وضوح تصویر دید مبتنی بر دوربین کاربر در نمایشگر را در خلال تجربیات واقعیت افزوده افزایش می‌دهد.

نسخه‌ی اولیه‌ی ARKit تنها قادر به تشخیص، ردیابی و قرار دادن اشیاء در سطوح تخت افقی بود؛ در نتیجه در نسخه‌ی ۱.۵ امکان انجام همان وظایف در سطح عمودی و تا حدی سطوح نامنظمی که به شکل کامل تخت نیستند، فراهم شد. اکنون توسعه‌دهندگان می‌توانستند اشیاء را نه فقط روی زمین، بلکه روی دیوار و حتی برآمدگی‌ها نیز قرار دهند.

نسخه‌ی 1.5 ARKit ویژگی ردیابی تصاویر ساده‌ی دوبعدی را به پلتفرم واقعیت افزوده‌ی اپل افزود؛ بدین معنی که اپلیکیشن‌های ARKit می‌توانستند اشیائی نظیر یک صفحه در کتاب، پوستر فیلم یا نقاشیِ روی دیوار را تشخیص دهند. توسعه‌دهندگان به‌آسانی می‌توانند به اپلیکیشن‌های خود امکان بدهند که هنگام تشخیص تصاویر دوبعدی توسط دستگاه، اشیاء موجود در تصویر را به محیط اضافه کنند. برای مثال، هنگامی که کاربر دوربین دستگاه را به سمت پوستر فیلم انتقام‌جویان می‌گیرد، لباس مرد آهنی در اندازه‌ی واقعی می‌تواند در محیط قرار بگیرد.

اپل در چهاردهم خرداد امسال در کنفرانس توسعه‌دهندگان با معرفی iOS 12 از برخی بهبودهای مهم و ویژگی‌های جدید برای ARKit رونمایی کرد. بسته‌ی نرم‌افزاری واقعیت افزوده‌ی اپل اکنون با این به‌روزرسانی می‌تواند از طیف گسترده‌تری از اپلیکیشن‌ها و تجربیات واقع‌گرایانه‌تر پشتیبانی کند. تغییرات تازه‌ی ARKit امکان گنجاندن متقاعدکننده‌تر اشیاء مجازی را در محیط، تجربیات واقعیت افزوده‌ی چندکاربره و باقی ماندن اشیاء در مکان یکسان در محیط را در خلال استفاده‌های مختلف فراهم می‌کند.

پیش از این، نقشه‌های جهان واقعیت افزوده در خلال استفاده‌های مختلف ذخیره نمی‌شدند و انتقال آن‌ها بین دستگاه‌ها نیز امکان‌پذیر نبود. این بدین معنی بود که اگر شیئی در مکانی مشخص از صحنه قرار می‌گرفت، اپلیکیشن در استفاده‌ی بعدی آن مکان را فراموش می‌کرد و کاربر نمی‌توانست مجددا از آنجا بازدید کند. این همچنین بدین مفهوم بود که تجربیات واقعیت افزوده، در اکثر مواقع تجربیاتی انفرادی و قابل مشاهده تنها برای یک نفر بودند.

اپل در iOS 11.3 قابلیت محلی‌سازی مجدد را معرفی کرد که به کاربران امکان می‌داد یک وضعیت را پس از بروز وقفه (مثلا بسته شدن اپلیکیشن) بازیابی کنند. اکنون در iOS 12 این ویژگی گسترش بیشتری یافته است و به‌محض آنکه نقشه‌ی جهان ساخته شود، کاربر می‌تواند در استفاده‌ای دیگر آن را بازیابی کند یا با استفاده از فریم‌ورک MultipeerConnectivity آن را با دیگر کاربران یا دستگاه‌ها به اشتراک بگذارد. اشتراک‌گذاری نقشه‌ها می‌تواند از طریق ایردراپ، بلوتوث، وای‌فای یا برخی از دیگر شیوه‌ها انجام شود. ARKit تشخیص می‌دهد دستگاه در همان صحنه‌ای است که در استفاده‌ی قبلی یا در دستگاهی دیگر بود و می‌تواند موقعیتش را در آن نقشه‌ی قبلی جهان تعیین کند.

اپل به‌منظور بررسی و شبیه‌سازی این ویژگی، یک بازی واقعیت افزوده به نام سوئیفت‌شات برای توسعه‌دهندگان نمایش داد که امکان تعامل چندین کاربر را با اشیاء سه‌بعدی یکسان در یک لحظه در دستگاه‌های مختلف فراهم می‌کند. اما گیمینگ چندکاربره تنها مورد استفاده‌ی احتمالی این ویژگی نیست. از بین موارد دیگر، ذخیره‌سازی و بارگذاری نقشه‌ها می‌تواند به توسعه‌دهندگان اپلیکیشن امکان بدهد تا در مکانی مشخص، اشیائی پایدار همچون مجسمه‌ای مجازی در میدان شهر ایجاد کنند که تمام کاربران دستگاه‌های iOS در بازدید از آنجا، آن شیء را در جایی ثابت ببینند. کاربران حتی می‌توانند اشیاء اختصاصی خود را برای جستجو توسط افراد دیگر به جهان اضافه کنند.

با این حال، همچنان محدودیت‌هایی وجود دارد. بازگشت به صحنه‌ای در دنیای واقعی که از زمان آخرین بازدید به طرز قابل توجه‌ای تغییر کرده است، به شکل واضح می‌تواند منجر به از کارافتادن محلی‌سازی مجدد شود؛ اما اگر تغییرات حتی شامل موارد جزئی نظیر تغییرات شبانه‌روز باشد، باز هم بازیابی اشیاء با مشکل مواجه خواهد شد. محلی‌سازی مجدد، ویژگی تازه‌ی قابل توجهی در ARKit محسوب می‌شود؛ اما تحقق کامل ظرفیت آن هنوز نیازمند به‌روزرسانی‌های بیشتر است.

اپل در iOS 12 پیکربندی جدیدی به نام ردیابی تصویر واقعیت افزوده (ARImageTrackingConfiguration) به ARKit افزود و امکان ساخت اپلیکیشن‌هایی را فراهم آورد که به‌جای بهره‌گیری از رویکرد ردیابی کامل جهان، روی تصاویر دو‌بعدی تمرکز می‌کنند. این ویژگی بیشتر مناسب ردیابی تعداد زیادی تصویر در یک لحظه است؛ در نتیجه شکل‌گیری تجربیاتی برتر را در اپلیکیشن‌های مشخصی که به‌کلی حول محور تشخیص تصاویر دوبعدی ساخته شده‌اند، امکان‌پذیر می‌کند.

دستگاه نقاط جالب توجه را در تصاویر دوبعدی قابل مشاهده در صحنه ردیابی می‌کند؛ سپس آنچه اپل «مرحله‌ی ردیابی متراکم» می‌نامد، اجرا می‌کند که در آن، تصویری به‌ حالت مستطیلی در صحنه شکل داده می‌شود؛ در نتیجه آن تصویر می‌تواند با تصویر مرجعی که اپلیکیشن از قبل آن را می‌شناسد، مقایسه شود. یک تصویر خطا برای درن ظر گرفتن تفاوت‌ها ایجاد و سپس موقعیت و جهت آن تا زمانی که خطا به‌قدر کافی به‌ حداقل برسد، تنظیم می‌شود.

ARKit 2 این قابلیت را به اشیاء سه‌بعدی گسترش داده است. در اصل، شیوه‌ای که اشیاء سه‌بعدی دنیای واقعی با آن شناسایی می‌شوند، مشابه همان روش ساخت نقشه‌های جهان است. توسعه‌دهندگان با ردیابی تصویر دوبعدی باید یک شیء مرجع را به اپلیکیشن اضافه کنند تا شیء دنیای واقعی با آن مقایسه شود. اما اپل اکنون به‌منظور انجام کامل این کار، ابزار تازه‌ای برای توسعه‌دهندگان ارائه می‌دهد و به آن‌ها توصیه می‌کند اشیاء سختی که از بافت غنی بهره می‌برند و نه شفاف و نه بازتاب‌دهنده هستند، ردیابی کنند.

اپل ردیابی شیء را این گونه توصیف می‌کند:

اپلیکیشن شما اشیاء مرجع را ارائه می‌دهد که ویژگی‌های سه‌بعدیِ فضاییِ اشیاء شناخته‌شده‌ی دنیای واقعی را رمزگذاری می‌کند و ARKit به اپلیکیشن شما می‌گوید که در خلال استفاده از واقعیت افزوده، اشیاء مشابه دنیای واقعی را چه زمانی و در کجا تشخیص می‌دهد.

کاربرد بالقوه‌ی این ویژگی بی‌شمار است. برای مثال ARKit می‌تواند اسباب‌بازی به‌خصوصی را تشخیص دهد و اشیائی را به صحنه اضافه کند که به‌ نظر می‌رسد در حال تعامل با آن هستند. این در واقع همان کاری است که اپلیکیشن لوگو آن را در نطق اصلی کنفرانس توسعه‌دهندگان انجام داد. در مثالی دیگر، ARKit می‌تواند نوع و مدل دقیق یک خودرو را در دنیای واقعی شناسایی کند و نام خودرو و مشخصاتش را در کنار مکان آن در دید کاربر قرار دهد.

ARKit 2 با بهره‌گیری از حسگرهای دوربین TrueDepth در آیفون ۱۰ و احتمالا برخی یا تمام دیگر دستگاه‌های آتی iOS، می‌توانند حرکات زبان را ردیابی کنند. به‌گفته‌ی اپل بسیاری از کاربران هنگام استفاده از ایموجی‌ تلاش می‌کنند استیکر خود را در حالتی که زبانشان بیرون است، بسازند؛ اما پس از آنکه می‌بیند انجام این کار امکان‌پذیر نیست، ناامید می‌شوند. اکنون ردیابیِ نگاه خیره‌ی کاربر بهبود یافته و اپل عملکرد صحیح این قابلیت را در شرایط نوری مختلف نیز افزایش داده است.

ARKit 2 سرانجام از نقش‌اندازی (Texturing) محیطی پیشرفته پشتیبانی می‌کند. این ویژگی معانی مختلفی دارد. اول، اپل می‌گوید شبکه‌ای عصبی را روی هزاران محیط آموزش داده است. این مسئله به ARKit امکان می‌دهد که در واقع محتویات نارسا در صحنه و نقشه‌ی جهان را با اندازه‌ای از دقت تصویرسازی کند.

نقش‌اندازی محیطی همچنین امکان رندر اشیاء را به‌صورت واقع‌گرایانه‌تر در پس‌زمینه‌ی صحنه فراهم می‌کند. ARKit با ردیابی نور محیط اقدام به ایجاد سایه برای اشیاء مجازی در نگاه کاربر می‌کند. این به‌تنهایی شکاف بزرگ بین چگونگی برخورد و ادراک واقعی کاربران با یک شیء را از میان برمی‌دارد؛ شیئی که سایه ندارد در ذهن ما نمی‌تواند واقعی باشد. این قابلیت برای پر کردن بیش از پیش شکاف بین محیط واقعی و مجازی، بازتاب‌های محیط اطراف را روی اشیائی که در صحنه حاضر هستند، اعمال می‌کند.

علاوه بر ویژگی‌های جدید افزوده‌شده به ARKit 2، اپل در کنفرانس توسعه‌دهندگان امسال، قالب فایل جدید خود برای اشیاء مجازی را با نام USDZ معرفی کرد. این قالب فایل بر پایه‌ی قالب متن‌ باز پیکسار USD و با همکاری اپل و پیکسار توسعه یافته است. USDZ حاوی مدل سه‌بعدی و بافت‌های آن در یک فایل است و در  iOS 12 و macOS موهاوی پشتیبانی خواهد شد.

فایل‌های USZD حجم نسبتا کمی دارند و می‌توان آن‌ها را بین دستگاه‌ها به اشتراک گذاشت و در اینترنت یا با ویژگی Quick Look در مک‌اواس مشاهده کرد. ادوبی چندی پیش اعلام کرد که از قالب فایل جدید اپل به‌صورت پیش‌فرض در اپلیکیشن‌هایش پشتیبانی می‌کند. پذیرش زودهنگام USZD از سوی شرکتی همچون ادوبی، پیروزی بزرگی برای اپل به‌حساب می‌آید؛ اما همانند هر نوآوری تازه‌ای، آینده‌ی این قالب نیز نامعلوم است.

این حقیقت که اپل همچنان با گزارش‌های مالی فصلی خود سرمایه‌گذاران را شگفت‌زده می‌کند، بیش از همه معلول دو عامل است. اول متوسط بهای فروش و حاشیه‌ی سود گوشی‌های شرکت که هر دو بالاتر از بسیاری از رقبا است و دوم کسب‌وکارهای خدمات در حال رشد اپل که شامل سرویس‌هایی نظیر اپل موزیک و آی‌کلاد می‌شود. اپل با بازاریابی مداوم و کارزار روابط عمومی خود که با هدف تبلیغ شرکت به‌عنوان جایگزینی با تمرکز بر حریم شخصی برای دیگر شرکت‌های ارائه‌دهنده خدمات دیجیتال نظیر گوگل و فیسبوک طراحی شده‌اند، سرویس‌هایش را در معرض توجه قرار داده است. اما اگر فروشی گوشی‌ هوشمند بیش از این سقوط کند، احتمالا خطری متوجه درآمد اپل نخواهد بود. این موضوع تا حدی بدین خاطر است که اپل متعهد شده به‌کلی به‌ شیوه‌ی فیسبوک و گوگل، کسب‌وکار سودمندی متشکل از داده‌های شخصی کاربران برای مصرف تبلیغ‌کنندگان بنا نکند.

اپل در گذشته با ورود به بازارهای پرخطر محصولات نوظهور، موفق به کسب بزرگ‌ترین موفقیت‌های تاریخ خود شده است. گوشی‌های هوشمند، تبلت‌ها و کامپیوترها در حال حاضر محصولاتی بالغ محسوب می‌شوند. اپل نیازمند دسته‌بندی تازه‌ای از یک محصول بزرگ است تا آینده‌ی فناوری را با گذار از گوشی‌ هوشمند مجددا با دستان خود رقم بزند. ظاهرا تیم کوک و دیگر مدیران اجرایی اپل واقعیت افزوده را به‌عنوان بهترین گزینه برای شرط بستن روی آن انتخاب کرده‌اند. کوپرتینونشین‌ها با اتکا به پیشبرد قالب فایلی همچون USDZ و با فرض پذیرش آن در مقیاس گسترده می‌توانند به پیشگام عرصه‌ی واقعیت افزوده تبدیل شوند. اکنون ساخت ARKit بدین معنی است که این شرکت هنگام فرارسیدن نقطه‌ی عطف بعدی تاریخ فناوری به‌جای سراسیمگی و تلاش برای انجام اقدامات ناشیانه از آمادگی لازم برای شروع بازی برخوردار خواهد بود.

علاوه بر این، می‌توان ایده‌آل‌گرایی‌های آینده‌نگرانه‌ای را متصور شد و احتمالات بی‌شماری را برای کاربردهای آتی واقعیت افزوده در نظر گرفت. به‌عنوان مثال، می‌توانید شخصیتی واقعی را احضار کنید و به‌طوری که همانند شخصی واقعی هدایت می‌شوید، به دنبال کردن وی در میان فرودگاه یا فروشگاهی هزارتومانند بپردازید، تا آنچه در پی آن هستید، پیدا کنید. همچنین دوربین TrueDepth آیفون ۱۰ می‌تواند در آینده از طریق حالات چهره‌ی کاربر به تحلیل احساسات بپردازد و براساس وضع روحی وی، مطالب و عملکردهای مختلف را در اپلیکشن‌ها و بازی‌ها ارائه کند. علاوه بر این، می‌توانید در سرگرمی‌های کاملا متفاوتی شرکت کنید که بی‌شباهت به عرشه‌ی بدل پیشتازان فضا نیست و با شخصیت‌های تعاملی، نمایشی قابل توجه و گیرا در اتاق نشیمن خود اجرا کنید. همچنین این امکان را دارید که در امتداد خیابانی در شهر نیویورک قدم بزنید، جزئیات تک‌تک مکان‌ها، امتیازات خود به هر رستوران و منوی آن‌ها را مشاهده کنید. می‌توانید به تماشای پرندگان (پرنده‌نگری) بروید و هر گونه‌ای که به میدان دید شما وارد می‌شود، بلافاصله نامش را در مقابل چشمان خود ببینید. مثال‌های عنوان‌شده شاید دیوانه‌وار و غیر ممکن به‌ نظر برسند؛ اما بسیاری از افراد حاضر در سیلیکون ولی در تلاش برای تحقق این احتمالات دوردست هستند.

بارها گزارشاتی منتشر شده مبنی بر اینکه اپل در حال کار روی عینک واقعیت افزوده است. با این حال، حتی اگر آزمایش‌ها با موفقیت همراه شوند، عرضه‌ی چنین محصولی سال‌ها طول می‌کشد. تیم کوک چندی پیش در مصاحبه‌ای اذعان کرد که برای عرضه‌ی عینک واقعیت افزوده هنوز راه درازی در پیش است؛ اما فناوری در نهایت تکامل خواهد یافت. اگر اهالی کوپرتینو نخستین نسخه‌ی کاربردی و قابل اطمینان از این محصول را بسازند و اگر واقعیت افزوده به‌ همان اندازه که انتظار می‌رود، انقلابی باشد، عینک واقعیت افزوده‌ی اپل می‌تواند همچون نخستین نسل آیفون به نقطه‌ی عطفی دیگر در تاریخ این شرکت تبدیل شود. این یکی از دلایل توجه بیش از حد اپل بر واقعیت افزوده است. در واقع هرچه اپل بیشتر برای آن نقطه آماده شده باشد، با دست پرتری می‌تواند به رقابت با دیگران بپردازد.

با این حال، اپل تنها بازیگر این عرصه محسوب نمی‌شود. مایکروسافت با هولولنز قدم‌های اولیه‌ی خوبی برداشت؛ اما محصول واقعیت افزوده‌ی ردموندی‌ها از برخی جنبه‌ها از رقبا عقب افتاد. با این حال، این شرکت در حال حاضر پلتفرم واقعیت ترکیبی ویندوز خود را به‌ پیش می‌برد و بنا بر شایعات، نسخه‌ی جدیدی از هولولنز نیز در راه است. گوگل با پروژه‌ی تانگو (و اکنون با پلتفرم واقعیت افزوده‌ی دستگاه‌های موبایل به‌ نام ARCore) که از برخی مزایا در مقایسه با ARKit بهره می‌گیرد، پا به میدان گذاشته است. با این حال، اکثر این مزایا متعلق به تانگو است و نه ARCore. ظاهرا اپل تکنیکی مشابه و هم‌سطح تانگو در دست توسعه دارد؛ اما از آنجایی که هنوز برای دستگاه‌های مصرفی فعلی کاربردی نیست، آن را به‌صورت عمومی عرضه نکرده است.

فراگیری و اعتبار واقعیت افزوده تضمین‌شده نیست و حتی برتری و نفوذ اپل نمی‌تواند این فناوری را به نقطه‌ای مطمئن برساند؛ اما اپل در حال انجام اقداماتی اساسی است تا فراگیری و اعتبار واقعیت افزوده را تحقق بخشد و این به‌ معنی شروع زودهنگام سرمایه‌گذاری‌ است؛ به‌قدری زودهنگام که بسیاری از مشتریان این شرکت تا مدتی قادر به مشاهده‌ی ارزش مبالغ سرمایه‌گذاری‌شده نخواهند بود.