D1-kifpool

قابلیت زیرنویس خودکار اندروید 10 چگونه کار می‌کند؟

جمعه ۱۰ آبان ۱۳۹۸ - ۱۳:۰۰
مطالعه 4 دقیقه
یکی از ویژگی‌های معرفی‌شده برای اندروید ۱۰، قابلیت زیرنویس خودکار بدون نیاز به اتصال اینترنت است؛ اما این قابلیت چگونه عمل می‌کند؟
تبلیغات
D4-mci

وجود زیرنویس در محتوای صوتی برای ناشنوایان و کم شنوایان ضروری است، اما برای عموم مردم نیز وجود آن عاری از بهره نیست. تماشای ویدیوهای بی‌صدا در قطار، جلسات، هنگامی که کودکان خوابیده‌اند و مواردی از این قبیل معمولا امر رایجی است و همچنین مطالعات نشان‌ می‌دهند که وجود زیرنویس، مدت زمانی‌ را که کاربر صرف تماشای فیلم می‌کند، حدود ۴۰ درصد افزایش می‌دهد. در حال حاضر قابلیت پشتیبانی از زیرنویس به‌صورت یکپارچه در میانِ برنامه‌ها و حتی در درون آن‌ها وجود ندارد. به همین دلیل در حجم قابل توجهی از محتوای صوتی از جمله وبلاگ‌های پخش ویدیوهای زنده، پادکست ها، ویدیوهای محلی، پیام‌های صوتی و رسانه‌های اجتماعی، امکان دسترسی به زیرنویس وجود ندارد.

Live Caption، یکی از نوین‌ترین و جالب‌ترین ویژگی‌های سیستم‌عامل اندروید است که به کمک شاخه‌ای وسیع و پر کاربرد از هوش مصنوعی با نام یادگیریِ ماشین، جهت تولید زیرنویس برای انواع ویدیوهای تحت وب و محلی در گوشی‌های هوشمند مورد استفاده قرار می‌گیرد. تولید زیرنویس، به‌صورت آنی و با استفاده از اطلاعات محلیِ خود گوشی، بدون نیاز به منابع آنلاین صورت می‌گیرد که نتیجه‌ی آن حفظ بیشتر حریم خصوصی و کاهش زمان ایجاد زیرنویس خواهد بود. گوگل در وبلاگ رسمیِ این شرکت پستی را منتشر کرده‌ که جزئیات دقیقی از نحوه‌ی عملکرد این ویژگیِ عالی را نشان می‌دهد. عملکرد یاد شده با استفاده از مدل‌‌‌های ژرف یادگیری ماشین در سه مقطع مختلف در این فرایند ایجاد می‌شود.

live caption

در وهله‌ی نخست مدلی به‌صورت RNN-T، یا همان هدایت دنباله‌ی شبکه عصبی بازگشتی برای تشخیص گفتار وجود دارد. RNN، به‌معنیِ شبکه‌ی عصبی بازگشتی یا مکرر، کلاسی از شبکه‌های عصبی مصنوعی است که در آن اتصالات بین، گره‌هایی از یک گراف جهت‌دار در امتداد یک دنباله‌ی زمانی هستند و این امر سبب می‌شود تا الگوریتم بتواند موقتا رفتار پویایی را به نمایش بگذارد. برخلاف شبکه‌های عصبی رو به جلو، شبکه‌های عصبی مکرر می‌توانند از وضعیت درونی خود برای پردازش دنباله‌ی ورودی‌ها استفاده کنند که این ویژگی آن‌ها را برای مواردی نظیر تشخیص صوت، یا تشخیص دست‌نوشته‌های غیربخش‌بندی شده‌ی متصل مناسب می‌کند.

برای انجام پیش‌بینی‌های نگارشی نیز گوگل از شبکه‌ی عصبی مکرر مبتنی بر متن استفاده می‌کند. سومین استفاده از مدل‌های یادگیری ماشین شامل یک CNN، یا همان شبکه‌ی عصبیِ پیچشی برای تحلیل رویدادهای صوتی نظیر آواز پرندگان، کف زدن افراد و موسیقی است. شبکه‌های عصبی پیچشی یا همگشتی رده‌ای از شبکه‌های عصبی مصنوعی ژرف هستند که معمولاً برای انجام تحلیل‌های تصویری یا گفتاری در یادگیری ماشین استفاده می‌شوند. گوگل چنین عنوان کرد که این مدل از یادگیریِ ماشین، برگرفته شده از تلاش‌ آن‌ها در جهت ارتقاء نرم‌افزار accessibility Live Transcribe است. نرم‌افزار یادشده در سیستم‌عامل اندروید به کاربران اجازه‌ی تبدیل گفتار به متن را می‌دهد. در نهایت Live Caption، در جهت ایجاد یک زیرنویس واحد، سیگنال دریافتی از سه مدل یادگیریِ ماشین شامل: RNN-T ،RNN و CNN را با یکدیگر ادغام می‌کند و زیرنویس به‌صورت بی‌وقفه و درنتیجه‌ی جریان صدا نمایش داده می‌شود.

گوگل می‌گوید اقدامات بسیاری برای کاهش توان مصرفی و همچنین بر طرف کردن نیاز‌های عملکردیِ Live Caption انجام شده است. برای اولین‌بار، موتور تشخیص خودکار صدا «ASR»، فقط در هنگام شناساییِ گفتار اجرا می‌شود و در پس‌زمینه غیرفعال خواهد بود. گوگل در وبلاگ خود مسئله را این‌گونه تشریح می‌کند:

به‌عنوان مثال زمانی‌که صوت دریافتی به‌عنوان موسیقی تشخیص داده‌شود و جریان صدا عاری از گفتار باشد، برچسب MUSIC در صفحه‌نمایش داده شده و موتور تشخیص خودکار صدا بارگذاری نمی‌شود. ASR تنها زمانی در حافظه بارگذاری می‌شود که گفتار مجددا در جریان صدا به وجود آید.

گوگل همچنین از تکنیک‌‌‌‌های هوش مصنوعی مانند هرس اتصال عصبی (neural connection pruning) که به وسیله‌ی کاهش اندازه‌ی مدل گفتار انجام می‌گیرد نیز استفاده کرده‌‌ و فرایند را به‌صورت کلی بهینه‌سازی کرده است. به همین دلیل توان مصرفی در حدود ۵۰ درصد کاهش می‌یابد که همین امر سبب اجرای مداوم Live Caption می‌شود. با وجود تمامیِ بهینه‌سازی‌ها در مصرف انرژی، این ویژگی در بیشتر حالات از جمله تشخیص جریان‌های کوتاه صدا و مکالمات تلفنی با پهنای باند کمِ دامنه‌ی صوتی و نیز در هنگام وجود سروصدا در پس‌زمینه‌ی محتوای صوتی، از عملکرد خوبی برخوردار است.

live caption

گوگل تشریح می‌کند که مدل نگارشیِ مبتنی بر متن، در جهت اجرای مداوم و به‌صورت محلی روی گوشیِ هوشمند، به یک معماریِ معادل کوچک‌‌‌‌‌تر از فضای ابری مجهز شده و سپس به کمک قابلیت TensorFlow Lite، برای کار روی سخت‌افزار بهینه شده‌ است. به دلیل شکل گیریِ زیرنویس، نتایج تشخیص گفتار چندین بار در هر ثانیه به‌روزرسانی می‌شوند و به منظور کاهش نیاز به منابع، پیش‌بینی‌های نگارشی بر دنباله‌ی متن، از تجزیه و تحلیل آخرین جمله‌‌ی شناسایی شده از گفتار صورت می‌گیرد.

هم‌اکنون Live Caption، در گوشی‌های هوشمند گوگل پیکسل 4 در دسترس قرار دارد و گوگل اعلام کرده است که این ویژگی به‌زودی برای پیکسل‌های سری 3 و سایر دستگاه‌ها نیز منتشر خواهد‌ شد. این شرکت در تلاش است تا Live Caption را در سایر زبان‌ها نیز کاربردی کند و ویژگی مذکور را برای پشتیبانی از محتوای دارای قابلیت multi-speaker، یا همان پخش‌کننده‌ی  چندگانه‌ی صدا ارتقا دهد.

مقاله رو دوست داشتی؟
نظرت چیه؟
داغ‌ترین مطالب روز
پوشش زنده زومیت از رویداد معرفی گلکسی S25
پخش زنده مراسم معرفی گلکسی S25 به‌همراه جوایز نفیس [شروع شد]

چهارشنبه ساعت ۲۰:۱۵ پوشش زنده‌ی رویداد آنپکد ۲۰۲۵ را از زومیت دنبال کرده و شانس‌تان برای برنده‌شدن یکی از ۱۰ شمش طلای زرپاد را امتحان کنید.

410
یک ساعت پیش
تصویر تبلیغاتی گلکسی S25 اولترا
گلکسی S25 اولترا با رم ۱۶ گیگابایتی احتمالاً فقط در این کشورها عرضه می‌شود

ظاهراً سامسونگ قصد دارد گلکسی S25 اولترا مجهز به رم ۱۶ گیگابایتی را فقط در برخی کشورها عرضه کند.

55
یک روز پیش
پیام متنی تلگرام با قابلیت اسپویلر فعال
قابلیت اسپویلر تلگرام چیست و چگونه می‌توان از آن استفاده کرد؟

ارسال پیام‌های دارای اسپویلر تلگرام به‌خصوص در کانال‌های عمومی برای مخفی‌کردن بخشی از متن یا حتی تصاویر، کاربرد دارد.

18
یک روز پیش
ویلای لبه صخره
تازه‌ترین ابرپروژه عربستان با اقامتگاه‌های کوهستانی در لبه صخره‌ها افتتاح شد

اقامتگاه‌های لوکس حفاری شده در کوه‌های حجاز عربستان قدم دیگری برای تبدیل این کشور به قطب گردشگری جهانی و کاهش وابستگی به نفت است.

21
یک روز پیش
صفحه نمایش همیشه روشن در گلکسی اس ۲۴ اولترا
گلکسی S25 اولترا؛ پرچمدار قدرتمندی که امشب «در کنار هم» ملاقاتش خواهیم کرد

فاصله‌ی زیادی تا آنپکد ۲۰۲۵ نداریم؛ مراسمی هیجان‌انگیز با محوریت گلکسی S25 اولترا که زومیت آن را به‌شکلی متفاوت پوشش خواهد داد.

100
9 ساعت پیش
بهترین گوشی های ۲۰۲۴
بهترین گوشی های موبایل بازار ایران [بهمن ۱۴۰۳]

در مقاله‌ی پیش‌ رو با در نظر گرفتن پارامترهای تأثیرگذار بر تجربه‌ی کاربر، بهترین گوشی‌های بازار ایران را در بازه‌های قیمتی مختلف معرفی می‌کنیم.

3556
یک روز پیش
چهره نگران سم آلتمن / Sam Altman مدیرعامل OpenAI
مدیرعامل OpenAI: انتظارات خود از هوش مصنوعی را ۱۰۰ برابر کمتر کنید

سم آلتمن می‌گوید که مردم باید توقعات خود از هوش مصنوعی را ۱۰۰ برابر کمتر کنند.

66
یک روز پیش
تبلیغات
DN-Snap

نظرات

تبلیغات
D7-zoomitproduct
D7-bmsd
آخرین ویدیوها
پخش از رسانه
۴ مرد جوان در کاور مراسم رونمایی گلکسی اس ۲۵
پوشش زنده دورهمی زومیت؛ مراسم معرفی سری گلکسی اس ۲۵ سامسونگ
03:00:00
انتظارات از رویداد معرفی گلکسی اس ۲۵ سامسونگ و دورهمی زومیت
انتظارات از رویداد معرفی سری اس ۲۵ سامسونگ و دورهمی زومیت
00:11:31
عکس بهزاد در ماشین پرنده و لوگو CES
۱۰ فناوری برتر امسال که آینده رو تغییر می‌دن
00:11:52
کاور دورهمی زومیت
اولین دورهمی حضوری زومیت؛ گردهمایی بزرگ عاشقان فناوری 🎉
00:01:04
انتظارات زومیت از دوربین گلکسی اس ۲۵ اولترا سامسونگ
گلکسی اس ۲۵ اولترا تو راهه؛ از دوربین این گوشی چی می‌دونیم؟
00:09:51
عکس بهزاد و هادی با جعبه‌های دیجی‌کالا و لوگوی بیسوس
آنباکس ۴۰ میلیونی کالاهای متنوع بیسوس
01:13:38
کامپیوترهای کوانتومی و جهان های موازی
همه چیز درباره کامپیوترهای کوانتومی
00:13:43
عکس کاور دیجی پی
گزارش غرفه‌ی دیجی‌پی در نمایشگاه بین‌المللی ریتیل شو تهران
00:08:40
گلکسی اس ۲۴ اولترا نه، اس ۲۵ اولترا خوبه
اس۲۴ اولترا نخر؛ اس۲۵ اولترا داره میاد!!! 🤯
00:08:54
کیس خوب چه ویژگی‌هایی داره؟
قبل از خرید کیس کامپیوتر به این نکات توجه کنید ⚠️
00:07:56
بررسی کاور فر تو کار ال جی
معرفی فر تو کار ال‌جی؛ مدل ۷۶ لیتری LG InstaView
00:04:55
کاور ویدئو بررسی لپ تاپ Stealth GS77 ام اس آی / MSI Stealth GS77 Review
بررسی لپ تاپ Stealth GS77 ام اس آی / MSI Stealth GS77 Review
00:09:22
کاور ویدئو بررسی لپ تاپ ROG Zephyrus G14 ایسوس / ASUS ROG Zephyrus G14 Review
بررسی لپ تاپ ROG Zephyrus G14 ایسوس / Zephyrus G14 Review
00:10:58
کاور ویدئو برررسی شیائومی 12T و 12T پرو / Xiaomi 12T & 12T Pro Review
برررسی شیائومی 12T و 12T پرو / Xiaomi 12T & 12T Pro Review
00:09:07
کاور ویدئو بررسی سرفیس پرو 9 مایکروسافت / Surface Pro 9 Review
بررسی سرفیس پرو 9 مایکروسافت / Surface Pro 9 Review
00:11:32
کاور ویدئو بررسی کیس اسمبل شده MEG Aegis Ti5 ام اس آی / MSI MEG Aegis Ti5 Review
بررسی کیس اسمبل شده MEG Aegis Ti5 ام اس آی / MEG Aegis Ti5
00:09:54
کاور ویدئو بررسی لپ تاپ Spectre x360 اچ پی | HP Spectre x360 Review
بررسی لپ تاپ Spectre x360 اچ پی | HP Spectre x360 Review
00:13:00
کاور ویدئو بررسی گلکسی تب اس 8 اولترا سامسونگ / Samsung Galaxy Tab S8 Ultra Review
بررسی گلکسی تب اس 8 اولترا سامسونگ / Tab S8 Ultra Review
00:12:44
کاور ویدئو بررسی اندروید باکس نت باکس شاین / NETBOX Shine Review
بررسی اندروید باکس نت باکس شاین / NETBOX Shine Review
00:10:48
کاور ویدئو بررسی لپ تاپ ROG FLOW Z13 ایسوس / ASUS ROG FLOW Z13 Review
بررسی لپ تاپ ROG FLOW Z13 ایسوس / ASUS ROG FLOW Z13 Review
00:08:43
کاور ویدئو بررسی آنر 70 / HONOR 70 Review
بررسی آنر 70 / HONOR 70 Review
00:09:37
کاور ویدئو جعبه‌گشایی پیکسل 7 پرو گوگل / Google Pixel 7 Pro Unboxing
جعبه‌گشایی پیکسل 7 پرو گوگل / Google Pixel 7 Pro Unboxing
00:05:58
کاور ویدئو بررسی پیکسل 7 پرو گوگل / Google Pixel 7 Pro Review
بررسی پیکسل 7 پرو گوگل / Google Pixel 7 Pro Review
00:11:47
کاور ویدئو مقایسه دوربین 14 پرو مکس، اس 22 اولترا و پیکسل 7 پرو / Google Pixel 7 Pro vs Samsung Galaxy S22 Ultra 5G vs Apple iPhone 14 Pro Max Camera Test
مقایسه دوربین 14 پرو مکس، اس 22 اولترا و پیکسل 7 پرو
00:09:00
کاور ویدئو مقایسه دوربین گلکسی اس 23 و اس 22 اولترا و آیفون 14 پرو مکس
مقایسه دوربین گلکسی اس 23 و اس 22 اولترا و آیفون 14 پرو مکس
00:12:34
کاور ویدئو بررسی گلکسی اس 23 اولترا سامسونگ / Galaxy S23 Ultra Review
بررسی گلکسی اس 23 اولترا سامسونگ / Galaxy S23 Ultra Review
00:18:17
کاور ویدئو آنباکس و نگاه نزدیک زومیت به گلکسی اس 23 اولترا / Samsung Galaxy S23 Ultra Unboxing
آنباکس و نگاه نزدیک زومیت به گلکسی اس 23 اولترا
00:13:10
کاور ویدئو مقایسه عملکرد آیفون 14 پرو مکس اپل و گلکسی اس 23 اولترا / Samsung Galaxy S23 Ultra vs Apple iPhone 14 Pro Max Performance Comparison
مقایسه عملکرد آیفون 14 پرو مکس اپل و گلکسی اس 23 اولترا
00:09:42
کاور ویدئو بررسی گوشی وان پلاس 11 / OnePlus 11 Review
بررسی گوشی وان پلاس 11 / OnePlus 11 Review
00:10:19
کاور ویدئو نگاه نزدیک و آنباکس گلکسی A14 سامسونگ / Samsung Galaxy A14 Unboxing
نگاه نزدیک و آنباکس گلکسی A14 سامسونگ / Galaxy A14 Unboxing
00:07:55
کاور ویدئو بررسی و مقایسه گلکسی S23 و S23 پلاس / Samsung Galaxy S23 & S23 Plus Review
بررسی و مقایسه گلکسی اس ۲۳ و اس ۲۳ پلاس سامسونگ
00:13:54
کاور ویدئو بررسی گلکسی A14 سامسونگ / Samsung Galaxy A14 Review
بررسی گلکسی A14 سامسونگ / Samsung Galaxy A14 Review
00:05:57
کاور ویدئو آنباکس و نگاه نزدیک گلکسی A54 و A34 سامسونگ / Samsung Galaxy A54 And A34 Unboxing
آنباکس و نگاه نزدیک گلکسی A54 و A34 سامسونگ
00:07:10
کاور ویدئو بررسی گلکسی A54 سامسونگ / Samsung Galaxy A54 Review
بررسی گلکسی A54 سامسونگ / Samsung Galaxy A54 Review
00:09:07
کاور ویدئو بررسی گلکسی A34 سامسونگ / Samsung Galaxy A34 Review
بررسی گلکسی A34 سامسونگ / Samsung Galaxy A34 Review
00:06:20
کاور ویدئو بررسی تبلت آیپد پرو اپل 2022 / Apple iPad Pro M2 2022 Review
بررسی تبلت آیپد پرو اپل 2022 / Apple iPad Pro M2 2022 Review
00:09:52
کاور ویدئو آنباکس لپ تاپ ROG Strix G16 ایسوس / ASUS ROG Strix G16 Unboxing
آنباکس لپ تاپ ROG Strix G16 ایسوس / ASUS ROG Strix G16 Unbox
00:05:55
کاور ویدئو بررسی هدست واقعیت مجازی پلی استیشن VR2 سونی / PSVR2 Review
بررسی هدست واقعیت مجازی پلی استیشن VR2 سونی / PSVR2 Review
00:12:59
کاور ویدئو بررسی لپ تاپ ROG Strix G16 ایسوس / Asus Strix G16 Review
بررسی لپ تاپ ROG Strix G16 ایسوس / Asus Strix G16 Review
00:09:19
عکس بهزاد و لوگوی اوپن ای آی در کنار اکانت‌های پلاس و رایگان چت‌جی‌پی‌تی
مقایسه کامل چت‌جی‌پی‌تی پولی و رایگان
00:44:10
کاور ویدئو آشنایی با بهترین هدفون‌های بی‌سیم؛ از ۵۰۰ هزار تومن به بالا
آشنایی با بهترین هدفون‌های بی‌سیم؛ از ۵۰۰ هزار تومن به بالا
00:10:02
کاور ویدئو مقایسه گلکسی A54، گلکسی A73 و S21 FE سامسونگ
مقایسه گلکسی A54، گلکسی A73 و S21 FE سامسونگ
00:11:07
کاور ویدئو مقایسه دوربین پرچم‌دار و میان‌رده؛ گلکسی اس 23 اولترا درمقابل گلکسی A54 سامسونگ
مقایسه دوربین گلکسی اس 23 اولترا درمقابل گلکسی A54 سامسونگ
00:04:51
کاور ویدئو آنباکس پوکو F5 شیائومی / Xiaomi Poco F5 Unboxing
آنباکس پوکو F5 شیائومی / Xiaomi Poco F5 Unboxing
00:04:26
کاور ویدئو آنباکس شیائومی 13 لایت / Xiaomi 13 Lite Unboxing
آنباکس شیائومی 13 لایت / Xiaomi 13 Lite Unboxing
00:08:17
کاور ویدئو بررسی شیائومی 13 لایت / Xiaomi 13 Lite Review
بررسی شیائومی 13 لایت / Xiaomi 13 Lite Review
00:10:17
کاور ویدئو بررسی پوکو F5 شیائومی / Xiaomi Poco F5 Review
بررسی پوکو F5 شیائومی / Xiaomi Poco F5 Review
00:11:42
کاور ویدئو مقایسه گلکسی A54 سامسونگ و شیائومی 13 لایت / Samsung Galaxy A54 vs Xiaomi 13 Lite
مقایسه گلکسی A54 سامسونگ و شیائومی 13 لایت
00:12:33
کاور ویدئو آنباکس تلویزیون QNED96 ال جی / LG 8K QNED96 Unboxing
آنباکس تلویزیون QNED96 ال جی / LG 8K QNED96 Unboxing
00:05:10
کاور ویدئو بررسی ساعت هوشمند W1 جی پلاس / Gplus W1 Review
بررسی ساعت هوشمند W1 جی پلاس / Gplus W1 Review
00:09:35
41 مطلب
کالکشن بیوگرافی
بیوگرافی بزرگان علم و فناوری با زندگی و دستاوردهای استادان نوآوری و شکل‌دهندگان دنیای علم و تکنولوژی آشنا شوید.
55 مطلب
لوگوی اندروید
ترفند ها و آموزش های اندروید در مجموعه مطالعاتی آموزش اندروید با برترین و کاربردی‌ ترین ترفند های اندروید آشنا خواهید شد و صفر تا صد تبلت و گوشی اندرویدی خود را آموزش می‌بینید.
14 مطلب
طرح مفهومی سخت‌افزار
شیرجه در سخت افزار با مقالات سخت‌افزاری زومیت در دریای هیجان‌انگیز سخت‌افزار از CPU و GPU تا هوش مصنوعی و شرکت‌های فناوری پیشرو شیرجه بزنید.
18 مطلب
پیکان زرد در کنار کنسول گیم‌بوی و نوکیا 6600
ماشین زمان با مقالات «ماشین زمان» به گذشته دنیای فناوری سفر کنید و همراه ما محصولات و تکنولوژی‌های نوستالژیک را مرور کنید.
44 مطلب
کره لاس وگاس درکنار شاتل فضایی
مهندسی بی‌نهایت داستان ساخت پیچیده‌ترین و خلاقانه‌ترین سازه‌های مهندسی دنیا، از آسمان‌خراش‌های بلند تا شاتل‌های فضایی را در بخش مهندسی بی‌نهایت دنبال کنید.

مقایسه قیمت و مشخصات 🛒

3.6
پنل جلو و پشت گوشی موبایل آیفون 16 اپل آبی / Apple iPhone 16
آیفون 16 اپل

از61,950,000تومان

3.8
پنل جلو و پشت گوشی موبایل آیفون 16 پرو مکس اپل مشکی / Apple iPhone 16 Pro Max
آیفون 16 پرو مکس اپل

از105,100,000تومان

4.3
پنل جلو و پشت گوشی موبایل آیفون 16 پرو اپل بژ / Apple iPhone 16 Pro
آیفون 16 پرو اپل

از89,500,000تومان

4
کنسول بازی پلی استیشن 5 پرو سونی / Sony PlayStation 5 Pro
3
اپل ایرپادز 4 به همراه کیس
اپل ایرپاد 4

از9,299,000تومان

با چشم باز خرید کنید
زومیت شما را برای انتخاب بهتر و خرید ارزان‌تر راهنمایی می‌کند
ورود به بخش محصولات