הקול לא מסונכרן לשפתיים: השהיית שמע מול תמונה

מי שצופה בטלוויזיה מכיר את הרגע הזה: השחקן כבר סגר את הפה, והמילה רק עכשיו נשמעת. לרוב הצופים זה מעצבן ותו לא. למי שמתקשה לשמוע ונעזר בפנים של הדובר כדי להבין, זה יכול להפוך צפייה פשוטה למאמץ. המאמר מסביר מה זה סנכרון בין קול לתמונה, למה הוא משתבש, ולמה הוא חשוב במיוחד כשהשמיעה לא מלאה.

מה זה סנכרון שפתיים

כשאנחנו מדברים פנים אל פנים, הקול והתנועה של השפתיים מגיעים אלינו כמעט באותו רגע. המוח רגיל לזה. הוא מחבר בין מה שהעיניים רואות לבין מה שהאוזניים שומעות, ויוצר תמונה אחת של הדיבור.

במסך זה לא תמיד כך. התמונה והקול עוברים דרך שרשרת של מכשירים: שידור, ממיר, טלוויזיה, ולפעמים גם מקרן קול או אוזניות. כל חוליה בשרשרת יכולה לעכב את התמונה, את הקול או את שניהם. כשהעיכובים לא שווים, נוצר פער. באנגלית קוראים לזה lip sync.

הפער יכול ללכת לשני הכיוונים:

• הקול מאחר. רואים את השפתיים זזות, והמילה נשמעת אחרי רגע. זה המצב הנפוץ כשמוסיפים שידור אלחוטי.
• הקול מקדים. שומעים את המילה לפני שהשפתיים זזות. זה יכול לקרות כשהטלוויזיה מעבדת את התמונה לאט יותר מאשר את הקול.

למה שידור אלחוטי ועיבוד מוסיפים השהיה

כל מכשיר שמטפל בצליל צריך זמן. הוא קולט את הצליל, ממיר אותו לאות דיגיטלי, אורז אותו, שולח אותו ופותח אותו מחדש בצד השני. הזמן הזה קצר מאוד, אבל הוא קיים.

בשידור Bluetooth, למשל, הצליל נשלח במנות קטנות. המקלט אוסף כמה מנות לפני שהוא מנגן אותן, כדי שהקול לא ייקטע. האיסוף הזה מוסיף עיכוב. כשמחברים אוזניות, רמקול אלחוטי או אביזר שמעביר את הקול מהטלוויזיה לאוזן, הקול עלול להגיע מעט אחרי התמונה.

גם לטלוויזיה עצמה יש חלק. מצבי תמונה שמחדדים או מחליקים תנועה דורשים עיבוד, והעיבוד הזה מעכב את התמונה. לכן לפעמים ההבדל בין ערוץ לערוץ, או בין אפליקציה לשידור רגיל, נובע מהדרך שבה כל מקור מעובד.

על ההשהיה בתוך מכשיר השמיעה עצמו, ולמה היא נשמרת קצרה ככל האפשר, אפשר לקרוא במאמר מה זה latency במכשירי שמיעה. ועל הדרכים שבהן קול מהטלוויזיה מגיע ישירות לאוזן יש מאמר נפרד: שידור קול מהטלוויזיה לאוזן.

למה זה חשוב למי שמתקשה לשמוע

מי ששומע היטב מבין את הדיבור בעיקר דרך האוזניים. גם הוא נעזר בפנים, אבל פחות. מי שמתקשה לשמוע נשען על הפנים הרבה יותר. השפתיים, הלסת והבעות הפנים משלימות צלילים שהאוזן לא קלטה במלואם.

כדי שההשלמה הזו תעבוד, המוח צריך שהקול והתנועה יגיעו יחד. כשיש פער, שני מקורות המידע לא מתחברים. העיניים רואות צליל אחד, והאוזניים שומעות צליל שכבר עבר. התוצאה היא בלבול, ולפעמים גם עייפות מהירה יותר, כי המוח עובד קשה כדי לחבר בין הדברים.

יש אנשים שמגלים שבמצב כזה קל להם יותר להסתכל דווקא על הכתוביות ולא על הפנים. זו דרך התמודדות טובה, אבל היא לא מחליפה את הצורך בסנכרון. על הקשר בין מה שרואים על השפתיים לבין ההבנה אפשר לקרוא במאמר קריאת שפתיים: מה היא נותנת.

הגדרת סנכרון: העיקרון

בחלק מהטלוויזיות, הממירים ומקרני הקול יש הגדרה שנקראת לרוב סנכרון שמע, השהיית שמע או AV sync. העיקרון פשוט: ההגדרה מעכבת בכוונה את התמונה או את הקול, כדי ששניהם יגיעו באותו רגע.

איפה ההגדרה נמצאת ואיך היא נקראת משתנה ממכשיר למכשיר. לרוב היא נמצאת בתפריט השמע או בהגדרות המתקדמות. כדאי לחפש אותה במדריך למשתמש של הטלוויזיה או של האביזר. אם יש כמה מכשירים בשרשרת, ההגדרה בכל אחד מהם יכולה להשפיע על התוצאה.

מה חשוב לזכור

• סנכרון שפתיים הוא ההתאמה בין הקול שנשמע לבין תנועת השפתיים שרואים.
• שידור אלחוטי ועיבוד תמונה מוסיפים עיכובים, ואלה לא תמיד שווים בין הקול לתמונה.
• מי שמתקשה לשמוע נשען יותר על הפנים, ולכן פער קטן מפריע לו יותר.
• בחלק מהמכשירים יש הגדרת סנכרון שמע. המדריך למשתמש הוא המקום לחפש אותה.