Чтение по губам

При чтении с губ активируется не только зрительная кора мозга, но и слуховая, что происходит и при распознавании слышимой речи[1].

Даже новорождённые дети пытаются имитировать движения губами и языком, увиденные у взрослых[2]. Младенцы дольше смотрят на источник визуального стимула, если ему соответствует одновременно происходящий аудиальный стимул (в отличие от, например, записи звука)[3]. Дети в 4—8 месяцев обращают особое внимание на движения губ говорящих как на родном для себя языке, так и на других языках. После 12 месяцев они перестают следить за губами говорящих на родном языке[4]. Во взрослом возрасте глухие читают по губам лучше слышащих из-за постоянной практики, разница начинает быть заметной с 14 лет[5]. Среди глухих данный навык лучше развит у тех, кто терял слух постепенно, а не внезапно[6].

В основном чтение по губам используется глухими и слабослышащими. При этом у слабослышащих оно более успешно, если при этом речь слышна хотя бы частично[7]. Для упрощения чтения по губам может использоваться вспомогательная жестовая система, к примеру, маноральная речь. Существуют также автоматизированные средства чтения с губ[8]. Успешность чтения по губам зависит от способности к образному мышлению и аналитическому восприятию, а также зрительной памяти[9]. Чтение по губам усложняется при плохом освещении и наличии у говорящего бороды или усов[10].

Читать по губам сложнее, чем слышать[11]. В случае с русским языком, читающим по губам видны только гласные и артикулируемые губами согласные; звонкость-глухота, мягкость-твёрдость, йотирование и его отсутствие, а также ударение зрительно либо почти не видны, либо не видны совсем. Наиболее просто определить гласные пары [i]~[ɨ], [a]~[e], [o]~[u]. Немного труднее для определения губно-губные согласные [p]~[pʲ]~[b]~[bʲ]~[m]~[mʲ] и губно-зубные согласные [f]~[fʲ]~[v]~[vʲ]. Довольно информативны звуки [ʂ]~[ɕː]~[ʐ]~[ʑː]~[ʨ]. Если кончик языка говорящего хорошо виден при произношении [l] и [lʲ], то эти звуки также относятся к легко идентифицируемым. Звуки [t]~[tʲ]~[d]~[dʲ]~[n]~[nʲ] слабоопознаваемы, остальные стабильно неопознаваемы ([s]~[sʲ]~[z]~[zʲ]~[j]~[ʦ]) или совершенно невидимы ([k]~[kʲ]~[g]~[gʲ]~[x]~[xʲ])[12].

• M. Aharon and R. Kimmel. (2006) Representation analysis and synthesis of lip images using dimensionality reduction, International Journal of Computer Vision, 67(3):297-312.
• Потапова Р., Потапов В. Язык, речь, личность. — Языки славянской культуры, 2006. — 496 с. — ISBN 5-9551-0123-3.
• David J. Lewkowicz, Amy M. Hansen-Tift. Infants deploy selective attention to the mouth of a talking face when learning speech (англ.) // Psychological and Cognitive Sciences. — 2012. — No. 109. — P. 1431—1436. — doi:10.1073/pnas.1114783109.
• Mairéad MacSweeney. Read my lips - Advances in speechreading research with deaf children (неопр.). ESRC Deafness Cognition and Language Research Centre (11 мая 2013).
• Calvert, Gemma A.; Edward T. Bullmore; Michael J. Brammer; Ruth Campbell; Steven C. R. Williams; Philip K. McGuire; Peter W. R. Woodruff; Susan D. Iversen; Anthony S. David. Activation of Auditory Cortex During Silent Lipreading (англ.) // Science : journal. — 1997. — 25 April (vol. 276, no. 5312). — P. 593—596. — doi:10.1126/science.276.5312.593.
• Bergeson, Tonya; Pisoni, DB; Reese, L & Kirk, KI (2003), Audiovisual Speech Perception in Adult Cochlear Implant Users: Effects of Sudden vs. Progressive Hearing Loss, Daytona Beach, Florida: MidWinter Meeting of the Association for Research in Otolaryngology, <http://medicine.iu.edu/oto/index.php/download_file/view/270/> Архивная копия от 4 марта 2016 на Wayback Machine
• Meltzoff, AN; Moore, M. K. Newborn infants imitate adult facial gestures (неопр.) // Child Development. — 1983. — June (т. 54, № 3). — С. 702—709. — .
• Spelke, Elizabeth. Infants' intermodal perception of events (неопр.) // Cognitive Psychology. — 1976. — October (т. 8, № 4). — С. 553—560. — doi:10.1016/0010-0285(76)90018-9.
• Ewing I.R. Lipreading and Hearing Aids. — Manchester University Press, 1944.
• Rosen S., Fourchin A., Moore B. Voice pitch as an aid to lipreading (англ.) // Nature. — 1981. — No. 291. — P. 150—152. — doi:10.1038/291150a0.
• Petajan, Eric David. Automatic Lipreading to Enhance Speech Recognition (Speech Reading) (англ.) // University of Illinois at Urbana-Champaign. — 1984.

• CSAIL: Articulatory Feature Based Visual Speech Recognition
• видео МРТ говорящей женщины, на котором видны нефиксируемые при чтении с губ движения языка