Пермь, Пермский край, Россия
ВАК 5.4.4 Социальная структура, социальные институты и процессы
Статья посвящена исследованию невербальной репрезентации времени в пространственном контексте виртуальной реальности. Цель – выявить особенности темпоральных жестов как дейктических средств в мультимодальной коммуникации, а также проанализировать их универсальность и зависимость от языковых и других факторов. Актуальность исследования определяется ограниченной изученностью временных жестов во вневременном контексте и возможностями применения современных технологий (например, виртуальной реальности) для наблюдения за жестами и их анализа. Новизна заключается в переносе фокуса с традиционных лингвистических методов на эксперимент в иммерсивной среде и в рассмотрении телесных паттернов, которые лежат в основе пространственно-временной организации жестов. Методологическая основа – мультимодальный анализ, включающий наблюдение за жестами 24 информантов в пяти моделированных виртуальных сценах с варьирующимися параметрами пространственной ориентации. Установлены устойчивые траектории и формы темпоральных жестов по сагиттальной, латеральной и вертикальной осям. Подтверждена корреляция между направленностью движения и временной маркированностью, а также выявлено влияние языковой модели на выбор телесного паттерна. Определено, что жесты, сопровождающие темпоральные выражения, формируют с ними единую пространственно-временную систему, которая основана на телесных ориентирах. Обнаружено, что значение темпоральных жестов раскрывается лишь в конкретном коммуникативном контексте.
темпоралные дейктики, темпоральные жесты, виртуальная реальность, пространственный дейксис, телесные паттерны, мультимодальный анализ
1. Бондарко А. В. Принципы функциональной грамматики и вопросы аспектологии. 3-е изд. М.: УРСС, 2003. 207 с. https://elibrary.ru/qqpqbf
2. Гришина Е. А. Здесь и тут: корпусной и жестикуляционный анализ полных синонимов. Русский язык в научном освещении. 2012. № 1. С. 39–71. https://elibrary.ru/qatonh
3. Гришина Е. А. Темпоральные дейктические жесты. Известия Российской академии наук. Серия литературы и языка. 2013. Т. 72. № 1. С. 3–31. https://elibrary.ru/puypjv
4. Крейдлин Г. Е. Невербальная семиотика: язык тела и естественный язык. М.: Новое литературное обозрение, 2002. 581 с. https://elibrary.ru/stoobn
5. Литвиненко А. О., Николаева Ю. В., Кибрик А. А. Аннотирование русских мануальных жестов: теоретические и практические вопросы. Компьютерная лингвистика и интеллектуальные технологии: Междунар. конф. (Москва, 31 мая – 3 июня 2017 г.) М.: РГГУ, 2017. Т. 2. Вып. 16. С. 271–286. https://elibrary.ru/prmztv
6. Попова З. Д., Стернин И. А. Когнитивная лингвистика. М.: АСТ; Восток-Запад, 2007. 314 с. https://elibrary.ru/rufsvd
7. Рябинин К. В., Баранов Д. А., Белоусов К. И. Интеграция информационной системы Семограф и визуализатора SciVi для решения задач экспертного анализа языкового контента. Научная визуализация. 2017. Т. 9. № 4. С. 67–77. http://doi.org/10.26583/sv.9.4.07 EDN: https://elibrary.ru/WNFNFF
8. Талески А. Модели дейктического и коммуникативного поведения говорящего в виртуальной реальности. М.: Флинта, 2024. 220 с. https://elibrary.ru/eoskyp
9. Alcaraz Carrión D., Valenzuela J. Distant time, distant gesture: Speech and gesture correlate to express temporal distance. Semiotica, 2021, (241): 159–183. https://doi.org/10.1515/sem-2019-0120 EDN: https://elibrary.ru/GOVVYJ
10. Belousov K., Erofeeva E., Leshchenko Yu., Baranov D. "Semograph" information system as a framework for network-based science and education. Smart Innovation, Systems and Technologies, 2017, 75: 263–272. https://doi.org/10.1007/978-3-319-59451-4_26 EDN: https://elibrary.ru/XMYMSW
11. Calbris G. Espace-temps: Expression gestuelle du temps. Semiotica, 1985, 55(1-2): 43–74. https://doi.org/10.1515/semi.1985.55.1-2.43
12. Calbris G. From left to right...: Coverbal gestures and their symbolic use of space. Metaphor and Gesture, 2008, 27–53. https://doi.org/10.1075/gs.3.05cal
13. Casasanto D., Jasmin K. The hands of time: Temporal gestures in English speakers. Cognitive Linguistics, 2012, 23(4): 643–674. https://doi.org/10.1515/cog-2012-0020
14. Efron D. Gesture and environment: A tentative study of some of the spatiotemporal and linguistic aspects of the gestural behavior of eastern Jews and southern Italians in New York City, living under similar as well as different environmental conditions. NY: King’s Crown Press, 1941, 184.
15. Gu Y., Zheng Y., Swerts M. Which is in front of Chinese people, past or future? The effect of language and culture on temporal gestures and spatial conceptions of time. Cognitive Science, 2019, 43(12). https://doi.org/10.1111/cogs.12804
16. Haspelmath M. From space to time: Temporal adverbials in the world’s languages. München-Newcastle: Lincom Europa, 1997, 181. https://doi.org/10.5281/zenodo.831421
17. Kendon A. Gesture: Visible action as utterance. Cambridge: Cambridge University, 2004, 412. https://doi.org/10.1017/CBO9780511807572
18. Knox D. Late medieval and renaissance ideas on gesture. Die Sprache der Zeichen und Bilder. Rhetorik und nonverbale Kommunikation in der frühen Neuzeit, ed. Kapp V. Marburg: Hitzeroth, 1990, 11–39.
19. Lakoff G., Johnson M. The metaphorical structure of the human conceptual system. Cognitive Science, 1980, 4(2): 195–208. https://doi.org/10.1207/s15516709cog0402_4
20. Levinson S. C. Space in language and cognition. Cambridge: Cambridge University, 2003, 389. https://doi.org/10.1017/CBO9780511613609
21. Li H. Time on hands: Deliberate and spontaneous temporal gestures by speakers of Mandarin. Gesture, 2017, 16(3): 396–415. https://doi.org/10.1075/gest.00002.li
22. McNeill D. Hand and mind: What gestures reveal about thought. Chicago: University of Chicago, 1992, 423.
23. Mortensen K., Hazel S. The temporal organisation of leaning in social interaction. Social Interaction. Video-Based Studies of Human Sociality, 2024, 7(4). https://doi.org/10.7146/si.v7i4.152386 EDN: https://elibrary.ru/PPHJFU
24. Pagán Cánovas C., Valenzuela J., Alcaraz Carrión D., Olza I., Ramscar M. Quantifying the speech-gesture relation with massive multimodal datasets: Informativity in time expressions. PLoS ONE, 2020, 15(6). https://doi.org/10.1371/journal.pone.0233892 EDN: https://elibrary.ru/BKCVNZ
25. Patel K., Stotter J., Pali M. C., Giannopulu I. Imagine going left versus imagine going right: Whole-body motion on the lateral axis. Scientific Reports, 2024, 14. https://doi.org/10.1038/s41598-024-57220-w EDN: https://elibrary.ru/UMKSWI
26. Stolpe K., Falck M. J., Larsson A. Spatial constructions of time: Exploring co-speech gestures in lectures on programming. Cognitive Semiotics, 2025, 18(1). https://doi.org/10.1515/cogsem-2025-2002
27. The Institutio Oratoria of Quintilian with an English translation by H. E. Butler, M. A., professor of Latin in London University, ed. Carvalho D. London: William Heinemann; NY: G. P. Putnam’s Sons, 1922, vol. IV, book X, 3–154.
28. Yang Y., Sinha C., Filipovic L. Sequential time construal is primary in temporal uses of Mandarin Chinese qian "front" and hou "back". Language Sciences, 2022, 95. https://doi.org/10.1016/j.langsci.2022.101511 EDN: https://elibrary.ru/WEPGAU
