Ограничение сочинительного острова в лингвистической компетенции больших языковых моделей
DOI:
https://doi.org/10.21638/spbu09.2024.309Аннотация
Синтаксическим островом называется конструкция, извлечение элемента из которой приводит к неграмматичности. Действие островных ограничений обычно демонстрируется на материале передвижений операторного типа — например, вопросительного передвижения. Восприятие извлечения из сильных синтаксических островов как неграмматичного присуще всем носителям естественного языка. В настоящее время большие языковые модели способны успешно вести диалог с пользователем на раз-личные темы: они понимают смысл запросов и порождают текст, неотличимый от человеческого. Однако остается малоизученным вопрос о том, насколько схожи грамматические ограничения, которые накладываются на языковую способность людей и нейросетей. В том случае, если грамматика больших языковых моделей идентична человеческой, мы также ожидаем от них высокую чувствительность к нарушению языковых ограничений. Цель исследования состоит в том, чтобы сравнить языковую способность носителей языка и нейросетевых моделей на основе интерпретации острова сочинительной конструкции. Была проанализирована лингвистическая компетенция трех русскоязычных диалоговых моделей — ChatGPT, YandexGPT и GigaChat — с помощью двух тестов. Первый проверяет, способна ли модель верно ответить на вопрос, образованный с нарушением островных ограничений. Второй тест напрямую обращается к оценке грамматичности предложения. Результаты показали, что лингвистическая компетенция больших языковых моделей отличается от человеческой. Количество семантически верных ответов и положительных оценок грамматичности оказалось достаточно большим для всех моделей. Поведение YandexGPT является наиболее логичным, тогда как модели ChatGPT и GigaChat часто были не готовы отвечать на вопросы, которые сами считали корректными. Обнаружилось, что грамматические характеристики стимульных предложений по-разному влияют на способность моделей отвечать на вопросы и оценивать их корректность: ChatGPT и GigaChat демонстрируют схожее поведение в противоположность YandexGPT. Результаты исследования ставят под сомнение утверждение о том, что поведение больших языковых моделей идентично поведению людей.
Ключевые слова:
большие языковые модели, обработка естественного языка, островные ограничения, русский язык, синтаксис
Скачивания
Библиографические ссылки
Литература
Герасимова и др. 2024 — Герасимова А. А., Лютикова Е. А., Паско Л. И. Языковая компетенция сквозь призму грамматической вариативности. Часть 1. Теоретические и методологические соображения. Вестник Московского университета. Серия 9. Филология. 2024, (4): 9–22.
Гращенков 2024 — Гращенков П. В. RuConst: Синтаксический корпус русского языка с разметкой по непосредственным составляющим. Вестник Московского университета. Серия 9. Филология. 2024, (3): 94–112.
Зализняк, Падучева 1979 — Зализняк А. А., Падучева Е. В. Синтаксические свойства местоимения который. В кн.: Категория определенности-неопределенности в славянских и балканских языках: сб. ст. Николаева Т. М. (отв. ред.). М.: Наука, 1979. С. 289–329.
Лютикова, Герасимова 2021 — Лютикова Е. А., Герасимова А. А. (ред.). Русские острова в свете экспериментальных данных. М.: Буки Веди, 2021.
Моргунова 2021 — Моргунова Е. В. Островные конструкции в русском языке. В кн.: Русские острова в свете экспериментальных данных. Лютикова Е. А., Герасимова А. А. (ред.). М.: Буки Веди, 2021. С. 35–55.
Baldwin 1896 — Baldwin M. J. A New Factor in Evolution. The American Naturalist. 1896, 30 (354): 441–451.
Boeckx 2012 — Boeckx C. Syntactic islands. Cambridge: Cambridge University Press, 2012.
Chomsky 2004 — Chomsky N. Beyond explanatory adequacy. In: Structures and Beyond: The Cartography of Syntactic Structures. Belletti A. (ed.). Oxford: Oxford University Press, 2004. P. 104–131.
Chomsky 2013 — Chomsky N. Problems of Projection. Lingua. 2013, (130): 33–49.
Cinque 1990 — Cinque G. Types of A’ Dependencies. Cambridge: MIT Press, 1990.
Evanson et. al. 2023 — Evanson L., Lakretz Y., King J.-R. Language acquisition: do children and language models follow similar learning stages? Findings of the Association for Computational Linguistics: ACL 2023. 2023: 12205–12218.
Fenogenova et al. 2023 — Fenogenova A., Shavrina T., Kukushkin A., Tikhonova M., Emelyanov A., Malykh V., Mikhailov V., Shevelev D., Artemova E. Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP-models. In: Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2021”. 2021. P. 267–277.
Grosu 1973 — Grosu A. On the nonunitary nature of the Coordiate Structure Constraint. Linguistic Inquiry. 1973, 4 (1): 88–92.
Krejci 2020 — Krejci B. Syntactic and semantic perspectives on first conjunct agreement in Russian. PhD thesis. Stanford: Stanford University, 2020.
Lake, Baroni 2023 — Lake B. M., Baroni M. Human-like systematic generalization through a meta-learning neural network. Nature. 2023, (623): 115–121.
Lakoff 1986 — Lakoff G. Frame semantic control of the Coordinate Structure Constraint. Proceedings of the Chicago Linguistic Society. 1986, (22): 152–167.
Leivada, Westergaard 2020 — Leivada E., Westergaard M. Acceptable ungrammatical sentences, unacceptable grammatical sentences, and the role of the cognitive parser. Frontiers in Psychology. 2020, (11): 364.
Ott 2014 — Ott D. Syntactic islands by Cedric Boeckx (review). Language. 2014, (90): 287–291. Pearl, Sprouse 2013 — Pearl L., Sprouse J. Syntactic islands and learning biases: Combining experimental syntax and computational modeling to investigate the language acquisition problem. Language Acquisition. 2013, 20 (1): 23–68.
Phillips 2013a — Phillips C. On the nature of island constraints. I: Language processing and reductionist accounts. In: Experimental syntax and island effects. Sprouse J., Hornstein N. (eds). Cambridge: Cambridge University Press, 2013. P. 64–108.
Phillips 2013b — Phillips C. On the nature of island constraints. II: Language processing and reductionist accounts. In: Experimental syntax and island effects. Sprouse J., Hornstein N. (eds). Cambridge: Cambridge University Press, 2013. P. 132–157.
Rankin et al. 2015 — Rankin T., Grosso S., Reiterer S. Effects of L1 co-activation on the processing of L2 morpho-syntax in German-speaking learners of English. In: Proceedings of the 13th Generative Approaches to Second Language Acquisition Conference (GASLA 2015). Stringer D. et al. (eds). 2015. P. 196–207.
Ross 1967 — Ross J. R. Constraints on variables in syntax. PhD thesis. Cambridge, Massachusetts: Massachusetts Institute of Technology, 1967.
Tomida, Utsumi 2013 — Tomida Y., Utsumi A. A connectionist model for acquisition of syntactic islands.
Procedia — Social and Behavioral Sciences. 2013, (97): 90–97.
Wang et al. 2019 — Wang A., Pruksachatkun Y., Nangia N., Singh A., Michael J., Hill F., Levy O., Bowman S. R. Superglue: A stickier benchmark for general-purpose language understanding systems. Advances in Neural Information Processing Systems. 2019. Р. 3261–3275.
Wilcox et al. 2018 — Wilcox E. G., Levy R., Takashi M., Futrell R. What do RNN language models learn about filler-gap dependencies? In: Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP. Brussels, 2018. P. 211–221.
Wilcox et al. 2022 — Wilcox E. G., Futrell R., Levy R. Using computational models to test syntactic learnability. Linguistic Inquiry. 2022, Special Collection: CogNet: 1–44.
Williams 1978 — Williams E. Across-the-board rule application. Linguistic Inquiry. 1978, 9 (1): 31–43.
References
Герасимова и др. 2024 — Gerasimova A. A., Lyutikova E. A., Pasko L. I. Linguistic Competence Through the Lens of Grammatical Variation. Part 1. Conceptual and Methodological Considerations. Vestnik Moskovskogo universiteta. Ser. 9. Filologiia. 2024, (4): 9–22. (In Russian)
Гращенков 2024 — Grashchenkov P. V. RuConst: A Treebank for Russian. Vestnik Moskovskogo universiteta. Ser. 9. Filologiia. 2024, (3): 94–112. (In Russian)
Зализняк, Падучева 1979 — Zalizniak A. A., Paducheva E. V. Syntactic properties of the pronoun kotoryj. In: Kategoriya opredelennosti-neopredelennosti v slavyanskih i balkanskih yazykah: sbornik statei. Nikolaeva T. M. (ed.). Мoscow: Nauka Publ., 1979. P. 289–329. (In Russian)
Лютикова, Герасимова 2021 — Russian islands in the light of experimental data. Liutikova E. A., Gerasimova A. A. (eds). Moscow: Buki Vedi Publ., 2021. (In Russian)
Моргунова 2021 — Morgunova E. V. Island constraints in Russian. In: Russian islands in the light of experimental data. Liutikova E. A., Gerasimova A. A. (eds). Moscow: Buki Vedi Publ., 2021. P. 35–55. (In Russian)
Baldwin 1896 — Baldwin M. J. A New Factor in Evolution. The American Naturalist. 1896, 30 (354): 441–451.
Boeckx 2012 — Boeckx C. Syntactic islands. Cambridge: Cambridge University Press, 2012.
Chomsky 2004 — Chomsky N. Beyond explanatory adequacy. In: Structures and Beyond: The Cartography of Syntactic Structures. Belletti A. (ed.). Oxford: Oxford University Press, 2004. P. 104–131.
Chomsky 2013 — Chomsky N. Problems of Projection. Lingua. 2013, (130): 33–49.
Cinque 1990 — Cinque G. Types of A’ Dependencies. Cambridge: MIT Press, 1990.
Evanson et. al. 2023 — Evanson L., Lakretz Y., King J.-R. Language acquisition: do children and language models follow similar learning stages? Findings of the Association for Computational Linguistics: ACL 2023. 2023: 12205–12218.
Fenogenova et al. 2023 — Fenogenova A., Shavrina T., Kukushkin A., Tikhonova M., Emelyanov A., Malykh V., Mikhailov V., Shevelev D., Artemova E. Russian SuperGLUE 1.1: Revising the Lessons not Learned by Russian NLP-models. In: Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference “Dialogue 2021”. 2021. P. 267–277.
Grosu 1973 — Grosu A. On the nonunitary nature of the Coordiate Structure Constraint. Linguistic Inquiry. 1973, 4 (1): 88–92.
Krejci 2020 — Krejci B. Syntactic and semantic perspectives on first conjunct agreement in Russian. PhD thesis. Stanford: Stanford University, 2020.
Lake, Baroni 2023 — Lake B. M., Baroni M. Human-like systematic generalization through a meta-learning neural network. Nature. 2023, (623): 115–121.
Lakoff 1986 — Lakoff G. Frame semantic control of the Coordinate Structure Constraint. Proceedings of the Chicago Linguistic Society. 1986, (22): 152–167.
Leivada, Westergaard 2020 — Leivada E., Westergaard M. Acceptable ungrammatical sentences, unacceptable grammatical sentences, and the role of the cognitive parser. Frontiers in Psychology. 2020, (11): 364.
Ott 2014 — Ott D. Syntactic islands by Cedric Boeckx (review). Language. 2014, (90): 287–291. Pearl, Sprouse 2013 — Pearl L., Sprouse J. Syntactic islands and learning biases: Combining experimental syntax and computational modeling to investigate the language acquisition problem. Language Acquisition. 2013, 20 (1): 23–68.
Phillips 2013a — Phillips C. On the nature of island constraints. I: Language processing and reductionist accounts. In: Experimental syntax and island effects. Sprouse J., Hornstein N. (eds). Cambridge: Cambridge University Press, 2013. P. 64–108.
Phillips 2013b — Phillips C. On the nature of island constraints. II: Language processing and reductionist accounts. In: Experimental syntax and island effects. Sprouse J., Hornstein N. (eds). Cambridge: Cambridge University Press, 2013. P. 132–157.
Rankin et al. 2015 — Rankin T., Grosso S., Reiterer S. Effects of L1 co-activation on the processing of L2 morpho-syntax in German-speaking learners of English. In: Proceedings of the 13th Generative Approaches to Second Language Acquisition Conference (GASLA 2015). Stringer D. et al. (eds). 2015. P. 196–207.
Ross 1967 — Ross J. R. Constraints on variables in syntax. PhD thesis. Cambridge, Massachusetts: Massachusetts Institute of Technology, 1967.
Tomida, Utsumi 2013 — Tomida Y., Utsumi A. A connectionist model for acquisition of syntactic islands.
Procedia — Social and Behavioral Sciences. 2013, (97): 90–97.
Wang et al. 2019 — Wang A., Pruksachatkun Y., Nangia N., Singh A., Michael J., Hill F., Levy O., Bowman S. R. Superglue: A stickier benchmark for general-purpose language understanding systems. Advances in Neural Information Processing Systems. 2019. Р. 3261–3275.
Wilcox et al. 2018 — Wilcox E. G., Levy R., Takashi M., Futrell R. What do RNN language models learn about filler-gap dependencies? In: Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP. Brussels, 2018. P. 211–221.
Wilcox et al. 2022 — Wilcox E. G., Futrell R., Levy R. Using computational models to test syntactic learnability. Linguistic Inquiry. 2022, Special Collection: CogNet: 1–44.
Williams 1978 — Williams E. Across-the-board rule application. Linguistic Inquiry. 1978, 9 (1): 31–43.
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Статьи журнала «Вестник Санкт-Петербургского университета. Язык и литература» находятся в открытом доступе и распространяются в соответствии с условиями Лицензионного Договора с Санкт-Петербургским государственным университетом, который бесплатно предоставляет авторам неограниченное распространение и самостоятельное архивирование.
