Москва, Россия
Интерес к инновационным технологическим стратегиям и современным цифровым инструментам обработки информации значительно возрос в связи с необходимостью управления большими массивами неструктурированных данных. Автоматизированная суммаризация – важный инструмент в различных областях, требующих эффективного анализа и обработки больших объемов текстовой информации. В статье представлен обзор актуальных парадигм и сервисов автоматизированной суммаризации на основе междисциплинарных исследований в области лингвистики, компьютерных технологий и искусственного интеллекта. Особое внимание уделено синтаксическим и лексическим приемам, используемым нейросетевыми моделями для сжатия текста. В качестве примера рассмотрены сервисы QuillBot, Summate.it, WordTune, SciSummary, Scholarcy и OpenAI ChatGPT. Выявлено, что современные модели автоматизированной суммаризации успешно применяют экстрактивные и абстрактивные методы для создания резюме разного качества и объема. Экстрактивный подход основан на выделении наиболее значимых предложений в исходном тексте. Абстрактивные алгоритмы создают новые формулировки, сохраняя основную мысль оригинального текста. Автоматизированные суммаризаторы эффективно используют приемы сжатия текста (устранение избыточной информации, упрощение сложных конструкций и обобщение данных), присущие человеку в процессе обработки текстовой информации. Эти технологии обеспечивают высокую точность и связность генерируемых резюме, хотя каждая модель имеет свои ограничения. Для достижения оптимальных результатов важно учитывать специфику задачи и выбирать подходящую модель суммаризации: экстрактивную – для краткости и точности; абстрактивную – для более глубокой смысловой обработки текстовых данных.
автоматизированная суммаризация, авторезюмирование, экстрактивная суммаризация, абстрактивная суммаризация, нейронные сети, искусственный интеллект, междисциплинарные исследования
1. Арефьева Е. С. Статья как основной жанр современного научного стиля. Современные лингвокоммуникативные практики, отв. ред. Д. А. Розеватов. Саратов, 2018. Вып. 1. С. 14–19. https://elibrary.ru/xvzowd
2. Безлепкин Е. А., Зайкова А. С. Нейрофилософия, философия нейронаук и философия искусственного интеллекта: проблема различения. Философские науки. 2021. Т. 64. № 1. С. 71–87. https://doi.org/10.30727/0235-1188-2021-64-1-71-87
3. Белов С. Д., Зрелова Д. П., Зрелов П. В., Кореньков В. В. Обзор методов автоматической обработки текстов на естественном языке. Системный анализ в науке и образовании. 2020. № 3. С. 8–22. https://doi.org/10.37005/2071-9612-2020-3-8-22
4. Белякова А. Ю., Беляков Ю. Д. Обзор задачи автоматической суммаризации текста. Инженерный вестник Дона. 2020. № 10. С. 142–159. https://elibrary.ru/ayyyfq
5. Вертинова А. А., Пашук Н. Р., Макогонова П. В., Кошелева А. И. Оценка влияния информационного шума на принятие решений. Лидерство и менеджмент. 2022. Т. 9. № 3. С. 877–890. https://doi.org/10.18334/lim.9.3.116218
6. Головизнина В. С. Автоматическое реферирование текстов. ИТНТ-2022: VIII Междунар. конф. (Самара, 23–27 мая 2022 г.) Самара: Самарский ун-т, 2022. Т. 4. https://elibrary.ru/evsbxc
7. Горбачев А. Д., Синицын А. В. Сравнительный анализ алгоритмов суммаризации текста для проектирования и разработки программного комплекса. Развитие современной науки и технологий в условиях трансформационных процессов: XI Междунар. науч.-практ. конф. (Москва, 12 мая 2023 г.) СПб.: Печатный цех, 2023. С. 43–52. https://elibrary.ru/nonvjs
8. Гринев-Гриневич С. В., Сорокина Э. А., Молчанова М. А. Еще раз к вопросу об определении термина. Вестник Российского университета дружбы народов. Серия: Теория языка. Семиотика. Семантика. 2022. Т. 13. № 3. С. 710–729. https://doi.org/10.22363/2313-2299-2022-13-3-710-729
9. Гурьева Н. Н. Этапы и аспекты изучения парцеллированных конструкций в отечественном языкознании. Вестник Тверского государственного университета. Серия: Филология. 2020. № 1. С. 109–114. https://elibrary.ru/xjljuw
10. Дорош М., Райковский Д. И., Пугин К. В. Задача суммаризации текста. Инновации. Наука. Образование. 2022. № 49. С. 2036–2044. https://elibrary.ru/znzfhc
11. Жигалов А. Ю., Гришина Л. С., Болодурина И. П. Исследование моделей искусственного интеллекта для автоматического аннотирования и реферирования текстов. Цифровые технологии в образовании, науке, обществе: XVII Всерос. науч.-практ. конф. (Петрозаводск, 22–24 ноября 2023 г.) Петрозаводск: ПетрГУ, 2023. С. 36–38. https://elibrary.ru/tugzpu
12. Ивановская О. И., Криводерева Л. В., Харченко В. А. Об одном из приемов сжатия текста. Вестник научных конференций. 2021. № 7-2. С. 57–58. https://elibrary.ru/hptaxm
13. Иванюкович В. А., Борковский Н. Б., Лефанова И. В. Применение нейросетевых технологий при обработке неструктурированной информации. Управление информационными ресурсами: XIX Междунар. науч.-практ. конф. (Минск, 22 марта 2023 г.) Мн.: АУ РБ, 2023. С. 277–279. https://elibrary.ru/funmfv
14. Коротких Е. Г., Носенко Н. В. Семантико-прагматическая компрессия текста в обучении английскому языку для специальных целей. Современные проблемы науки и образования. 2021. № 2. https://doi.org/10.17513/spno.30665
15. Ленкова Т. А. Лид – структурный элемент статьи и самодостаточный текст. Филология и человек. 2023. № 1. С. 179–191. https://elibrary.ru/zxfpzg
16. Малышева Е. Ю., Лычагина В. А. Математические методы исследования лингвистики. Язык и культура в эпоху интеграции научного знания и профессионализации образования. 2022. № 3-1. С. 170–177. https://elibrary.ru/pxlqjx
17. Моисеенко И. М., Мальцева-Замковая Н. В., Чуйкина Н. В. Смысловое сжатие текста как компонент коммуникативной компетенции. Коммуникативные исследования. 2020. Т. 7. № 2. С. 439–458. https://doi.org/10.24147/2413-6182.2020.7(2).439-458
18. Мусаев А. А., Григорьев Д. А. Обзор современных технологий извлечения знаний из текстовых сообщений. Компьютерные исследования и моделирование. 2021. Т. 13. № 6. С. 1291–1315. https://doi.org/10.20537/2076-7633-2021-13-6-1291-1315
19. Пенцова М. М. Лингвосемиотика скандинавской топонимии Шотландии. Язык. Культура. Перевод. Коммуникация, науч. ред. В. З. Демьянков. М.: Тезаурус, 2015. С. 533–537. https://elibrary.ru/ynpdqd
20. Перелетов К. С. Обзор методов суммаризации текстов и области их применения. Высшая школа: научные исследования: Межвуз. Междунар. конгресс (Москва, 10 июня 2021 г.) М.: Инфинити, 2021. С. 147–156. https://elibrary.ru/xipzom
21. Полонский Д. А., Федосова А. О. Предобработка текста для решения NLP (Natural Language Processing). Мавлютовские чтения: XV Всерос. науч. конф. (Уфа, 26–28 октября 2021 г.) Уфа: УГАТУ, 2021. Т. 4. С. 798–802. https://elibrary.ru/autkfl
22. Полякова И. Н., Зайцев И. О. Модификация графового метода для задач автоматического реферирования с учетом синонимии. International Journal of Open Information Technologies. 2022. Т. 10. № 4. С. 45–54. https://elibrary.ru/chvbat
23. Соколова Ю. В., Чалова О. А. Особенности формирования и развития навыков самостоятельной работы на начальных этапах высшего профессионального образования. Мир науки. Педагогика и психология. 2020. Т. 8. № 2. https://doi.org/10.15862/81PDMN220
24. Сорокина С. Г. Искусственный интеллект в контексте междисциплинарных исследований языка. Вестник Кемеровского государственного университета. Серия: Гуманитарные и общественные науки. 2023. Т. 7. № 3. С. 267–280. https://doi.org/10.21603/2542-1840-2023-7-3-267-280
25. Сорокина С. Г. Использование рекуррентности как средства аргументации при построении текстов научного содержания: дис. … канд. филол. наук. М., 2016. 196 с. https://elibrary.ru/zejqeb
26. Сорокина С. Г. Особенности применения технологии автоматической суммаризации к научным публикациям. Три «Л» в парадигме современного гуманитарного знания: лингвистика, литературоведение, лингводидактика: Всерос. науч.-практ. конф. (Москва, 23 ноября 2023 г.) М.: Языки Народов Мира, 2024. С. 132–138. https://elibrary.ru/duydpi
27. Сорокина С. Г., Уланова К. Л. Имплементация категории тождества в названиях публицистических и научных текстов. Современное педагогическое образование. 2020. № 2. С. 202–207. https://elibrary.ru/aqclzy
28. Степанюк Ю. В. К проблеме классификации способов лингводидактической адаптации иноязычных текстов. Язык и действительность. Научные чтения на кафедре романских языков им. В. Г. Гака: VI Междунар. конф. (Москва, 22–26 марта 2021 г.) М.: Спутник+, 2021. С. 411–417. https://elibrary.ru/hkllet
29. Толстых О. М. Использование образовательной электронной среды Moodle для оптимизации образовательного процесса по иностранному языку студентов неязыковых специальностей. Омские научные чтения: Всерос. науч.-практ. конф. (Омск, 11–16 декабря 2017 г.) Омск: ОмГУ, 2017. С. 442–443. https://elibrary.ru/otgrhl
30. Чернышкова Е. В., Родионова Т. В., Веретельникова Ю. Я. Особенности обучения студентов медицинского профиля реферированию и аннотированию иноязычных текстов по специальности. Педагогическое взаимодействие: возможности и перспективы: V Междунар. науч.-практ. конф. (Саратов, 28–29 апреля 2023 г.) Саратов: СГМУ, 2023. С. 231–241. https://elibrary.ru/tqwzlg
31. Abualigah L., Bashabsheh M. Q., Alabool H., Shehab M. Text summarization: A brief review. Recent advances in NLP: The case of arabic language, eds. Abd Elaziz M., Al-qaness M. A. A., Ewees A. A., Dahou A. Cham: Springer, 2020, 1–15. https://doi.org/10.1007/978-3-030-34614-0_1
32. Alam H., Kumar A., Nakamura M., Rahman F., Tarnikova Y., Wilcox Che. Structured and unstructured document summarization: Design of a commercial summarizer using Lexical chains. ICDAR’03: Proc. 7 Intern. Conf., Edinburgh, 6 Aug 2003. IEEE, 2003, 1147–1152. https://doi.org/10.1109/ICDAR.2003.1227836
33. Alami N., Mallahi M. E., Amakdouf H., Qjidaa H. Hybrid method for text summarization based on statistical and semantic treatment. Multimedia Tools and Applications, 2021, 80(13): 19567–19600. https://doi.org/10.1007/s11042-021-10613-9
34. Al-Thanyyan S. S., Azmi A. M. Automated text simplification: A survey. ACM Computing Surveys, 2021, 54(2): 1–36. https://doi.org/10.1145/3442695
35. Arana-Catania M., Procter R., He Yu., Liakata M. Evaluation of abstractive summarisation models with machine translation in deliberative processes. Proceedings of the Third Workshop on New Frontiers in Summarization, online, 2021. Stroudsburg: ACL, 2021, 57–64. https://doi.org/10.18653/v1/2021.newsum-1.7
36. Aydın Ö., Karaarslan E. Is ChatGPT leading generative AI? What is beyond expectations? Academic Platform Journal of Engineering and Smart Systems, 2023, 11(3): 118–134. https://doi.org/10.2139/ssrn.4341500
37. Azaria A. ChatGPT: Usage and limitations. 2022. https://doi.org/10.31219/osf.io/5ue7n
38. Belwal R. C., Rai S., Gupta A. A new graph-based extractive text summarization using keywords or topic modeling. Journal of Ambient Intelligence and Humanized Computing, 2022, 12: 8975–8990. https://doi.org/10.1007/s12652-020-02591-x
39. Bhargava R., Sharma Ya. Deep extractive text summarization. Procedia Computer Science, 2020, 167: 138–146. https://doi.org/10.1016/j.procs.2020.03.191
40. Bhat I. K., Mohd M., Hashmy R. SumItUp: A hybrid single-document text summarizer. Soft computing: Theories and applications. Advances in intelligent systems and computing, eds. Pant M., Ray K., Sharma T., Rawat S., Bandyopadhyay A. Singapore: Springer, 2018, 619–634. https://doi.org/10.1007/978-981-10-5687-1_56
41. Cao M., Zhuge H. Automatic evaluation of text summarization based on semantic link network. SKG 2019: Proc. 15 Intern. Conf., Guangzhou, 17–18 Sep 2019. IEEE, 2020, 107–114. https://doi.org/10.1109/SKG49510.2019.00026
42. Chen D., Ma S., Harimoto K., Bao R., Su Q., Sun X. Group, extract and aggregate: Summarizing a large amount of finance news for forexmovement prediction. Proceedings of the Second Workshop on Economics and Natural Language Processing, Hong Kong, 2019. ACL, 2019, 41–50. https://doi.org/10.18653/v1/D19-5106
43. Dehru V., Tiwari P. K., Aggarwal G., Joshi B., Kartik P. Text summarization techniques and applications. ASCI 2020: Proc. Intern. Conf., Jaipur, 22–23 Dec 2020. IOP, 2021, vol. 1099. https://doi.org/10.1088/1757-899X/1099/1/012042
44. Dönicke T., Gödeke L., Varachkina H. Annotating quantified phenomena in complex sentence structures using the example of generalising statements in literary texts. Proceedings of the 17th Joint ACL-ISO Workshop on Interoperable Semantic Annotation, online, 2021. ACL, 2021, 20–32.
45. Fabbri A. R., Kryściński W., McCann B., Xiong C., Socher R., Radev D. SummEval: Re-evaluating summarization evaluation. Transactions of the Association for Computational Linguistics, 2021, 9: 391–409. https://doi.org/10.1162/tacl_a_00373
46. Ganesh A., Jaya A., Sunitha C. An overview of semantic based document summarization in different languages. ECS Transactions, 2022, 107(1): 6007–6017. https://doi.org/10.1149/10701.6007ecst
47. Gao Y., Xu Y., Huang H., Liu Q., Wei L., Liu L. Jointly learning topics in sentence embedding for document summarization. IEEE Transactions on Knowledge and Data Engineering, ed. Chen L. Piscataway: IEEE, 2020, 32(4): 688–699. https://doi.org/10.1109/TKDE.2019.2892430
48. Gehrmann S., Deng Y., Rush A. M. Bottom-up abstractive summarization. Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, 31 Oct – 4 Nov 2018. ACL, 2018, 4098–4109. https://doi.org/10.18653/v1/D18-1443
49. Ghadimi A., Beigy H. Hybrid multi-document summarization using pre-trained language models. Expert Systems with Applications, 2022, 192. https://doi.org/10.1016/j.eswa.2021.116292
50. Ghodratnama S., Zakershahrak M., Sobhanmanesh F. Adaptive summaries: A personalized concept-based summarization approach by learning from users' feedback, 2021. https://doi.org/10.48550/arXiv.2012.13387
51. Goldstein J., Mittal V., Carbonell J., Kantrowitz M. Multi-document summarization by sentence extraction. Proceedings of the 2000 NAACL-ANLP Workshop on Automatic summarization, Seattle, 30 Apr 2000. Stroudsburg: ACL, 2000, 4: 40–48. https://doi.org/10.3115/1117575.1117580
52. Guadalupe Ramos J., Navarro-Alatorre I., Flores Becerra G., Flores-Sánchez O. A formal technique for text summarization from web pages by using latent semantic analysis. Research in Computing Science, 2019, 148(3): 11–22. https://doi.org/10.13053/rcs-148-3-1
53. Gupta S., Gupta S. K. Abstractive summarization: An overview of the state of the art. Expert Systems with Applications, 2019, 121: 49–65. https://doi.org/10.1016/j.eswa.2018.12.011
54. Gupta H., Kottwani A., Gogia S., Chaudhari Sh. Text analysis and information retrieval of text data. WiSPNET 2016: Proc. Intern. Conf., Chennai, 23–25 Mar 2016. IEEE, 2016, 788–792. https://doi.org/10.1109/WiSPNET.2016.7566241
55. Gupta H., Patel M. Study of extractive text summarizer using the elmo embedding. I-SMAC 2020: Fourth Intern. Conf., Palladam, 7–9 Oct 2020. IEEE, 2020, 829–834. https://doi.org/10.1109/I-SMAC49090.2020.9243610
56. Gupta S., Sharaff A., Nagwani N. K. Frequent item-set mining and clustering based ranked biomedical text summarization. The Journal of Supercomputing, 2023, 79: 139–159. https://doi.org/10.1007/s11227-022-04578-1
57. Hovy E., Lin Ch.-Y. Automated Text Summarization and the summarist system. Proceedings of a Workshop held at Baltimore, Baltimore, 13–15 Oct 1998. ACL, 1998, 197–214. https://doi.org/10.3115/1119089.1119121
58. Huang D., Cui L., Yang S., Bao G., Wang K., Xie J., Zhang Y. What have we achieved on text summarization? Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), online, 16–20 Nov 2020. ACL, 2020, 446–469. https://doi.org/10.18653/v1/2020.emnlp-main.33
59. Hupkes D., Dankers V., Mul M., Bruni E. Compositionality decomposed: How do neural networks generalise? Journal of Artificial Intelligence Research, 2020, 67: 757–795. https://doi.org/10.1613/jair.1.11674
60. Jalil Z., Nasir J. A., Nasir M. Extractive multi-document summarization: A review of progress in the last decade. IEEE Access, 2021, 9: 130928–130946. https://doi.org/10.1109/ACCESS.2021.3112496
61. Jalilifard A., Caridá V. F., Mansano A. F., Cristo R. S., da Fonseca F. P. C. Semantic sensitive TF-IDF to determine word relevance in documents. Advances in Computing and Network Communications, eds. Thampi S. M., Gelenbe E., Atiquzzaman M., Chaudhary V., Li K. C. Singapore: Springer, 2021. https://doi.org/10.1007/978-981-33-6987-0_27
62. Ježek K., Steinberger J. Automatic summarizing (The state-of-the-art 2007 and new challenges). Znalosti, 2008, 1–12.
63. Khan A., Salim N., Kumar Y. J. A framework for multi-document abstractive summarization based on semantic role labelling. Applied Soft Computing, 2015, 30: 737–747. https://doi.org/10.1016/j.asoc.2015.01.070
64. Khurana D., Koli A., Khatter K., Singh S. Natural language processing: State of the art, current trends and challenges. Multimedia Tools and Applications, 2023, 82: 3713–3744. https://doi.org/10.1007/s11042-022-13428-4
65. Kutlu M., Ciǧir C., Cicekli I. Generic text summarization for Turkish. The Computer Journal, 2010, 53(8): 1315–1323. https://doi.org/10.1093/comjnl/bxp124
66. Lamsiyah S., El Mahdaouy A., El Alaoui S. O., Espinasse B. A supervised method for extractive single document summarization based on sentence embeddings and neural networks. AI2SD’2019: Proc. Conf., Marrakech, 8–11 Jul 2019. Cham: Springer, 2020, 1105: 75–88. https://doi.org/10.1007/978-3-030-36674-2_8
67. Linhares Pontes E., Moreno J. G., Doucet A. Linking named entities across languages using multilingual word embeddings. JCDL’20: Proc. Conf., Wuhan, 1–5 Aug 2020. NY: ACL, 2020, 329–332. https://doi.org/10.1145/3383583.3398597
68. Lubis A. R., Nasution M. K., Sitompul O. S., Zamzami E. M. The effect of the TF-IDF algorithm in times series in forecasting word on social media. Indonesian Journal of Electrical Engineering and Computer Science, 2021, 22(2): 976–984. https://doi.org/10.11591/ijeecs.v22.i2.pp976-984
69. Maddela M., Alva-Manchego F., Xu W. Controllable text simplification with explicit paraphrasing. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, online, 6–11 Jun 2021. ACL, 2021, 3536–3553. https://doi.org/10.18653/v1/2021.naacl-main.277
70. Mihalcea R. Graph-based ranking algorithms for sentence extraction, applied to text summarization. Proceedings of the ACL 2004 on Interactive poster and demonstration sessions, Barcelona, 21–26 Jul 2004. Stroudsburg: ACL, 2004. https://doi.org/10.3115/1219044.1219064
71. Mishra A. R., Naruka M. S., Tiwari S. Extraction techniques and evaluation measures for extractive text summarisation. In: Sustainable Computing. Transforming Industry 4.0 to Society 5.0, eds. Awasthi S., Sanyal G., Travieso-Gonzalez C. M., Srivastava P. K., Singh D. K., Kant R. Cham: Springer, 2023, 279–290. https://doi.org/10.1007/978-3-031-13577-4_17
72. Mohammed Badry R., Sharaf Eldin A., Saad Elzanfally D. Text summarization within the latent semantic analysis framework: Comparative study. International Journal of Computer Applications, 2013, 81(11): 40–45. https://doi.org/10.5120/14060-2366
73. Mohan M. J., Sunitha C., Ganesh A., Jaya A. A study on ontology based abstractive summarization. Procedia Computer Science, 2016, 87: 32–37. https://doi.org/10.1016/j.procs.2016.05.122
74. Mutlu B., Sezer E. A., Ali Akcayol M. Multi-document extractive text summarization: A comparative assessment on features. Knowledge-Based Systems, 2019, 183. https://doi.org/10.1016/j.knosys.2019.07.019
75. Orăsan C., Pekar V., Hasler L. a comparison of summarisation methods based on term specificity estimation. Proceedings of the Fourth International Conference on Language Resources and Evaluation (LREC’04). Lisbon: ELRA, 2004, 1037–1040. URL: http://www.lrec-conf.org/proceedings/lrec2004/pdf/362.pdf (3 May 2024).
76. Pramita Widyassari A., Rustad S., Fajar Shidik G., Noersasongko E., Syukur A., Affandy A., Rosal Ignatius Moses Setiadi D. Review of automatic text summarization techniques & methods. Journal of King Saud University – Computer and Information Sciences, 2022, 34(4): 1029–1046. https://doi.org/10.1016/j.jksuci.2020.05.006
77. Puduppully R. S., Jain P., Chen N., Steedman M. Multi-document summarization with centroid-based pretraining. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), Toronto, 9–14 Jul 2023. ACL, 2023, 128–138. https://doi.org/10.18653/v1/2023.acl-short.13
78. Saadany H., Orasan C. BLEU, METEOR, BERTScore: Evaluation of metrics performance in assessing critical translation errors in sentiment-oriented text. TRITON 2021: Proc. Conf., online, 5–7 Jul 2021. 2021, 48–56. https://doi.org/10.26615/978-954-452-071-7_006
79. Saggion H., Lapalme G. Generating indicative-informative summaries with SumUM. Computational Linguistics, 2002, 28(4): 497–526. https://doi.org/10.1162/089120102762671963
80. Sharma G., Sharma D. Automatic text summarization methods: A comprehensive review. SN Computer Science, 2022, 4(1). https://doi.org/10.1007/s42979-022-01446-w
81. Shinde M., Mhatre D., Marwal G. Techniques and research in text summarization – a survey. 2021 ICACITE: Proc. Intern. Conf., Greater Noida, 4–5 Mar 2021. IEEE, 2021, 260–263. https://doi.org/10.1109/ICACITE51222.2021.9404670
82. Sri S. H. B., Dutta S. R. A survey on automatic text summarization techniques. Journal of Physics: Conference Series, 2021, 2040(1). https://doi.org/10.1088/1742-6596/2040/1/012044
83. Supriyono, Wibawa A. P., Suyono, Kurniawan F. A survey of text summarization: Techniques, evaluation and challenges. Natural Language Processing Journal, 2024, 7. https://doi.org/10.1016/j.nlp.2024.100070
84. Thaiprayoon S., Unger H., Kubek M. Graph and centroid-based word clustering. NLPIR’20: Proc. 4 Intern. Conf., Seoul, 18–20 Dec 2020. NY: ACL, 2021, 163–168. https://doi.org/10.1145/3443279.3443290
85. Uçkan T., Karci A. Extractive multi-document text summarization based on graph independent sets. Egyptian Informatics Journal, 2020, 21(3): 145–157. https://doi.org/10.1016/j.eij.2019.12.002
86. Wilber M., Timkey W., Van Schijndel M. To point or not to point: Understanding how abstractive summarizers paraphrase text. Findings of ACL: ACL-IJCNLP 2021, eds. Zong Ch., Xia F., Li W., Navigli R. Stroudsburg: ACL, 2021, 3362–3376. https://doi.org/10.18653/v1/2021.findings-acl.298
87. Wolhandler R., Cattan A., Ernst O., Dagan I. How "multi" is multi-document summarization? EMNLP 2022: Proc. Conf., Abu Dhabi, 7–11 Dec 2022. Stroudsburg: ACL, 2022, 5761–5769. https://doi.org/10.18653/v1/2022.emnlp-main.389
88. Xiao L., Wang L., He H., Jin Y. Copy or rewrite: Hybrid summarization with hierarchical reinforcement learning. AAAI-20: Proc. 34 Conf., New York, 7–12 Feb 2020. Palo Alto: AAAI Press, 2020, 34(5): 9306–9313. https://doi.org/10.1609/aaai.v34i05.6470
89. Yadav D., Desai J., Yadav A. K. Automatic text summarization methods: A comprehensive review, 2022. https://doi.org/10.48550/arXiv.2204.01849
90. Yadav A. K., Maurya A. K., Ranvijay R. S., Yadav R. Sh. Extractive text summarization using recent approaches: A survey. International Information and Engineering Technology Association, 2021, 26(1): 109–121. https://doi.org/10.18280/isi.260112
91. Yadav A. K., Ranvijay R. S., Yadav R. S., Maurya A. K. Graph-based extractive text summarization based on single document. Multimedia Tools and Applications, 2024, 83(7): 18987–19013. https://doi.org/10.1007/s11042-023-16199-8
92. Zhou H., Ren W., Liu G., Su B., Lu W. Entity-aware abstractive multi-document summarization. Findings of ACL: ACL-IJCNLP 2021, eds. Zong Ch., Xia F., Li W., Navigli R. Stroudsburg: ACL, 2021, 351–362. https://doi.org/10.18653/v1/2021.findings-acl.30
