Современные технологии веб-архивирования

Идея веб-архивирования, реализованная впервые в 1996 г. как способ сохранения веб-контента для будущих исследователей, не утратила своего значения в XXI веке, что подтверждается значительным количеством созданных веб-архивов, разработкой программного обеспечения и инструментов веб-архивирования, повышением осведомленности об инициативах по сохранению интернета, внесением изменений в законодательство некоторых стран по обеспечению доступа к целостности исторических данных в цифровом виде. Целью исследования стало определение технологий веб-архивирования, способствующих сохранению веб-контента на глобальном, национальном и локальном уровнях, а также в рамках формирования широкого спектра тематических коллекций. В результате исследования определены тренды развития веб-архивов, подходы к структурированию системы веб-архивов для более эффективной организации работы с ними, а также этапы и способы реализации веб-архивирования, позволяющие выполнить полный цикл сохранения: сбор, сохранение, предоставление доступа, распространение и оценка полученных результатов. Сделан вывод о перспективах развития веб-архивов с учетом стандартов, рекомендованных Международным консорциумом по сохранению интернета (IIPC), а также современных инструментов веб-архивирования, в том числе с открытым исходным кодом, позволяющих расширять возможности и функциональность веб-архивов как источников поиска открытой информации, получения новых знаний, восстановления утраченной информации, часто имеющей большое культурное, научное, образовательное, художественное и социальное значение, а также проверки ранее опубликованных данных.

1. Балацкая Н. М., Мартиросова М. Б. Краеведческий веб-архив в структуре информационных ресурсов библиотеки: модель и возможности реализации. Санкт-Петербург, 2023. 208 с.

2. Демидов П. А. Способы веб-архивирования в современном архивном деле // Развитие науки и техники: механизм выбора и реализации приоритетов : сб. ст. Междунар. науч.-практ. конф. (25 дек. 2017 г., Омск). Омск ; Уфа, 2017. Ч. 6. С. 69-72

3. Поврозник Н. Г. Веб-архив как источник для изучения современной истории // Исторические исследования в контексте науки о данных: информационные ресурсы, аналитические методы и цифровые технологии. Москва, 2020. С. 401-407

4. Редькина Н. С. Мировые тенденции развития веб-архивов библиотек // Научные и технические библиотеки. 2021. № 1. С. 99-114 DOI: https://doi.org/10.33186/1027-3689-2021-1-99-114.

5. Смирнов А. А. Проблемы отечественного и зарубежного веб-архивирования в библиотеках. Веб-архивирование как область деятельности // Научные и технические библиотеки. 2022. № 12. С. 104-123 DOI: https://doi.org/10.33186/1027-3689-2022-12-104-123.

6. Bingham NJ and Byrne H (2021) Archival strategies for contemporary collecting in a world of big data: challenges and opportunities with curating the UK web archive. Big Data & Society 8 (1). DOI: https://doi.org/10.1177/20539517219904.

7. Brugger N (2005) Archiving websites: general considerations and strategies. Arhus, Denmark: Centre for Internet Reseach. URL: https://cfi.au.dk/fileadmin/www.cfi.au.dk/publikationer/archiving_underside/archiving.pdf (accessed 04.06.2024).

8. Chakarov R (2023) How many websites are there? How many are active in 2023? WebTribunal: website. URL: https://webtribunal.net/blog/how-many-websites (accessed 04.06.2024).

9. Costa M, Gomes D and Silva MJ (2017) The evolution of web archiving. International Journal on Digital Libraries 18 (3): 191-205. DOI: https://doi.org/10.1007/s00799-016-0171-9.

10. Cui C, Pinfield S, Cox A and Hopfgartner F (2023) Participatory web archiving: multifaceted challenges. Information for a better world: normality, virtuality, physicality, inclusivity: proc. of the 18th Intern. conf., iConference 2023, virtual event, March 13-17, 2023. Springer, pt. 1, pp. 79-87. DOI: https://doi.org/10.1007/978-3-031-28035-1_7.

11. Frew L, Nelson ML, Weigle MC (2023) Making changes in webpages discoverable: a change-text search interface for web archives. 2023 ACM/IEEE Joint conference on digital libraries (JCDL): proceedings: Santa Fe, NM, USA, 26-30 June 2023. Los Alamitos [et al.], pp. 71-81. DOI: https://doi.org/10.1109/JCDL57899.2023.00021.

12. Gomes D (2022) Web archives as research infrastructure for digital societies: the case study of Arquivo. pt. Archeion 123: 46-85. DOI: https://doi.org/10.4467/26581264ARC.22.012.16665.

13. Hegarty K (2022) The invention of the archived web: tracing the influence of library frameworks on web archiving infrastructure. Internet Histories 6 (4): 432451. DOI: https://doi.org/10.1080/24701475.2022.2103988.

14. Jayanetti HR, Jones SM, Klein M, Osbourne A, Koerbin P, Nelson ML and Weigle MC (2022) Creating structure in web archives with collections: different concepts from web archivists. arXiv: website. DOI: https://doi.org/10.48550/arXiv.2209.08649.

15. Khan M and Rahman AU (2019) A systematic approach towards web preservation. Information Technology and Libraries 38 (1): 71-90. DOI: https://doi.org/10.6017/ital.v38i1.10181.

16. Maemura E (2023a) Sorting URLs out: seeing the web through infrastructural inversion of archival crawling. Internet Histories 7 (4): 386-401. DOI: https://doi.org/10.1080/24701475.2023.2258697.

17. Maemura E (2023b). All WARC and no playback: the materialities of data-centered web archives research. Big Data & Society 10 (1). DOI: https://doi.org/10.1177/20539517231163172.

18. Ruest N, Fritz S and Milligan I (2022). Creating order from the mess: web archive derivative datasets and notebooks. Archives and Records 43 (3): 316-331. DOI: https://doi.org/10.1080/23257962.2022.2100336.

19. Ryan M, Keating D and Finegan J (2022) Managing and accessing web archives: Irish practitioners' perspectives. AI & Society 37 (3): 975-984. DOI: https://doi.org/10.1007/s00146-021-01364-0.