Автоматическая обработка первичных данных натурных исследований поведения природно-технических систем при изменении климата и антропогенных воздействиях в условиях Крайнего Севера

Введение. Рассматривается научная проблема изучения природно-технических систем (ПТС) Крайнего Севера в условиях изменения климата и антропогенных воздействий. Отмечается актуальность задачи обеспечения их устойчивости, что требует комплексного анализа натурных данных. Выявлены проблемы в методах автоматизированной обработки таких специфических данных. Целью работы является разработка автоматизированных методов обработки натурных данных для выявления закономерностей. В качестве инструментов используются библиотеки Python для анализа, обработки и визуализации данных.
Материалы и методы. Описан объект исследования — Главный корпус Якутской ТЭЦ в условиях вечной мерзлоты. В качестве материалов исследования использованы натурные данные, полученные из инженерно-геологических скважин Якутской ТЭЦ, стационаров Чабыда и Туймаада, а также железнодорожного участка Амуро-Якутской магистрали (АЯМ). Данные включают измерения температуры и влажности грунтов, динамики сезонноталого слоя, характеристик снежного покрова и др. Представлена детальная последовательность автоматизированной обработки первичных данных из XLS-файлов с использованием библиотеки pandas, включая чтение, очистку, преобразование форматов, заполнение или замену значений, удаление дубликатов, а также сохранение обработанных данных в форматах CSV, JSON и XLSX.
Результаты исследования. Представлены конкретные результаты автоматизированной обработки и систематизации первичных натурных данных. Успешно выполнено приведение разнородных измерений к единому формату, обеспечивающему их корректное использование. Сформирован уникальный массив данных на основе эмпирических наблюдений в специфических условиях Крайнего Севера. Продемонстрировано практическое применение библиотек Python для выполнения основных этапов предобработки и подготовки данных.
Обсуждение и заключение. Доказано, что применение системного подхода и автоматизированной обработки данных существенно повышает качество и надежность анализа натурных данных ПТС. Устранение пропусков и нормализация данных улучшают точность, а итоговые форматы данных удобны для дальнейшего использования в моделировании. Подчеркивается универсальность применения Python. Обозначены перспективы исследования — применение методов машинного обучения, кластеризации и моделирования, предназначенных для выявления закономерностей и прогнозирования поведения природно-технических систем в условиях Крайнего Севера под воздействием климатических и антропогенных факторов

1. Поручиков М.А. Анализ данных. Самара: издательство Самарского университета; 2016. 88 с.

2. Введение в анализ данных. URL: https://mipt-stats.gitlab.io/courses/ad_fivt/titanik.html (дата обращения: 08.08.2024).

3. Лесковец Ю. Анализ больших наборов данных. Москва: ДМК; 2016. 498 c.

4. МакКинли У. Python и анализ данных. Москва: ДМК; 2015. 482 c.

5. Макшанов А.В. Технологии интеллектуального анализа данных. Санкт-Петербург: Лань; 2018. 212 c.

6. Миркин Б.Г. Введение в анализ данных. Люберцы: Юрайт; 2016. 174 c.

7. Рафалович В. Data mining, или интеллектуальный анализ данных для занятых. Практический курс. Москва: SmartBook; 2018. 352 c.

8. Чашкин Ю.Р. Математическая статистика. Анализ и обработка данных. Ростов-на-Дону: Феникс; 2017. 236 c.

9. Грон А. Машинное обучение и анализ данных с помощью Python. Санкт-Петербург: Питер; 2019. 460 c.

10. Воронцов К.В. Машинное обучение и интеллектуальный анализ данных. Москва: издательство МФТИ; 2018. 328 c.

11. Алгозина Е.Р. Обработка и анализ данных с Python и Pandas. Руководство для начинающих. Москва: ДМК; 2020. 312 c.

12. Троян И.В. Анализ данных и машинное обучение на Python. Санкт-Петербург: БХВ-Петербург; 2019. 320 c.

13. МакКинли У. Программирование на Python и анализ данных. Санкт-Петербург: Питер; 2020. 504 c.

14. Мюллер А.К., Гвидо С. Введение в машинное обучение с Python. Санкт-Петербург: Питер; 2017. 420 c.

15. Рожков Р. С., Молчанова Е. С., Фадеев М. К., Пименов Н. А. Управление природно-техническими системами через концепцию устойчивого развития и приемлемого риска. Вестник евразийской науки. 2024;16(5):1–10.

16. Дрегуло Н. Влияние климатических факторов на эксплуатацию ПТС, связанных с обработкой отходов водоотведения. URL: https://pureportal.spbu.ru/ru/publications/---------%28a9c91d8e-c5e0-43d9-98b5-8aac39cc4a61%29.html (дата обращения: 13.01.2025)

17. Влияние антропогенных факторов на тепловое загрязнение городской среды. URL: https://www.abok.ru/for_spec/articles.php?nid=7635 (дата обращения: 13.01.2025).

18. Влияние антропогенных факторов на развитие сельского хозяйства. URL: https://biohim.com.ru/articles/page2 (дата обращения: 13.01.2025).

19. Левашкин С.П., Иванов К.Н., Кушуков С.В. Ферма данных: информационная система сбора, хранения и обработки неструктурированных данных из разнородных источников. Труды Института системного программирования РАН. 2023;35(2):57–72. https://doi.org/10.15514/ISPRAS-2023-35(2)-5