Сергей Владимирович Кушуков, инженер Научно-исследовательской лаборатории «Искусственный интеллект»
443090, г. Самара, Московское ш., 77
Sergey V. Kushukov, Engineer, Research Laboratory “Artificial Intelligence
77, Moskovskoe Shosse, Samara, 443090
Константин Николаевич Иванов, инженер Научно-исследовательской лаборатории «Искусственный интеллект»
443090, г. Самара, Московское ш., 77
Konstantin N. Ivanov, Engineer, Research Laboratory “Artificial Intelligence”
77, Moskovskoe Shosse, Samara, 443090
Сергей Павлович Левашкин, кандидат физико-математических наук, доцент, заведующий Научно-исследовательской лаборатории «Искусственный интеллект»
443090, г. Самара, Московское ш., 77
Sergey P. Levashkin, Candidate of Physical and Mathematical Sciences, Associated Professor, Head of Research Laboratory “Artificial Intelligence”
77, Moskovskoe Shosse, Samara, 443090
Михаил Владимирович Якобовский, член-корреспондент РАН, доктор физико-математических наук, директор
125047, г. Москва, Миусская пл., 4
Mikhail V. Yakobovskiy, Corresponding Member of the Russian Academy of Sciences, Doctor of Physical and Mathematical Sciences, Director
4, Miusskaya pl., Moscow, 125047
Введение. Рассматривается научная проблема изучения природно-технических систем (ПТС) Крайнего Севера в условиях изменения климата и антропогенных воздействий. Отмечается актуальность задачи обеспечения их устойчивости, что требует комплексного анализа натурных данных. Выявлены проблемы в методах автоматизированной обработки таких специфических данных. Целью работы является разработка автоматизированных методов обработки натурных данных для выявления закономерностей. В качестве инструментов используются библиотеки Python для анализа, обработки и визуализации данных.Материалы и методы. Описан объект исследования — Главный корпус Якутской ТЭЦ в условиях вечной мерзлоты. В качестве материалов исследования использованы натурные данные, полученные из инженерно-геологических скважин Якутской ТЭЦ, стационаров Чабыда и Туймаада, а также железнодорожного участка Амуро-Якутской магистрали (АЯМ). Данные включают измерения температуры и влажности грунтов, динамики сезонноталого слоя, характеристик снежного покрова и др. Представлена детальная последовательность автоматизированной обработки первичных данных из XLS-файлов с использованием библиотеки pandas, включая чтение, очистку, преобразование форматов, заполнение или замену значений, удаление дубликатов, а также сохранение обработанных данных в форматах CSV, JSON и XLSX.Результаты исследования. Представлены конкретные результаты автоматизированной обработки и систематизации первичных натурных данных. Успешно выполнено приведение разнородных измерений к единому формату, обеспечивающему их корректное использование. Сформирован уникальный массив данных на основе эмпирических наблюдений в специфических условиях Крайнего Севера. Продемонстрировано практическое применение библиотек Python для выполнения основных этапов предобработки и подготовки данных.Обсуждение и заключение. Доказано, что применение системного подхода и автоматизированной обработки данных существенно повышает качество и надежность анализа натурных данных ПТС. Устранение пропусков и нормализация данных улучшают точность, а итоговые форматы данных удобны для дальнейшего использования в моделировании. Подчеркивается универсальность применения Python. Обозначены перспективы исследования — применение методов машинного обучения, кластеризации и моделирования, предназначенных для выявления закономерностей и прогнозирования поведения природно-технических систем в условиях Крайнего Севера под воздействием климатических и антропогенных факторов
Introduction. This work addresses the scientific problem of studying natural-technological systems (NTS) of the Far North under conditions of climate change and anthropogenic impacts. The relevance of ensuring their stability is emphasized, which requires a comprehensive analysis of field data. Problems in automated processing methods of such specific data have been identified. The aim of the study is to develop automated methods for processing field data to reveal patterns. Python libraries for data analysis, processing, and visualization are used as tools.Materials and Methods. The research object is described — the Main Building of the Yakutsk Thermal Power Plant (TPP) in permafrost conditions. The study materials include field data obtained from engineering-geological boreholes at the Yakutsk TPP, monitoring stations Chabyda and Tuymaada, as well as a section of the Amur-Yakutsk railway (AYR). The data include measurements of soil temperature and moisture, seasonal thaw layer dynamics, snow cover characteristics, and others. A detailed sequence of automated processing of primary data from XLS files using the pandas library is presented, including reading, cleaning, format conversion, filling or replacing missing values, removing duplicates, and saving processed data in CSV, JSON, and XLSX formats.Results. Specific results of automated processing and systematization of primary field data are presented. Heterogeneous measurements were successfully unified into a single format, ensuring their proper use. A unique data array was formed based on empirical observations under the specific conditions of the Far North. The practical application of Python libraries for executing key stages of preprocessing and data preparation is demonstrated.Discussion and Conclusion. It is shown that the application of a systematic approach and automated data processing significantly improves the quality and reliability of natural-technological system data analysis. Handling missing data and normalization enhance accuracy, and the final data formats are convenient for further modeling. The universality of Python is highlighted. Prospects for further research include applying machine learning, clustering, and modeling methods aimed at uncovering patterns and forecasting the behavior of natural-technological systems in the Far North under climate and anthropogenic influences
The authors declare that there are no conflicts of interest present.