vmaitComputational Mathematics and Information TechnologiesComputational Mathematics and Information Technologies2587-8999Донской государственный технический университет10.23947/2587-8999-2018-2-1-33-43vmait-67Research ArticleСтатьиАнализ структуры задержек в коммутационной среде суперкомпьютера, посредством алгоритмов DBScan и дивизивной кластеризацииAnalysis of delays structure of interconnections in supercomputer by means of DBScan and divisive clustering algorithmshttps://orcid.org/0000-0001-8669-9905СальниковАлексей НиколаевичSalnikovAlexey Nikolaevich

Сальников Алексей Николаевич, Московский государственный университет имени М. В. Ломоносова (119991, г. Москва, Ленинские горы, д. 1), ведущий научный сотрудник, кандидат

Salnikov Alexey Nikolaevich, Lomonosov Moscow State University (Leninskie Gory 1, Moscow, Russian Federation), Senior Researcher, Candidate of Science in Physics and Maths

salnikov@cs.msu.ruhttps://orcid.org/0000-0002-9241-677XБегаевАртур АндреевичBegaevArtur Andreevich

Бегаев Артур Андреевич, Московский государственный университет имени М. В. Ломоносова (119991, г. Москва, Ленинские горы, д. 1)

Begaev Artur Andreevich, Lomonosov Moscow State University (Leninskie Gory 1, Moscow, Russian Federation)

https://orcid.org/0000-0002-1757-556XМайсурадзеАрчил ИвериевичMaysuradzeArchil Iverievich

Майсурадзе Арчил Ивериевич, Московский государственный университет имени М. В. Ломоносова (119991, г. Москва, Ленинские горы, д. 1), доцент, кандидат физико-математических наук

Maysuradze Archil Iverievich, Lomonosov Moscow State University (Leninskie Gory 1, Moscow, Russian Federation), Associate Professor, Candidate of Science in Physics and Maths

Московский государственный университет имени М. В. Ломоносова (119991, г. Москва, Ленинские горы, д. 1)РоссияLomonosov Moscow State University (Leninskie Gory 1, Moscow, Russian Federation)Russian Federation2018280320232167Copyright © Сальников А.Н., Бегаев А.А., Майсурадзе А.И., 20232023Сальников А.Н., Бегаев А.А., Майсурадзе А.И.Salnikov A.N., Begaev A.A., Maysuradze A.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.cmit-journal.ru/jour/article/view/67

В данной работе предлагается метод оценки и анализа величин задержек в коммуникационной среде вычислительного кластера возникающих при передаче сообщений между парами процессоров «источник-приемник». К данным о задержках, полученным на суперкомпьютерах Bluegene/P, Ломоносов, Ломоносов-2, Juropa применяются 2 метода кластеризации: DBScan и дивизивная (разделяющая) кластеризация. Показано более точное совпадение найденных кластеров методом DBScan к реально существующим особенностям в коммуникационной среде по отношению к методу дивизивной кластеризации. Кластеры объединяются около одинаковых компонентов сетевой инфраструктуры суперкомпьютера. Полученные кластеры были визуализированы в 2-х мерном пространстве специальной утилитой, разработанной авторами.

In this paper we propose method for estimating and analysis measurements of delays in the computational cluster interconnection subsystem. Delays are combined into the set of pairs (source, destination). We have measurements of delays extracted by network_test2 utility from interconnections of following supercomputers: BlueGene/P, Lomonosov-1, Lomonosov-2 (Lomonosov MSU) and Jurope (Julich). We have clustered pairs of delays by DBscan and Divisive algorithms. Results of clusterisation revealed that DBScan is more accurate algorithm then divisive and allows to extract clusters, which correspond to the actual features in the supercomputer interconnections. Clusters gather near the same components of supercomputer network infrastructure. Gained clusters were visualized in 2-D by special tool, developed by authors.

вычислительный кластералгоритмы кластеризациикоммуникационная средапараллельные вычисленияcomputing clusterclustering algorithminterconnectparallel computingReferencesBrian S. Everitt, Landau S., Leese M., Stahl D., Cluster Analysis, 5th edition // Wiley, 2011, pp. 49-53, 84-88, 220 – 222.Brian S. Everitt, Landau S., Leese M., Stahl D., Cluster Analysis, 5th edition // Wiley, 2011, pp. 49-53, 84-88, 220 – 222.Charu C. Aggarwal, Chandan K. Reddy, Data Clustering. Algorithms and Applications // CRC Press, 2014, pp. 5 – 8.Charu C. Aggarwal, Chandan K. Reddy, Data Clustering. Algorithms and Applications // CRC Press, 2014, pp. 5 – 8.A. Peiravi, A fast algorithm for connectivity graph approximation using modified Manhattan distance in dynamic networks // 2008 – Applied Mathematics and Computation, pp. 319-332A. Peiravi, A fast algorithm for connectivity graph approximation using modified Manhattan distance in dynamic networks // 2008 – Applied Mathematics and Computation, pp. 319-332Salnikov A.N., Andreev D.Yu., Lebedev D.Yu., Toolkit for analyzing the communication environment characteristics of a computational cluster based on MPI standard functions // 2012. ‒ Moscow University Computational Mathematics and Cybernetics, Vol. 36, no. 1, Moscow, publishing house Moscow State University, pp. 41-49, DOI: 10.3103/S0278641912010074.Salnikov A.N., Andreev D.Yu., Lebedev D.Yu., Toolkit for analyzing the communication environment characteristics of a computational cluster based on MPI standard functions // 2012. ‒ Moscow University Computational Mathematics and Cybernetics, Vol. 36, no. 1, Moscow, publishing house Moscow State University, pp. 41-49, DOI: 10.3103/S0278641912010074.Salnikov A.N., Maysuradze A.I., Andreev D.Yu., Kostin G.A., Klasterizatsiya rezul'tatov testirovaniya kommunikatsionnoy sredy mnogoprotsessornykh sistem: edenicy analiza, issledovaniye metodov, vizualizatsiya rezul'tatov // 2012. ‒ Vestnik of UGATU, Vol. 16, no. 6, pp. 149-157.Salnikov A.N., Maysuradze A.I., Andreev D.Yu., Kostin G.A., Klasterizatsiya rezul'tatov testirovaniya kommunikatsionnoy sredy mnogoprotsessornykh sistem: edenicy analiza, issledovaniye metodov, vizualizatsiya rezul'tatov // 2012. ‒ Vestnik of UGATU, Vol. 16, no. 6, pp. 149-157.Ester, Martin; Kriegel, Hans-Peter; Sander, Jörg; Xu, Xiaowei and other. A density-based algorithm for discovering clusters in large spatial databases with noise. // 1996. ‒ Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96), AAAI Press. pp. 226–231Ester, Martin; Kriegel, Hans-Peter; Sander, Jörg; Xu, Xiaowei and other. A density-based algorithm for discovering clusters in large spatial databases with noise. // 1996. ‒ Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96), AAAI Press. pp. 226–231Clustbench benchmarking suite: https://github.com/clustbench.Clustbench benchmarking suite: https://github.com/clustbench.

The authors declare that there are no conflicts of interest present.