Аннотация

Аннотация: В статье рассматривается подход к преобразованию текстов программ в векторные представления на основе цепей Маркова, применяемый при построении матрицы попарных сходств программ, подаваемой на вход алгоритму иерархической кластеризации. Кластеризация программ выполняется с целью выявления способов решения уникальных задач по программированию, сгенерированных системой «Цифровой ассистент преподавателя», автоматизирующей массовый курс программирования на языке Python в РТУ МИРЭА. Установлено, что предварительное преобразование текстов программ в векторные представления на основе цепей Маркова, построенных для деревьев абстрактного синтаксиса, позволяет алгоритму иерархической кластеризации находить лучшие разбиения набора текстов программ на кластеры. Для иллюстрации эффективности подхода по сравнению с аналогами приведены визуализации векторных представлений текстов программ на основе цепей Маркова в пространстве низкой размерности, полученные при помощи алгоритма UMAP.