Аннотация

Аннотация: В работе исследовано влияние уточняющих инструкций и семантической обратной связи на качество выравнивая программных моделей объектов стандартизации, сгенерированных большими языковыми моделями. Проблема состоит в том, что независимо сгенерированные модели могут быть синтаксически корректными и содержательно близкими, но плохо сопоставимыми из-за различий в именовании сущностей, ролей, состояний, связей и единиц измерения. В отличие от предварительной проверки на малом числе документов, настоящее исследование выполнено на корпусе из 32 документов, шести генераторных моделей и пяти независимых итераций для каждой комбинации документа, модели и сценария. Всего обработано 2880 моделей, для из которых образовано 14400 пар и выполнено 85400 операций операций выравнивания с использованием двух COMA-подобных методов: valentine и bdikit. В результате показано, что наличие общих инструкций по семантическому именованию и структурированию кода повышает относительное качество выравнивания на 46.2%, а семантическая обратная связь ухудшает результат, повышая качество лишь на 40.3% относительно контрольного. Данный результат важно учитывать при разработке инструментов генерации формальных моделей, статического анализа, межмодельного выравнивания и подготовки промежуточных представлений для анализа технических и нормативных документов.