Аннотация

Аннотация: При работе с большими данными важно отслеживать то, откуда данные поступают в систему. Эти знания помогают как в процессах модификации и расширения функциональности отчётности, так и способствуют анализу вычислений с точки зрения эффективности использования вычислительных ресурсов. Для анализа происхождения данных в отчётности применяют линию формирования данных (Data Lineage). Производить формирование линии данных можно при помощи множества средств, одно из наиболее известных средств предполагает использование статического анализа SQL-запросов при помощи модели абстрактного синтаксического дерева (Abstract Syntax Tree, AST). Поскольку линия формирования данных представляет собой ориентированный ациклический граф, её можно анализировать и использовать для расчёта различных показателей. В данной работе предлагается перечень показателей, позволяющих оценить качество формируемой линии данных. Эти показатели позволяют оценить качество как всей линии данных, так и отдельных трансформаций внутри неё. Предлагаемые показатели позволяют проводить процесс оптимизации расчётов более эффективно и наглядно.