ДатаПровод

Интеллектуальная платформа для интеграции, очистки, стандартизации, визуализации и контроля данных из различных источников в рамках одного предприятия. Она позволяет компаниям сократить издержки на аналитику и Data Science, повысить качество данных, централизовать управление и наладить прозрачные процессы принятия решений на основе достоверной информации.

Подсистема сбора данных

интеграция с Oracle, PostgreSQL, MS SQL, Excel, JSON, XML, PDF, DOC;
поддержка Debezium для CDC;
потоковая обработка с Apache Pulsar;
стандартизация и фильтрация данных на входе.

Подсистема процессинга

язык DDQL для описания правил верификации (isUnique, isComplete, Regex и т.д.);
автоматическая проверка качества данных в реальном времени;
интерфейс конструктора правил через Web UI.

Подсистема хранения

слои хранения: Raw, MDM, ODS, DDS, Sandbox, Mart;
интеграция с Hadoop (HDFS), ClickHouse, Minio;
поддержка блокчейн-меток в цифровых контрактах (2025+).

Подсистема генерации цифровых продуктов

интеграция с AutoML (PyCaret, H2O, AutoSklearn);
генерация гипотез и визуализаций по ML-метрикам (F1, ROC-AUC);
интерфейс выбора срезов данных и построения отчётов.

Подсистема мониторинга бизнес-процессов

интеграция с Camunda BPMN;
отслеживание статуса задач, нотификации по WebHook;
визуальный дашборд в Grafana.

Подсистема администрирования

авторизация RBAC, журналирование событий;
мониторинг (Grafana, Prometheus), деплой через GitLab CI/CD;
управление пользователями, настройками потоков и логов.

Платформа DataProvod активно использует современные инструменты и фреймворки для построения модульной архитектуры

Основной транспортный слой реализован на базе Apache Pulsar, который обеспечивает масштабируемую и надежную потоковую передачу данных между микросервисами.

Для интеграции с системами управления базами данных и отслеживания изменений используется Debezium, что позволяет снимать дельты данных в реальном времени и исключает необходимость в тяжелых загрузках данных с нуля. В случаях, где невозможно использовать Debezium используются собственные CDC процессоры.

Аналитическое и оперативное хранение данных осуществляется в кластере ClickHouse и в распределенном файловом хранилище MinIO.

Остались вопросы? Напишите нам.

Нажимая кнопку Написать, вы соглашаетесь с Политикой обработки персональных данных.