Литература
Глава 5. Качество и эффективность информационных систем.pdf
ГОСТ ISO TS 8000-1-2009 (Качество информационных данных).pdf
ГОСТ ISO 8000-1-2011 (Качество данных, часть 1).pdf
Качество программного обеспечения (Software Quality).pdf
Интеграция данных – трудности перевода (Артемьев).pdf
Качество данных — ГОСТ Р 54524 — 2011 ISO TS 8000-100-2009.pdf
Качество данных — инструмент увеличения отдачи от клиентской аналитики.pdf
Качество данных ГИС.pdf
КАЧЕСТВО МАСТЕР-ДАННЫХ В СИСТЕМАХ НСИ.pdf
Проблемы качества данных и информации в корпоративной информационной среде вуза.pdf
УПРАВЛЕНИЕ КАЧЕСТВОМ ДАННЫХ.pdf
A Model for Data Quality Assessment.pdf
Data Quality Assurance Tool for Program-Level Indicators.pdf
DATA QUALITY MATURITY.pdf
HANDBOOK ON DATA QUALITY ASSESSMENT METHODS AND TOOLS I.pdf
Introduction to Data Quality.pdf
SAS Data Quality.pdf
Общие наброски будущей статьи
Качество данных (Data quality)
Характеристика данных, показывающая степень их пригодности к анализу. Основными критериями качества являются:
— Своевременность;
— Точность;
— Полнота;
— Интерпретируемость.
Качество данных можно рассматривать в зависимости от типов систем:
— Качество данных для ERP;
— Качество данных для CRM;
— Качество данных для BI;
— Качество данных для Биллинговой системы;
— Качество данных для АБС;
— Качество данных для ХД.
Типы проектов, в которых необходимо качество данных:
— Построение хранилищ данных;
— Миграция и консолидация данных;
— Синхронизация данных;
— Управление нормативно-справочной информацией;
— Одноразовая очистка данных;
— Очистка базы данных он-лайн.
ISO/TS 8000-1:2009 Data quality — Part 1: Overview (IDT)
Проблемы качества данных:
— Отсутствие единого стандарта;
— Дублирование;
— Противоречия;
— Ошибки;
— Нехватка информации;
— Избыточная информация.
Возможности анализа и очистки клиентских данных
Наиболее востребованные способы очистки данных
1. Анализ данных и стандартизация
— анализ согласованности
— схемы стандартизации
— проверка целостности
— синтаксический и грамматический разбор и форматирование
2. Приведение в соответствие и слияние
— дедупликация данных
— поиск связей (анализ взаимозависимых клиентов)
3. Проверка корректности адреса(по базе КЛАДР)
4. Геокодированиеили другое обогащение данных из внешнего источника
CDI Методология:
Data Profiling – Анализ данных на предмет ошибок, несогласованности, избыточностии неполноты информации
Data Quality – Исправление, стандартизация и верификация данных
Data Integration – Сопоставление, объединение или связывание данных из разрозненных источников
Data Enrichment – Обогащение данных с использованием внешних и внутренних источников
Data Monitoring – Регулярная проверка и контроль целостности данных
Чистые данные – это комбинация усилий:
– Обеспечение корректного ввода данных в первичные системы
– Очистка данных на этапе ETL процедур
– Постоянный мониторинг и корректировка правил очистки (после ETL)
Технологии DataFlux – мировой лидер среди средств очистки данных
Ensuring data quality involves the following phases
— Quality Assessment
— Quality Design
— Quality Transformation
— Quality Monitoring
Еще ссылки для построения информационной статьи:
http://www.basegroup.ru/glossary/definitions/dataquality/
http://www.basegroup.ru/solutions/case/retailprofiler/
http://dis-group.ru/products/informatica/data_quality/
http://www.oracle.com/ru/c-central/cio-solutions/information-matters/importance-of-data/index.html
http://www.osp.ru/os/2002/03/181272/
http://www.jetinfo.ru/stati/chto-ni-dannye-zoloto-ili-nemnogo-o-data-quality/esb
http://www.ibm.com/developerworks/ru/library/sabir/inf_s/
http://www.int-bank.ru/articles/321/
http://www.prj-exp.ru/dwh/data_quality_in_DWH_20.php
http://www.prj-exp.ru/dwh/5_steps_to_quality_data.php
http://microsoftbi.ru/basics/eim/dqs/
http://www.iso.ru/print/rus/journal/document10629.phtml
http://www.itransition.by/data_quality/
http://emag.iis.ru/arc/infosoc/emag.nsf/BPA/26bfa22f57182f53c325762c00439b01
http://rudocs.exdat.com/docs/index-37113.html?page=2
http://dssp.petrsu.ru/p/tutorial/informatics/chapter1/3/32.htm
http://citforum.ru/security/articles/zahita_aktivov/
http://samsebestrateg.ru/pokazateli-polezno-imet-pod-rukoy-ssyilki-na-bd-pokazateley/
http://blog.finetik.com/2009/05/20/how-to-measure-and-monitor-the-quality-of-master-data/
http://dustinvannoy.wordpress.com/2010/09/25/data-quality-high-level-presentation/
http://www.joe.org/joe/2012june/tt1.php
http://prodataquality.com/DataQualityBasics.html
http://it.toolbox.com/blogs/enterprise-design/data-quality-management-concepts-6143
http://www.kismeta.com/cleand1.html
http://www.osp.ru/cio/2011/08/13010037/
http://www.basegroup.ru/solutions/case/retailprofiler/
http://www.prj-exp.ru/dwh/data_quality_in_DWH_20.php