數(shù)據(jù)質(zhì)量工程實踐

前言

最近20年，在麻省理工學(xué)院的全面數(shù)據(jù)質(zhì)量管理計劃（Total Data Quality Management program，TDQM）的引領(lǐng)下，信息質(zhì)量（數(shù)據(jù)質(zhì)量）已成為一門發(fā)展迅速的新興學(xué)科：由TDQM發(fā)起的信息質(zhì)量國際會議（International Conferenee on Information Quality，ICIS）自1996年起已召開14屆，面向應(yīng)用的MIT信息質(zhì)量工業(yè)研討會（MIT IQ Industly Symposium Program，IQIS）自2007年起已召開4屆。2006年，在TDQM的幫助下，美國阿肯色州州立大學(xué)設(shè)立了世界首個信息質(zhì)量碩士和博士學(xué)位授予點；2009年，TDQM創(chuàng)辦了信息質(zhì)量學(xué)術(shù)期刊，當(dāng)年共出版3期，刊登學(xué)術(shù)論文9篇，其中首篇論文系統(tǒng)討論了信息質(zhì)量的研究內(nèi)容，將信息質(zhì)量分為4大類19個研究主題，從而形成信息質(zhì)量的完整研究框架體系。美國已基本完成企業(yè)級數(shù)據(jù)集成，并將信息質(zhì)量問題列為企業(yè)信息化面臨的首要問題。盡管國內(nèi)有多位學(xué)者不斷呼吁要加強對“數(shù)據(jù)”的重視程度，也有少數(shù)學(xué)者較早進(jìn)人信息質(zhì)量研究領(lǐng)域，但整體上來看，當(dāng)前國內(nèi)對信息質(zhì)量仍以零星分散研究為主，缺乏系統(tǒng)性成果和規(guī)模性組織，尤其缺乏針對國內(nèi)信息化特點的信息質(zhì)量研究。我國企業(yè)數(shù)據(jù)集成環(huán)境比美國企業(yè)更加復(fù)雜，據(jù)IDC調(diào)查（2008），圍內(nèi)企業(yè)在數(shù)據(jù)集成相關(guān)項目建設(shè)中，面臨的首要問題是業(yè)務(wù)需求不明確，其次才是信息質(zhì)量問題；但事實上，國內(nèi)72％的企業(yè)存在相似重復(fù)數(shù)據(jù)，60％的企業(yè)存在不完整數(shù)據(jù)，信息質(zhì)量問題相當(dāng)嚴(yán)重，對信息質(zhì)量研究的迫切需求不容忽視。信息質(zhì)量研究在全球范圍內(nèi)日益活躍，但與此不相稱的是，全球范圍內(nèi)相關(guān)專著不過20余種，而中國大陸市場迄今為止還沒有該領(lǐng)域的書籍銷售（含英文版書籍）。本書是全球第1本面向工程應(yīng)用的信息質(zhì)量專著，它將信息質(zhì)量的概念框架與改善信息質(zhì)量的技術(shù)、工具、操作指南相結(jié)合，提出并詳細(xì)描述了獲取高質(zhì)量數(shù)據(jù)和可信信息的10個步驟，為提高信息質(zhì)量提供了一套與業(yè)務(wù)無關(guān)的系統(tǒng)方法論。

內(nèi)容概要

本書將信息質(zhì)量的概念框架與改善信息質(zhì)量的技術(shù)、工具、操作指南相結(jié)合，提出并詳細(xì)描述了獲取高質(zhì)量數(shù)據(jù)和可信信息的10個步驟，為提高信息質(zhì)量提供了一套與業(yè)務(wù)無關(guān)的系統(tǒng)方法論（簡稱“10步法”）?！稊?shù)據(jù)質(zhì)量工程實踐:獲取高質(zhì)量數(shù)據(jù)和可信信息的十大步驟》在簡述信息質(zhì)量方法和介紹“10步流程”賴以建立的基本原理及概念的基礎(chǔ)上，系統(tǒng)闡述了“10步流程”所包含的流程、指南、建議、實例和模板，討論了信息質(zhì)量項目的有關(guān)方法建議、時問安排和團(tuán)隊組建，介紹了方法論中的具體應(yīng)用技術(shù)，還以簡明易懂的形式對書中的重要概念、模板、術(shù)語等精華部分進(jìn)行了歸納整理?！　”緯鴥?nèi)容豐富，理論和實踐結(jié)合緊密，易讀性和可操作性強，既可作為信息質(zhì)量的入門和進(jìn)階用書，又可作為數(shù)據(jù)工程、信息技術(shù)等領(lǐng)域工程技術(shù)人員的參考用書。

作者簡介

Danette McGilvray，Granite Falls咨詢公司的總裁。該公司專門研究信息質(zhì)量管理和數(shù)據(jù)管治。以支持客戶滿意度、決策支持、供應(yīng)鏈管理及卓越運營方面的關(guān)鍵業(yè)務(wù)流程。

書籍目錄

第1章 概述　信息和數(shù)據(jù)質(zhì)量的影響　關(guān)于方法論的概念和步驟　工程中的數(shù)據(jù)質(zhì)量方法　付諸管理第2章 基本概念　引言　信息質(zhì)量框架　信息生命周期　數(shù)據(jù)質(zhì)量維度　業(yè)務(wù)影響技術(shù)　數(shù)據(jù)分類　數(shù)據(jù)規(guī)范　數(shù)據(jù)管治和數(shù)據(jù)統(tǒng)管　信息和數(shù)據(jù)質(zhì)量提高周期　10步流程　最佳實踐及指導(dǎo)方針第3章 10步流程　引言　步驟1 定義業(yè)務(wù)需求和方法　引言　步驟1.1確定業(yè)務(wù)問題優(yōu)先次序　步驟1.2項目規(guī)劃　步驟2分析信息環(huán)境　引言　步驟2.1 了解相關(guān)需求　步驟2.2 了解相關(guān)數(shù)據(jù)和規(guī)范　步驟2.3 了解相關(guān)技術(shù)　步驟2.4 了解相關(guān)流程　步驟2.5 了解相關(guān)人員／組織　步驟2.6 定義信息生命周期　步驟2.7 制訂數(shù)據(jù)捕獲和評估方案　步驟3 評估數(shù)據(jù)質(zhì)量　引言　步驟3.1 數(shù)據(jù)規(guī)范　步驟3.2 數(shù)據(jù)完整性準(zhǔn)則　步驟3.3 重復(fù)　步驟3.4 準(zhǔn)確性　步驟3.5 一致性和同步　步驟3.6 及時性和有效性　步驟3.7 易用性和可維護(hù)性　步驟3.8 數(shù)據(jù)覆蓋　步驟3.9 表達(dá)質(zhì)量　步驟3.10 可理解性、相關(guān)性和可信度　步驟3.11 數(shù)據(jù)衰變　步驟3.12 效用性　步驟4 評估業(yè)務(wù)影響　引言　步驟4.1 事例　步驟4.2 用法　步驟4.3 業(yè)務(wù)影響的5個“為什么”　步驟4.4 費效矩陣　步驟4.5 排序和優(yōu)先級劃分　步驟4.6 流程影響　步驟4.7 低質(zhì)量數(shù)據(jù)的代價　步驟4.8 費效分析　步驟5 確定根本原因　引言　步驟5.1 根本原因的5個“為什么”　步驟5.2 跟蹤和回溯　步驟5.3 因果／魚骨圖　步驟6 制訂提高方案　步驟7 預(yù)防未來數(shù)據(jù)錯誤　步驟8 糾正當(dāng)前數(shù)據(jù)錯誤　步驟9 實施控制　步驟10 溝通行動和結(jié)果　10步流程小結(jié)第4章 構(gòu)建個人項目　項目和10個步驟　數(shù)據(jù)質(zhì)量項目角色　項目時間安排第5章 其他技術(shù)和工具　引言　信息生命周期方法　數(shù)據(jù)捕獲　結(jié)果分析和歸檔　度量　數(shù)據(jù)質(zhì)量工具　10個步驟和六西格瑪?shù)?章 結(jié)尾　附錄A快速參考　信息質(zhì)量框架　詳細(xì)的POSMAD交互矩陣　POSMAD的階段和行動　數(shù)據(jù)質(zhì)量維度　業(yè)務(wù)影響技術(shù)　10步流程概述　數(shù)據(jù)分類的定義　術(shù)語表　參考文獻(xiàn)　圖、表和模板列表　　

章節(jié)摘錄

插圖：多數(shù)工具都使用開放性算法，但需要調(diào)整到能適合具體數(shù)據(jù)。需將業(yè)務(wù)需求轉(zhuǎn)換成工具所需的規(guī)則和算法：·確定要比較的字段和匹配標(biāo)準(zhǔn)?！ご_定標(biāo)準(zhǔn)化規(guī)則、消除重復(fù)算法、權(quán)重和閾值?！ひ髱纵啘y試以使標(biāo)準(zhǔn)化和匹配程序達(dá)到可接受的水平。預(yù)測數(shù)據(jù)準(zhǔn)備和跨語言匹配方面的困難。在像瑞士這樣的一些國家中存在多種語言，很難程序化地判斷使用哪種語言才能將數(shù)據(jù)標(biāo)準(zhǔn)化，因此，因不同語言和地址格式不得不使用不同算法和閾值。還必須處理數(shù)據(jù)的錄入方式、參考點和數(shù)據(jù)錄入人員知識上的差異。比如，在法國的某人錄入了一個法國地址，而在德國的某人通常采用十分不同的方式錄入同樣的地址。準(zhǔn)備實施匹配時，在分析行動上要花足夠的時間，對獲得成功結(jié)果非常關(guān)鍵。5.設(shè)計重復(fù)評估流程包括以下幾點：·感興趣的總體和相關(guān)的選擇標(biāo)準(zhǔn)是什么（業(yè)務(wù)和技術(shù)兩方面）。·將由誰以及何時抽取數(shù)據(jù)，需要什么樣的輸出格式?！⒂烧l在消除重復(fù)工具中操作數(shù)據(jù)，何時進(jìn)行?！⒂烧l審查消除重復(fù)的結(jié)果，何時進(jìn)行。·將由誰報告測試和分析結(jié)果，何時進(jìn)行?！⑹占裁礈y量標(biāo)準(zhǔn)，需要什么報表。6.抽取數(shù)據(jù)參考第5章“數(shù)據(jù)捕獲”一節(jié)，以確保抽取正確的數(shù)據(jù)集。7.測試重復(fù)數(shù)據(jù)使用最能滿足需求的工具。對于初步評估，或許只需查看匹配結(jié)果。直到全面測試和定義了這些結(jié)果后才可自動進(jìn)行數(shù)據(jù)變更。從工具提供商那里得到適當(dāng)培訓(xùn)，并使用可得到的最佳實踐。根據(jù)需要，管理和調(diào)整標(biāo)準(zhǔn)化程序、閾值和匹配算法。在最終滿意之前，不得不多次檢查結(jié)果／調(diào)整算法，這是正常的，不足為奇。對那些顯示重復(fù)但可接受的記錄，不做處理，但需對它們做標(biāo)記。報告所使用的測量標(biāo)準(zhǔn)，并討論其影響。如果想自動運行保留流程，請在安排時間表時多規(guī)劃些時間。即便保留流程由人員通過檢查結(jié)果和選擇保留記錄來人工完成，也必須有記錄或字段要優(yōu)先的指導(dǎo)準(zhǔn)則。將規(guī)則歸檔，并提供培訓(xùn)，以便獲取更一致的保留結(jié)果。根據(jù)經(jīng)驗，建議將標(biāo)準(zhǔn)化數(shù)據(jù)保存在與原始數(shù)據(jù)字段不同的字段內(nèi)。標(biāo)準(zhǔn)化數(shù)據(jù)用于幫助匹配。如果研究組對標(biāo)準(zhǔn)化程序進(jìn)行了調(diào)整，就可使用更新算法對數(shù)據(jù)進(jìn)行重新標(biāo)準(zhǔn)化。如果沒有原始數(shù)據(jù)，這樣做將不太可能。

媒體關(guān)注與評論

“我尊敬的同事Danette McGilvray描述了一種非常實用的規(guī)劃和管理信息質(zhì)量的方法。我建議您閱讀、領(lǐng)會和運用書中的這些知識?！薄　　狶arry P.English，信息影響國際股份有限公司的總裁和首席專家，TIQM。質(zhì)量體系的創(chuàng)始人，國際信息和數(shù)據(jù)質(zhì)量協(xié)會的構(gòu)想者和共同創(chuàng)辦人“在這個人們討論時間很長，但可行性建議很少的話題上，Danette McGilvray是一個給人們帶來清新感覺的例外。如果您想了解如何實施數(shù)據(jù)質(zhì)量項目，請閱讀本書，您需要的一切盡在其中?！薄　　狣avid Plotkin，加州汽車協(xié)會數(shù)據(jù)質(zhì)量經(jīng)理

編輯推薦

《數(shù)據(jù)質(zhì)量工程實踐:獲取高質(zhì)量數(shù)據(jù)和可信信息的十大步驟》：信息就是金錢。研究表明，數(shù)據(jù)質(zhì)量問題每年都使企業(yè)損失數(shù)10億美元，劣質(zhì)數(shù)據(jù)造成浪費和低效，破壞客戶與供應(yīng)商之間的信譽，甚至使組織無力做出明智決策。在這本既重要又及時的新書中，Danette Mc Gilvray提出了她的信息質(zhì)量“10步法”——一種被證實了的、用于在企業(yè)中了解和創(chuàng)建信息質(zhì)量的方法。她提出的方法適用于各種數(shù)據(jù)，以及各種類型和規(guī)模的組織。Danette Mc Gilvray使用這種方法已培訓(xùn)了一些“財富500強”客戶以及數(shù)百名研究人員。精彩內(nèi)容：許多模板、詳細(xì)實例以及實施“10步法”中每一步的實用建議；以易于使用的格式突出顯示了有關(guān)基本概念和定義、重要檢查點、溝通活動以及一些最佳做法，方便快速參考；一個可鏈接到眾多數(shù)據(jù)質(zhì)量資源的配套網(wǎng)站，其中包含文中勾勒出的許多規(guī)劃和信息收集模板，“10步法”基本思想的快速匯總，以及其他技術(shù)和信息。

圖書封面

圖書標(biāo)簽Tags

無

評論、評分、閱讀與下載

---

    數(shù)據(jù)質(zhì)量工程實踐 PDF格式下載

---