本書內(nèi)容包括:大數(shù)據(jù)解決方案與物聯(lián)網(wǎng);評估可能性藝術;理解商業(yè);大數(shù)據(jù)與物聯(lián)網(wǎng)的商業(yè)信息映射;理解組織能力;設計未來狀態(tài)信息架構等。
本書肇始于2012年。當時,主流機構正在探討Hadoop,我們也相信信息架構將會迎來變革。多年以來,商業(yè)智能和分析解決方案的重點一直放在企業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)集市,以及對其中的數(shù)據(jù)進行定義、填充和分析的最佳實踐上。結構化數(shù)據(jù)的最優(yōu)關系數(shù)據(jù)倉庫的關系型數(shù)據(jù)庫設計以及數(shù)據(jù)庫的管理已成為許多此類研究工作的重點。然而這個重點也在發(fā)生變化。
在解決商業(yè)問題的過程中,流數(shù)據(jù)源首次被認為可能具有十分重要的意義。人們通過實驗來探索這些數(shù)據(jù),希望發(fā)現(xiàn)其潛在的價值。而不幸的是,許多努力都付之東流。筆者之所以敏銳地意識到了這一點,是因為我們曾應多家機構之邀提供過一些建議。
我們承認,確實有一些機構成功地分析了新數(shù)據(jù)源。但退一步來看,我們發(fā)現(xiàn),它們之所以成功,是因為有一種新興的共通模式。在大數(shù)據(jù)計劃開始之前,這些機構的利益相關者就已經(jīng)形成了關于新數(shù)據(jù)將會如何改善商業(yè)決策的理論。所以,在構建原型時,它們能夠很快證明或駁斥這些理論。
但這種成功的方法并不是全新的。事實上,很多機構在成功開發(fā)對其業(yè)務運營至關重要的數(shù)據(jù)倉庫、商業(yè)智能和高級的分析解決方案時采用了相同的策略,這是其經(jīng)營業(yè)務的關鍵。在本書中,我們描述了一種取得成功的方法:分階段法。我們會在不同章節(jié)中分別介紹這種方法的各個階段,并介紹如何在大數(shù)據(jù)與物聯(lián)網(wǎng)項目中應用這種方法。
早在2012年,我們就已經(jīng)開始記錄這種方法了,并把那些在向客戶提供意見時已經(jīng)證明十分有用的工件匯集起來,而不考慮其技術覆蓋。此后,我們與甲骨文企業(yè)架構(Oracle Enterprise Architecture)社區(qū)、系統(tǒng)集成商及客戶一起測試并完善了這一方法。
有時,這種方法會將我們導向對傳統(tǒng)技術覆蓋的推薦。然而,新數(shù)據(jù)源往往需要引入Hadoop和NoSQL數(shù)據(jù)庫解決方案。我們已經(jīng)看到,物聯(lián)網(wǎng)應用也在日益邁開新的腳步。所以,我們希望有待解決的數(shù)據(jù)源和商業(yè)問題能推動架構的發(fā)展。
我們的工作進行了大約兩年,我們注意到,盡管許多書籍都描述了大數(shù)據(jù)與物聯(lián)網(wǎng)項目背后的技術組件,但卻很少涉及如何評估和推薦與一個組織的信息架構或與業(yè)務需求相一致的解決方案。所幸,我們在Apress出版社的朋友與我們不謀而合,看到了市場對此類圖書的需求。
本書不能取代您書架上收藏的對可能成為未來狀態(tài)信息架構的一部分的組件有詳細描述的技術文獻。因為這并非本書的意圖。(當然,有時我們也會向企業(yè)架構師咨詢哪些組件是相關的并且數(shù)量能快速發(fā)展到數(shù)以百計。)
我們的目的是向您提供在未來狀態(tài)信息架構中,組件應該如何組合在一起及其原因的堅實基礎。我們會帶您了解一種方法,這種方法可以建立有關未來足跡的愿景,收集業(yè)務需求、數(shù)據(jù)和分析需求,評估技能,確定所需的信息架構變化,以及界定路徑圖。最后,我們?yōu)槟峁┝嗽趯嵤┢陂g需要考慮的方面的一些相關指導。
我們相信本書大部分內(nèi)容對企業(yè)架構師均具有指導價值。另外,我們認為,對于在IT和業(yè)務部門中工作,且希望在這些項目中取得成功的人而言,本書也將是一項寶貴的資源。
我們的首要目標是助您成功,希望此書能幫助您實現(xiàn)目標。
羅伯特·斯特科維卡,是甲骨文公司信息架構和大數(shù)據(jù)副總裁。他的架構師及專家團隊專注于大數(shù)據(jù)(包括Hadoop和NoSQL數(shù)據(jù)庫)、預測性分析、數(shù)據(jù)倉庫、商業(yè)智能和信息的發(fā)現(xiàn)。
該團隊與正在實施這些技術,并探索新的解決方案(如由物聯(lián)網(wǎng)驅動的)的公司進行合作。羅伯特·斯特科維卡曾在世界各地的會議上發(fā)言,并共同撰寫了許多關于數(shù)據(jù)管理和商業(yè)智能的書籍,包括五個版本的《甲骨文要點》(奧銳利媒體)、《甲骨文大數(shù)據(jù)手冊》(甲骨文出版社)、《用甲骨文數(shù)據(jù)庫云服務器exadata實現(xiàn)極限性能》(甲骨文出版社)、《甲骨文數(shù)據(jù)倉庫和商業(yè)智能解決方案》(威利)。
前言
第一章 大數(shù)據(jù)解決方案與物聯(lián)網(wǎng)
從穿孔卡片到?jīng)Q策支持
數(shù)據(jù)倉庫
獨立型數(shù)據(jù)集市與從屬型數(shù)據(jù)集市
增量法
更快的實施策略
商業(yè)智能工具匹配分析
數(shù)據(jù)管理策略的發(fā)展
NoSQL數(shù)據(jù)庫
Hadoop的發(fā)展
Hadoop功能和工具
物聯(lián)網(wǎng)
本書的方法論
TOGAF和架構原則
我們的成功方法論
第二章 評估可能性藝術
了解當前狀態(tài)
信息架構成熟度的自我評估
本行業(yè)的當前業(yè)務狀況
是否需要一個新的愿景? 制定愿景
當前狀態(tài)和未來狀態(tài)數(shù)據(jù)倉庫
確定Hadoop和NoSQL數(shù)據(jù)庫適用的領域
連接Hadoop與數(shù)據(jù)倉庫基礎設施
實時推薦和操作
確認愿景
第三章 理解商業(yè)
理解商業(yè)方案
大數(shù)據(jù)與物聯(lián)網(wǎng)對商業(yè)的影響
數(shù)據(jù)采集方法
有關發(fā)現(xiàn)的計劃
進行初步調(diào)查
進行訪談
識別關鍵成功因素
商業(yè)驅動因素
IT驅動因素及與商業(yè)方案的連接
確定方案優(yōu)先順序形成的早期路線圖
確定商業(yè)影響和方案的優(yōu)先次序
其他優(yōu)先級考慮因素
開發(fā)初步商業(yè)案例
總體擁有成本(TCO)
IT價值
商業(yè)價值
需要考慮的其他平衡情況
我們才剛剛開始
第四章 大數(shù)據(jù)與物聯(lián)網(wǎng)的商業(yè)信息映射
繪制當前狀態(tài)圖示
數(shù)據(jù)流示意圖基本要素
了解當前狀態(tài)
繪制當前狀態(tài)商業(yè)信息圖示
定義未來狀態(tài)
準備未來狀態(tài)會議
未來狀態(tài)商業(yè)信息圖示
向技術設計的過渡
第五章 理解組織能力
技能評估和衡量標準
業(yè)務架構能力
數(shù)據(jù)架構能力
應用架構和集成能力
技術架構能力
解決技能差距
傳遞技能差距的消息
解決關鍵技能差距
第六章 設計未來狀態(tài)信息架構
當前狀態(tài)信息架構
數(shù)據(jù)源
用于分析的數(shù)據(jù)管理系統(tǒng)
數(shù)據(jù)分析工具和接口
確認當前狀態(tài)BIMs
基本服務器和存儲器
其他當前狀態(tài)實踐
設計未來狀態(tài)
未來狀態(tài)BIMs與信息架構
未來狀態(tài)的寬泛考量
Hadoop相關問題
物聯(lián)網(wǎng)相關問題
早期運行計劃
定義路線圖
第七章 定義初步方案和路線圖
重新審視早期發(fā)現(xiàn)
重新定義技能評估
再看一看項目優(yōu)先級
合理的商業(yè)案例
獲得真實成本估算
修改商業(yè)案例
定義路線圖
IT初步方案
制定路線圖
獲得批準以及過渡
高管會議
過渡到實施階段
第八章 實施計劃
實施步驟
項目計劃與關鍵路徑法
及時推進項目的最佳實踐
項目時間節(jié)點變更的原因
運行解決方案
服務等級與文檔
組織變更管理
結束項目
宣布項目成功
總結分析
開始新項目
物聯(lián)網(wǎng)標準
標準機構
開源代碼項目
聯(lián)盟
關于作者
鳴 謝
參考文獻
本行業(yè)的當前業(yè)務狀況
在制定未來信息架構時,了解行業(yè)的趨勢以及佳的競爭對手正如何重新調(diào)整他們的信息架構以解決這些趨勢也非常重要。要記住,大數(shù)據(jù)與物聯(lián)網(wǎng)的引進在很多行業(yè)內(nèi)正導致重新定義競爭對手是誰。一些組織正選擇根據(jù)以新的方式理解數(shù)據(jù)的能力進入其他行業(yè),從而使新的企業(yè)進入點和解決方案成為可能。
具影響力的信息架構項目總是與解決具體的企業(yè)難題有關。以下是一張傳統(tǒng)數(shù)據(jù)倉庫項目和信息架構拓展以包括Hadoop和/或物聯(lián)網(wǎng)的項目的按行業(yè)劃分的示例列表。這份列表可能會給您一些關于各領域的想法,讓您可以探索這些領域,尋找與您組織的商業(yè)目標結合時能對投資產(chǎn)生重大回報的新項目:
農(nóng)業(yè):
數(shù)據(jù)倉庫:農(nóng)產(chǎn)品和優(yōu)化成本、產(chǎn)量分析、農(nóng)產(chǎn)品商品定價/貿(mào)易分析。
Hadoop/物聯(lián)網(wǎng):耕作模式、施肥、收割成熟度和含水率(來自田地里的傳感器和氣象數(shù)據(jù))的分析和優(yōu)化。
汽車制造:
數(shù)據(jù)倉庫:生產(chǎn)成本和質(zhì)量、供應鏈分析、保固分析、銷售和市場營銷分析、人力資本管理。
Hadoop/物聯(lián)網(wǎng):客戶情感分析和車聯(lián)網(wǎng)\[包括組件故障、服務和服務日常安排的需求、駕駛記錄(包括自動化汽車)和司機緊急檢測和反應\]的分析。
銀行業(yè):
數(shù)據(jù)倉庫:金融產(chǎn)品渠道的顧客單一視圖、金融分析、欺詐檢測、信用價值、人力資本管理、房地產(chǎn)管理和優(yōu)化。
Hadoop/物聯(lián)網(wǎng):欺詐檢測、風險分析和客戶情感。
通信:
數(shù)據(jù)倉庫:定價策略和資金、客戶支持與服務、市場營銷分析、供應鏈、物流與流程優(yōu)化、法律合規(guī)性、房地產(chǎn)優(yōu)化和人力資本管理。
Hadoop/物聯(lián)網(wǎng):對社會數(shù)據(jù)、移動設備使用、網(wǎng)絡質(zhì)量與可用性(使用傳感器)、網(wǎng)絡欺詐檢測的分析,和對物聯(lián)網(wǎng)中拓展物聯(lián)網(wǎng)管理和優(yōu)化的分析。
消費性包裝產(chǎn)品:
數(shù)據(jù)倉庫:對銷售、市場營銷、供應商、制造、物流、客戶趨勢和風險的分析。
Hadoop/物聯(lián)網(wǎng):對推廣效果(通過社會媒體和商店內(nèi)傳感器)、供應鏈、運輸期間制成品的狀況、零售中的產(chǎn)品放置和風險的分析。
教育和研究:
數(shù)據(jù)倉庫:對院校或設施、員工與人力資本管理,以及校友檔案與捐贈模式的金融分析。
Hadoop/物聯(lián)網(wǎng):對風險學生(使用傳感器數(shù)據(jù))、來自傳感器的研究數(shù)據(jù)、設施監(jiān)控和使用優(yōu)化的分析。
醫(yī)療保健付款人:
數(shù)據(jù)倉庫:對護理成本、護理質(zhì)量、風險與欺詐的分析。
Hadoop/物聯(lián)網(wǎng):對投?蛻羟楦械姆治龊蛯︼L險與欺詐的分析。
醫(yī)療保健提供者:
數(shù)據(jù)倉庫:護理成本分析、護理分析質(zhì)量、員工與人力資本,以及風險。
Hadoop/物聯(lián)網(wǎng):疾病與流行病模式研究、患者監(jiān)控、設施監(jiān)控與優(yōu)化、患者觀點分析,以及風險分析。
高科技與工業(yè)制造:
數(shù)據(jù)倉庫:供應商與分銷商分析、物流管理、生產(chǎn)質(zhì)量與保固分析。
Hadoop/物聯(lián)網(wǎng):車間的生產(chǎn)和質(zhì)量分析,子裝配分析的質(zhì)量,產(chǎn)品故障與待處理故障分析以及自動化服務要求。
保險(財產(chǎn)保險與人身保險):
數(shù)據(jù)倉庫:銷售與市場營銷分析、人力資本分析,以及風險分析。
Hadoop/物聯(lián)網(wǎng):客戶情感分析與風險分析。
法律實施:
數(shù)據(jù)倉庫:物流優(yōu)化、犯罪統(tǒng)計分析,以及人力資本優(yōu)化。
Hadoop/物聯(lián)網(wǎng):威脅分析(來自社會媒體和視頻捕捉識別)。
媒體與娛樂:
數(shù)據(jù)倉庫:對查看者的偏好、媒體頻道流行程度、廣告銷售,以及市場推廣的分析。
Hadoop/物聯(lián)網(wǎng):查看習慣分析(來自機頂盒)、對娛樂場所的客戶行為的分析,以及客戶情感分析。
石油與天然氣:
數(shù)據(jù)倉庫:鉆井勘測成本分析、潛在勘測地點、生產(chǎn)、人力資本及物流優(yōu)化。
Hadoop/物聯(lián)網(wǎng):鉆探傳感器分析(故障預防)。
藥品:
數(shù)據(jù)倉庫:臨床試驗(包括藥物相互作用研究)、被試者成果分析、研究與生產(chǎn)財務分析、銷售與市場營銷分析,以及人力資本分析。
Hadoop/物聯(lián)網(wǎng):對來自傳感器、社會習慣與疾病追蹤(來自社會媒體),以及基因組研究的臨床研究數(shù)據(jù)的分析。
零售:
數(shù)據(jù)倉庫:市場購物籃分析、銷售分析、供應鏈優(yōu)化、房地產(chǎn)優(yōu)化,以及物流及分銷優(yōu)化。
Hadoop/物聯(lián)網(wǎng):全渠道分析和客戶情感分析。
運輸與物流:
數(shù)據(jù)倉庫:設備、人員物流與路線,銷售與市場營銷分析,房地產(chǎn)優(yōu)化,人力資本分析與優(yōu)化。
Hadoop/物聯(lián)網(wǎng):交通優(yōu)化(來自高速公路傳感器)、交通安全分析與控制、設備性能與潛在故障分析(來自車載傳感器)、物流管理(來自傳感器),以及客戶情感分析。
公用事業(yè):
數(shù)據(jù)倉庫:物流優(yōu)化、電網(wǎng)電能輸送分析與優(yōu)化、客戶能量使用,以及人力資本分析與優(yōu)化。
Hadoop/物聯(lián)網(wǎng):為電網(wǎng)優(yōu)化和狀態(tài)而對來自智能儀表數(shù)據(jù)的分析,主動維護優(yōu)化。
……