內 容 簡 介全書以IBM SPSS Statistics 20.0和IBM SPSS Modeler 14.1為工具，提供了醫療、金融、保險、汽車、快速消費品、市場研究、互聯網等多個行業的數據分析/挖掘案例，基于實戰需求，詳細講解整個案例的完整分析過程，并將模型和軟件的介紹融于案例講解之中，使讀者在閱讀時能突破方法和工具的局限，真正聚集于對數據分析精髓的領悟。本書所附光盤包括案例數據和分析程序/流文件，讀者可完整重現全部的分析內容。本書適合從初學者到專家各個級別的數據分析人員閱讀，尤其適合于以下讀者群：需要提升實戰能力的數據分析專業人員；在市場營銷、金融、財務、人力資源管理中需要應用數據分析的人士；從事咨詢、科研等工作的專業人士；同時也適合于各專業的本科和研究生作為學習數據分析應用的參考書。前 言
所謂藝術，就是指如果只靠系統地學習既有知識體系，但自身不具備相當的天賦，或者沒有經過長期實踐以積累經驗和激發靈感，始終難以登堂入室成為大師的那些學科；音樂、舞蹈、繪畫等就是如此。大英百科全書就把統計學定義為：一門收集數據、分析數據，并根據數據進行推斷的藝術和科學。顯然，作為一門應用學科，統計學非常強調實戰能力。一名出色的統計師需要通過經歷各種各樣的實戰分析項目來吸取經驗、教訓以便持續成長。光靠操作教科書上那些標準案例，他只能成為工匠，而不能成為大師。
近年來，隨著計算機技術的飛速發展，統計工具出現了日新月異的變化，大大提高了其可用性。統計學和數據庫技術、人工智能技術的融合，更是進一步催生了數據挖掘這個目前炙手可熱，也更強調實戰能力的領域。具體到SPSS系列產品，隨著IBM的并購，原先的SPSS軟件已經成為IBM SPSS Statistics，它定位于標準的統計分析需求，而更貼近企業用戶的數據分析與挖掘的需求則由IBM SPSS Modeler來滿足。分析工具的高度易用性和實戰需求的同步發展，使得各行各業對統計分析和數據挖掘人員的需求呈現爆炸性增長，遠遠超過了正常培養周期能夠提供的數量，而廣大統計分析人員也迫切希望能夠得到的是一本講解提高實戰操作技能的書，而不是單純以介紹某一種統計軟件為目的的參考書，以便幫助自己迅速提升實戰能力。因此，筆者便有了編寫這樣一本書的打算。
筆者先后于2000年、2002年和2004年編寫過三輪SPSS教程/參考書，均獲得了讀者的好評。作為在數據分析領域從業十余年的統計專業人員，本書的作者深知在漫長的經驗積累階段所需要付出的努力和汗水，更能體會到編寫一本實戰案例書的市場價值。雖然作者從業以來經手的分析案例有上千個，但很多優秀案例都因涉及相應公司的業務機密而無法和讀者分享。而且案例的復雜程度和代表性也頗費思量，過于復雜會牽扯太多的具體業務細節，影響案例的可讀性，而案例過于簡單，則無法展示實戰分析中可能遇到的各種情況，參考價值不大。在反復討論之后，筆者最終決定編寫此書，因為這件事情有利于推動數據分析行業的發展，非常值得去做。
本書定位為實戰類書籍，分為4個部分，共20章(不包括附錄部分)，以IBM SPSS Statistics 20.0和IBM SPSS Modeler 14.1為準，完全從實際案例的分析需求出發，講解各類方法的綜合運用和實戰操作，本書的具體特點如下。
* 行業實戰：以案例集的方式提供醫療、電信、金融、零售、市場研究等行業的真實案例，完全從實際項目的分析需求出發，講解各類方法的綜合運用，使本書更貼近數據分析實戰，更具參考價值。
* 內容全面：同樣是從實戰需求出發，不再拘泥于常規統計方法，也不再拘泥于IBM SPSS Statistics一個軟件，而是基于實際應用的需求，隨時使用各種SPSS軟件中的新功能、新技巧，必要時進一步引入Modeler來解決各種數據挖掘的具體應用，從而在實際案例的背景下，使讀者充分了解IBM SPSS系列產品的強大功能。
* 易學易用：以實用性為唯一標準，結合筆者多年的統計教學經驗和現在的商業應用經驗，重點講解實戰分析應用，案例的安排順序從簡到繁，將軟件操作的講解自然融入案例分析過程中，使讀者的學習過程更加自然流暢。
* 案例重現：本書附帶光盤中包含書中涉及的完整案例數據、案例實現程序和Modeler數據流，并提供IBM SPSS Statistics和IBM SPSS Modeler試用軟件的下載網址，讀者可以在學習時利用試用軟件同步完整重現所有的分析過程和結果，徹底避免紙上談兵的尷尬。
對不同的讀者群，他們可以從書中學到以下知識和技能。
* 軟件入門：對IBM SPSS Statistics和IBM SPSS Modeler新用戶而言，本書顯然是最佳的學習軟件操作和實戰技能的教科書。本書采用相應軟件的較新版本，就統計分析和數據挖掘項目中的一些典型案例進行了深入淺出的介紹，讀者只需要按照講解順序操作，就可以真正掌握相應的數據分析實戰操作技能。
* 技能提升：對已經熟悉相應SPSS系列產品如何使用的老用戶而言，本書則是讀者渴望多年的專家教程。筆者在案例中真正展示的并非簡單的軟件操作，而是完整的統計思維和實戰分析思路，已有數據分析基礎的讀者通過對這些案例的學習，能夠更快地跨越從理論到實戰的鴻溝，從而使自身對軟件工具的掌握和實戰操作能力都得到真正的提升。
* 觸類旁通：對資深的統計分析和數據挖掘人員而言，其對分析工具的應用早已超越了個別產品的層面，達到“不滯于物，草木竹石皆可為劍”的地步，但本書仍然具有很高的參考價值，因為軟件僅僅是實現工具，其背后的統計思維、統計方法、基本原則等完全相同，但不同的人在面對相同問題時所采用的分析流程、處理方法等各有千秋，通過對書中案例的學習、參照和比較，分析人員能夠舉一反三，從而真正對實戰操作達到“悟”的境界。
本書第1章由張文彤和鐘云飛共同編寫，第5章和第17～20章由鐘云飛編寫，第4章和第16章由王清華編寫，其余各章由張文彤編寫。
作者新浪微博：@文彤老師、@數里尋道、@AllanVV。
讀者交流微群：http://q.weibo.com/749521。
軟件試用版下載：http://peixun.pinggu.org/SPSSCaseBookDVD.zip。
本書案例數據、內容更新下載：http://www.StatStar.com。
在本書的寫作、出版、發行過程中，我們得到了IBM大中華區業務分析軟件總經理繆可延、IBM大中華區業務分析軟件技術經理周慶偉、IBM大中華區商業智能及預測分析軟件銷售經理劉海亮、IBM華西區市場經理鄧宏等多位IBM領導與同事的鼓勵、幫助與支持，人大經濟論壇則為本書提供了試用軟件的下載空間，這里一并表示由衷的感謝。
希望本書能夠幫助讀者更加深入地了解數據分析，進一步促進數據分析在國內的普及。也希望廣大讀者踴躍提出自己的寶貴意見和建議，使本書再版時能夠更加完善。
編 者
目 錄
第一部分 SPSS數據分析基礎第1章 數據分析方法論簡介 3
1.1 三種數據分析方法論 3
1.1.1 嚴格設計支持下的統計
方法論 3
1.1.2 半試驗研究支持下的統計
方法論 4
1.1.3 偏智能化、自動化分析的
數據挖掘應用方法論 5
1.2 CRISP-DM方法論介紹 6
1.2.1 概述 6
1.2.2 商業理解 8
1.2.3 數據理解 8
1.2.4 數據準備 9
1.2.5 建立模型 9
1.2.6 模型評價 9
1.2.7 結果部署 10
第2章 數據分析方法體系簡介 11
2.1 統計軟件中的數據存儲格式 11
2.1.1 二維數據表 11
2.1.2 變量的存儲類型 12
2.1.3 變量的測量尺度 12
2.2 數據的統計描述與參數估計 13
2.2.1 連續變量的統計描述 13
2.2.2 連續變量的參數估計 16
2.2.3 分類變量的統計描述和參數
估計 18
2.2.4 統計圖形體系 21
2.3 常用假設檢驗方法 24
2.3.1 假設檢驗的基本原理 25
2.3.2 單變量假設檢驗方法 26
2.3.3 雙變量假設檢驗方法 28
2.4 多變量模型 31
2.4.1 方差分析/一般線性模型 31
2.4.2 廣義線性模型和混合線性
模型 32
2.4.3 回歸模型 34
2.4.4 其他常見模型 36
2.5 多元統計分析模型 38
2.5.1 信息濃縮 38
2.5.2 變量間內在關聯結構的
探討 38
2.5.3 數據分類 39
2.5.4 分析元素間的關聯 41
2.6 智能統計分析/數據挖掘方法 42
2.6.1 樹模型 42
2.6.2 神經網絡 43
2.6.3 支持向量機 43
2.6.4 貝葉斯網絡 44
2.6.5 最近鄰元素分析 44
2.6.6 關聯規則與序列分析 44
第3章 IBM SPSS Statistics操作
入門 46
3.1 案例背景 46
3.2 數據文件的讀入與變量整理 47
3.2.1 SPSS的基本操作界面 47
3.2.2 數據準備 49
3.3 問卷數據分析 53
3.3.1 生成頻數表 53
3.3.2 計算均值 54
3.3.3 對多選題進行描述 55
3.4 項目總結和討論 56
第4章 IBM SPSS Statistics操作
進階 57
4.1 案例背景 57
4.1.1 項目背景 57
4.1.2 分析思路 59
4.2 問卷錄入 59
4.2.1 開放題的定義 59
4.2.2 單選題的定義 60
4.2.3 多選題的定義 60
4.3 問卷質量校驗 62
4.3.1 去除重復記錄 62
4.3.2 發現異常值 64
4.3.3 邏輯校驗 65
4.4 問卷數據分析 67
4.4.1 問卷加權 67
4.4.2 業務分析 70
4.5 項目總結和討論 71
第5章 IBM SPSS Modeler操作入門 73
5.1 IBM SPSS Modeler概述 73
5.1.1 IBM SPSS Modeler的界面 73
5.1.2 IBM SPSS Modeler的架構
與產品構成 76
5.2 IBM SPSS Modeler相關操作
與技巧 77
5.2.1 IBM SPSS Modeler的基本
操作 77
5.2.2 IBM SPSS Modeler中的
表達式 79
5.2.3 IBM SPSS Modeler的若干
使用技巧 79
5.3 IBM SPSS Modeler功能介紹 81
5.3.1 數據整理案例 81
5.3.2 探索性數據分析案例 82
5.3.3 建立模型、模型檢驗與模型
應用案例 83
5.4 案例分析：藥物選擇決策支持 86
5.4.1 背景介紹 86
5.4.2 數據說明 86
5.4.3 商業理解 87
5.4.4 數據理解 87
5.4.5 數據準備 88
5.4.6 模型建立和評估 89
5.4.7 模型發布 91
5.5 如何進一步學習IBM SPSS
Modeler 93
第二部分 影響因素發現與數值預測第6章 酸奶飲料新產品口味測試
研究案例 97
6.1 案例背景 97
6.1.1 研究項目概況 97
6.1.2 分析思路與商業理解 98
6.2 數據理解 98
6.2.1 研究設計框架復查 98
6.2.2 均值的列表描述 99
6.2.3 均值的圖形描述 101
6.3 不同品牌的評分差異分析 102
6.3.1 單因素方差分析模型簡介 103
6.3.2 品牌作用的總體檢驗 104
6.3.3 組間兩兩比較 105
6.3.4 方差齊性檢驗 108
6.4 兩因素方差分析模型分析 108
6.4.1 兩因素方差分析模型簡介 109
6.4.2 擬合包括交互項的飽
和模型 110
6.4.3 擬合只包含主效應的模型 111
6.4.4 組間兩兩比較 112
6.4.5 隨機因素分析 114
6.5 分析結論與討論 116
6.5.1 分析結論 116
6.5.2 Benchmark：用還是不用 116
第7章 偏態分布的激素水平影響
因素分析 118
7.1 案例背景 118
7.1.1 研究項目概況 118
7.1.2 分析思路與商業理解 119
7.2 數據理解 119
7.2.1 單變量描述 119
7.2.2 變量關聯探索 122
7.3 對因變量變換后的建模分析 127
7.3.1 常見的變量變換方法 127
7.3.2 本案例的具體操作 128
7.4 秩變換分析 131
7.5 利用Cox模型進行分析 132
7.5.1 Cox回歸模型的基本原理 133
7.5.2 本案例的具體操作 134
7.6 項目總結與討論 136
7.6.1 分析結論 136
7.6.2 如何正確選擇分析模型 136
第8章 某車企汽車年銷量預測案例 138
8.1 案例背景 138
8.1.1 研究項目概況 138
8.1.2 分析思路和商業理解 139
8.2 數據理解 140
8.3 變量變換后的線性回歸 142
8.3.1 線性回歸模型簡介 142
8.3.2 變量變換后擬合線性回歸
模型 143
8.3.3 模型擬合效果的判斷 146
8.3.4 存儲預測值和區間估計值 148
8.4 曲線擬合 148
8.4.1 用曲線估計過程同時擬合
多個曲線模型 149
8.4.2 模型擬合效果的判斷 151
8.4.3 模型的預測 153
8.5 利用非線性回歸進行擬合 154
8.5.1 模型簡介 154
8.5.2 構建分段回歸模型 155
8.5.3 不同模型效果的比較 157
8.6 項目總結與討論 158
8.6.1 分析結論 158
8.6.2 行走在理想與現實之間 158
第9章 腦外傷急救后遲發性顱腦損傷
影響因素分析案例 160
9.1 案例背景 160
9.1.1 研究項目概況 160
9.1.2 分析思路和商業理解 161
9.2 數據理解 161
9.2.1 變量關聯的圖表描述 161
9.2.2 變量關聯的單變量檢驗 164
9.3 構建二分類Logistic回歸模型 167
9.3.1 模型簡介 167
9.3.2 初步嘗試建模 169
9.3.3 構建最終模型 174
9.4 利用樹模型發現交互項 175
9.4.1 模型簡介 176
9.4.2 進行樹模型分析 178
9.5 使用廣義線性過程進行分析 181
9.5.1 模型簡介 181
9.5.2 構建僅包括主效應的模型 182
9.5.3 在模型中加入交互項 185
9.6 項目總結與討論 186
9.6.1 分析結論 186
9.6.2 尺有所短，寸有所長 187
第10章 中國消費者信心指數影響
因素分析 188
10.1 案例背景 188
10.1.1 項目背景 188
10.1.2 項目問卷 189
10.1.3 分析思路和商業理解 192
10.2 數據理解 193
10.2.1 考察時間、地域對信心
指數的影響 193
10.2.2 考察性別、職業、婚姻狀況
等對信心指數的影響 195
10.2.3 考察年齡對信心指數的
影響 196
10.3 標準GLM框架下的建模分析 197
10.3.1 建立總模型 197
10.3.2 兩兩比較的結果 200
10.4 多元方差分析模型的結果 202
10.4.1 模型簡介 202
10.4.2 擬合多元方差分析模型 203
10.5 最優尺度回歸 209
10.5.1 方法簡介 210
10.5.2 利用最優尺度回歸進行
分析 211
10.6 多水平模型框架下的建模分析 214
10.6.1 模型簡介 215
10.6.2 針對時間擬合多水平模型 216
10.7 項目總結與討論 221
10.7.1 分析結論 221
10.7.2 什么時候運用復雜模型
來建模 222
第三部分 信息濃縮、分類與感知圖呈現第11章 探討消費者購買保健品的
動機 225
11.1 案例背景 225
11.1.1 研究項目概況 225
11.1.2 分析思路和商業理解 227
11.2 數據理解 227
11.2.1 單變量描述 227
11.2.2 變量關聯探索 228
11.3 利用因子分析進行信息濃縮 229
11.3.1 模型簡介 229
11.3.2 因子分析的具體操作 231
11.4 基于因子分析結果進行市場細分 238
11.4.1 不同婚姻狀況受訪者的
差異 238
11.4.2 不同品牌保健品使用者的
因子偏好差異 240
11.5 項目總結與討論 241
11.5.1 研究結論 241
11.5.2 合理解讀因子分析的結果 242
第12章 1988年漢城奧運會男子十項
全能成績分析 244
12.1 案例背景 244
12.1.1 項目概況 244
12.1.2 分析思路和商業理解 245
12.2 數據理解 246
12.2.1 單變量描述 246
12.2.2 變量關聯性探索 246
12.2.3 嘗試初步建模 247
12.3 利用因子分析進行信息濃縮 249
12.3.1 初步分析 249
12.3.2 因子旋轉 252
12.3.3 繼續尋找更好的分析結果 253
12.3.4 結果存儲與發布 254
12.4 主成分回歸 255
12.5 將主成分回歸方程還原回原始
變量的形式 257
12.6 項目總結與討論 257
12.6.1 研究結論 257
12.6.2 正確詮釋因子的方差解釋
比例 258
第13章 打敗SARS 259
13.1 案例背景 259
13.1.1 研究項目概況 259
13.1.2 分析思路和商業理解 262
13.2 數據理解與數據準備 263
13.2.1 消費者關注的信息 263
13.2.2 突發事件保險產品購買
傾向 265
13.2.3 未來消費者生活方式的
變化 267
13.3 “非典”信息關注傾向的多維偏好
分析 269
13.3.1 模型簡介 269
13.3.2 多維偏好分析的SPSS
操作 270
13.3.3 嘗試初步建模 272
13.3.4 引入更多的背景變量 275
13.4 突發事件險種購買傾向的多重
對應分析 278
13.4.1 模型簡介 278
13.4.2 簡單對應分析 280
13.4.3 多重對應分析 284
13.5 “非典”對未來生活方式的影響 289
13.5.1 采用多維偏好分析進行
初步探索 289
13.5.2 換用因子分析進行信息
匯總 291
13.6 項目總結與討論 295
13.6.1 研究結論 29513.6.2 對多維偏好分析等信息濃縮
方法本質的討論 297
第14章 住院費用影響因素挖掘 299
14.1 案例背景 299
14.1.1 項目概況 299
14.1.2 分析思路/商業理解 302
14.2 數據理解與數據準備 303
14.2.1 費用數據分布 303
14.2.2 變量合并 305
14.2.3 極端值清理 306
14.2.4 病種分布考察 306
14.2.5 變量變換 307
14.3 采用聚類分析尋找費用類型 308
14.3.1 用因子分析匯總信息 308
14.3.2 聚類分析方法簡介 310
14.3.3 對費用數據進行聚類分析 312
14.4 住院費用影響因素的神經網絡
分析 315
14.4.1 模型簡介 316
14.4.2 初步嘗試用神經網絡建模 318
14.4.3 對年齡離散化后重新建模 323
14.4.4 構建雙因變量神經網絡 325
14.4.5 進一步尋找更清晰的結果
解釋 327
14.5 不同療法療效與費用比較的神經
網絡分析 328
14.5.1 生成工作用數據集 329
14.5.2 進行神經網絡的建模預測 330
14.5.3 模型預測值的比較 332
14.6 項目總結與討論 334
14.6.1 研究結論 334
14.6.2 數據挖掘方法和經典方法的
取舍 335
第四部分 數據挖掘案例精選
第15章 淘寶大賣家之營銷數據
分析 339
15.1 案例背景 339
15.1.1 賣家張三 339
15.1.2 分析思路和商業理解 340
15.2 利用RFM模型定位促銷名單 341
15.2.1 RFM模型簡介 341
15.2.2 對數據進行RFM模型
分析 343
15.3 尋找有重購行為買家的特征 348
15.3.1 數據理解與數據準備 348
15.3.2 利用直銷模塊尋找重購
人群的特征 354
15.4 總結與討論 356
15.4.1 可使用的其他營銷分析
方法 356
15.4.2 研究總結 357
第16章 超市商品購買關聯分析 358
16.1 案例背景 358
16.1.1 研究背景 358
16.1.2 分析思路和商業理解 358
16.2 數據準備 359
16.3 商品購買關聯分析 362
16.3.1 幾種典型關聯算法介紹 362
16.3.2 商品購買關聯分析 364
16.4 結果應用 369
第17章 電信業客戶流失分析 370
17.1 案例背景 370
17.2 商業理解 371
17.2.1 如何定義流失 372
17.2.2 哪些變量可用于預測流失 372
17.2.3 如何定義分析用數據的
時間窗口 373
17.2.4 如何從分析結果中獲取實際
收益 374
17.3 數據理解與數據準備 374
17.3.1 分析的數據基礎 374
17.3.2 生成數據挖掘寬表 376
17.3.3 數據探索性分析 382
17.4 建立模型與模型評估 390
17.4.1 模型的選擇 390
17.4.2 建模思路1：聚類 392
17.4.3 建模思路2：用決策樹生成
規則集 394
17.4.4 建模思路3：用神經網絡
生成流失評分 395
17.5 模型的應用及營銷預演 399
17.6 總結與討論 401
17.6.1 研究總結 401
17.6.2 進一步閱讀 402
第18章 信用風險評分方法 403
18.1 案例背景 403
18.1.1 引言 403
18.1.2 信用評分的方法 405
18.2 商業理解 406
18.3 數據理解與數據準備 409
18.4 建立模型與模型評估 410
18.4.1 對輸入變量分箱 411
18.4.2 用Logistic回歸建立信用
預測模型 415
18.4.3 生成信用評分模型 417
18.4.4 模型檢驗 420
18.5 對若干問題的說明 422
18.5.1 拒絕推斷 422
18.5.2 模型的監控 423
18.5.3 進一步閱讀 424
第19章 醫療保險業的欺詐發現 425
19.1 案例背景 425
19.2 商業理解 426
19.3 數據理解與數據準備 427
19.3.1 數據集概況 427
19.3.2 對數據進行描述 429
19.3.3 對數據源合并的考慮 431
19.4 建立模型 432
19.4.1 進行欺詐發現的若干技術
思路和方法 432
19.4.2 模型1：變量對比發現疑似
欺詐 434
19.4.3 模型2：通過Benford定律
發現疑似欺詐 436
19.4.4 模型3：通過對投保人細分
發現疑似欺詐 439
19.4.5 模型4：發現醫療保健機構
行為模式異常 441
19.4.6 模型5：使用關聯規則發現
多個醫保機構共用投保人
信息 441
19.4.7 模型6：發現異常診斷與
處理過程 442
19.5 結果發布 444
19.6 進一步閱讀 445
第20章 電子商務中的數據挖掘
應用 446
20.1 案例背景 446
20.1.1 引言 446
20.1.2 網絡數據分析的分類 447
20.2 數據理解 448
20.2.1 分析的數據基礎 448
20.2.2 網絡數據的常見來源 450
20.3 數據準備 452
20.3.1 識別訪問用戶 453
20.3.2 從網絡日志中提取有用
信息 454
20.3.3 合并網絡日志與相關數據 455
20.4 建立模型與模型發布 455
20.4.1 對訪問建立模型 456
20.4.2 自動選擇模型功能及組合
模型的應用 459
20.4.3 對訪問者建立模型 462
20.4.4 產品特征模型 464
20.5 進一步閱讀 465
附 錄附錄A 本書光盤內容介紹 469
附錄B SPSS 軟件的安裝與激活 470
附錄C 書中統計方法、模型與知識點
索引 472
附錄D IBM SPSS Statistics函數
一覽表 474
附錄E IBM SPSS Modeler節點
功能簡介 485
參考文獻 495
后記 498
