数据交易导航,数据资产入表,数据交易平台,数据要素市场

數(shù)據(jù)產(chǎn)品

——? PRODUCTS CENTER? ——

《大數(shù)據(jù)分析——數(shù)據(jù)倉庫項目實戰(zhàn)》
更新時間:2023/04/01
《大數(shù)據(jù)分析——數(shù)據(jù)倉庫項目實戰(zhàn)》

內(nèi)容簡介

本書按照需求規(guī)劃、需求實現(xiàn)、需求可視化的流程進行編排,遵循項目開發(fā)的實際流程,全面介紹了數(shù)據(jù)倉庫的搭建過程。在整個數(shù)據(jù)倉庫的搭建過程中,本書介紹了主要組件的安裝部署過程、需求實現(xiàn)的具體思路、部分問題的解決方案等,并在其中穿插了許多與大數(shù)據(jù)和數(shù)據(jù)倉庫相關(guān)的理論知識,包括大數(shù)據(jù)概論、數(shù)據(jù)倉庫概論、電商業(yè)務(wù)概述、數(shù)據(jù)倉庫理論準備、數(shù)據(jù)倉庫建模等。

本書從邏輯上可以分為三部分:一是大數(shù)據(jù)與數(shù)據(jù)倉庫概論及項目需求描述,主要介紹了數(shù)據(jù)倉庫的概念、應(yīng)用場景和搭建需求;二是項目部署的環(huán)境準備,介紹了如何從零開始搭建一個完整的數(shù)據(jù)倉庫環(huán)境;三是需求模塊實現(xiàn),針對不同需求分模塊進行實現(xiàn),是本書的重點部分。

本書適合具有一定的編程基礎(chǔ)并對大數(shù)據(jù)感興趣的讀者閱讀。通過閱讀本書,讀者可以快速了解數(shù)據(jù)倉庫,全面掌握數(shù)據(jù)倉庫的相關(guān)技術(shù)。


作者簡介

尚硅谷IT教育是一家專業(yè)的IT教育培訓(xùn)機構(gòu),開設(shè)了JavaEE、大數(shù)據(jù)、HTML5前端等多門學(xué)科,在互聯(lián)網(wǎng)上發(fā)布的JavaEE、大數(shù)據(jù)、HTML5前端、區(qū)塊鏈、C語言、Python等技術(shù)視頻教程廣受贊譽。

目  錄

第1章  大數(shù)據(jù)與數(shù)據(jù)倉庫概論      1

1.1  大數(shù)據(jù)概論     1

1.1.1  什么是大數(shù)據(jù)     1

1.1.2  大數(shù)據(jù)生態(tài)圈簡介    2

1.1.3  大數(shù)據(jù)應(yīng)用場景  3

1.2  數(shù)據(jù)倉庫概論  4

1.2.1  什么是數(shù)據(jù)倉庫  4

1.2.2  數(shù)據(jù)倉庫能干什么    4

1.2.3  數(shù)據(jù)倉庫的特點  5

1.3  學(xué)前導(dǎo)讀   6

1.3.1  學(xué)習(xí)的基礎(chǔ)要求  6

1.3.2  你將學(xué)到什么     7

1.4  本章總結(jié)   7

第2章  項目需求描述  8

2.1  任務(wù)概述   8

2.1.1  產(chǎn)品描述      9

2.1.2  系統(tǒng)目標      9

2.1.3  系統(tǒng)功能結(jié)構(gòu)     9

2.1.4  系統(tǒng)流程圖   10

2.2  業(yè)務(wù)描述   10

2.2.1  采集模塊業(yè)務(wù)描述    10

2.2.2  數(shù)據(jù)倉庫需求業(yè)務(wù)描述   16

2.2.3  數(shù)據(jù)可視化業(yè)務(wù)描述 17

2.3  系統(tǒng)運行環(huán)境  17

2.3.1  硬件環(huán)境      17

2.3.2  軟件環(huán)境      18

2.4  本章總結(jié)   20

第3章  項目部署的環(huán)境準備   21

3.1  Linux環(huán)境準備      21

3.1.1  VMware安裝      21

3.1.2  CentOS安裝 21

3.1.3  遠程終端安裝     31

3.2  Linux環(huán)境配置      34

3.2.1  網(wǎng)絡(luò)配置      34

3.2.2  網(wǎng)絡(luò)IP地址配置 35

3.2.3  主機名配置   36

3.2.4  防火墻配置   37

3.2.5  一般用戶設(shè)置     38

3.3  Hadoop環(huán)境搭建  38

3.3.1  虛擬機環(huán)境準備  39

3.3.2  JDK安裝 45

3.3.3  Hadoop安裝      46

3.3.4  Hadoop分布式集群部署 47

3.3.5  配置Hadoop支持LZO壓縮 52

3.3.6  配置Hadoop支持Snappy壓縮   53

3.4  本章總結(jié)   54

第4章  用戶行為數(shù)據(jù)采集模塊      55

4.1  日志生成   55

4.2  采集日志的Flume  57

4.2.1  Flume組件   58

4.2.2  Flume安裝   58

4.2.3  采集日志Flume配置 59

4.2.4  Flume的ETL攔截器和日志類型區(qū)分攔截器   61

4.2.5  采集日志Flume啟動、停止腳本  67

4.3  消息隊列Kafka      68

4.3.1  Zookeeper安裝  68

4.3.2  Zookeeper集群啟動、停止腳本  70

4.3.3  Kafka安裝    71

4.3.4  Kafka集群啟動、停止腳本    73

4.3.5  Kafka Topic相關(guān)操作 74

4.4  消費Kafka日志的Flume    75

4.4.1  消費日志Flume配置 75

4.4.2  消費日志Flume啟動、停止腳本  78

4.5  采集通道啟動、停止腳本   79

4.6  本章總結(jié)   80

第5章  業(yè)務(wù)數(shù)據(jù)采集模塊 81

5.1  電商業(yè)務(wù)概述  81

5.1.1  電商業(yè)務(wù)流程     81

5.1.2  電商常識      82

5.1.3  電商表結(jié)構(gòu)   82

5.1.4  數(shù)據(jù)同步策略     89

5.2  業(yè)務(wù)數(shù)據(jù)采集  90

5.2.1  MySQL安裝  90

5.2.2  業(yè)務(wù)數(shù)據(jù)生成     92

5.2.3  業(yè)務(wù)數(shù)據(jù)建模     94

5.2.4  Sqoop安裝  96

5.2.5  業(yè)務(wù)數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫   97

5.3  本章總結(jié)   109

第6章  數(shù)據(jù)倉庫搭建模塊 110

6.1  數(shù)據(jù)倉庫理論準備 110

6.1.1  范式理論      110

6.1.2  關(guān)系模型與維度模型 113

6.1.3  星形模型、雪花模型與星座模型  114

6.1.4  表的分類      116

6.1.5  為什么要分層     117

6.1.6  數(shù)據(jù)倉庫建模     118

6.1.7  業(yè)務(wù)術(shù)語      121

6.2  數(shù)據(jù)倉庫搭建環(huán)境準備      123

6.2.1  MySQL HA    123

6.2.2  Hive安裝      130

6.2.3  Tez引擎安裝      134

6.3  數(shù)據(jù)倉庫搭建——ODS層  138

6.3.1  創(chuàng)建數(shù)據(jù)庫   138

6.3.2  用戶行為數(shù)據(jù)     138

6.3.3  ODS層用戶行為數(shù)據(jù)導(dǎo)入腳本    141

6.3.4  業(yè)務(wù)數(shù)據(jù)      142

6.3.5  ODS層業(yè)務(wù)數(shù)據(jù)導(dǎo)入腳本     151

6.4  數(shù)據(jù)倉庫搭建——DWD層 154

6.4.1  用戶行為啟動日志表解析      154

6.4.2  用戶行為事件表拆分 157

6.4.3  用戶行為事件表解析 167

6.4.4  業(yè)務(wù)數(shù)據(jù)維度表解析 189

6.4.5  業(yè)務(wù)數(shù)據(jù)事實表解析 195

6.4.6  拉鏈表構(gòu)建之用戶維度表      209

6.4.7  DWD層數(shù)據(jù)導(dǎo)入腳本     214

6.5  數(shù)據(jù)倉庫搭建——DWS層 223

6.5.1  系統(tǒng)函數(shù)      223

6.5.2  用戶行為數(shù)據(jù)聚合    224

6.5.3  業(yè)務(wù)數(shù)據(jù)聚合     226

6.5.4  DWS層數(shù)據(jù)導(dǎo)入腳本      237

6.6  數(shù)據(jù)倉庫搭建——DWT層 246

6.6.1  設(shè)備主題寬表     247

6.6.2  會員主題寬表     249

6.6.3  商品主題寬表     251

6.6.4  優(yōu)惠券主題寬表  254

6.6.5  活動主題寬表     256

6.6.6  DWT層數(shù)據(jù)導(dǎo)入腳本      258

6.7  數(shù)據(jù)倉庫搭建——ADS層  264

6.7.1  設(shè)備主題      264

6.7.2  會員主題      272

6.7.3  商品主題      275

6.7.4  營銷主題      279

6.7.5  ADS層數(shù)據(jù)導(dǎo)入腳本 283

6.8  結(jié)果數(shù)據(jù)導(dǎo)出腳本 291

6.9  會員主題指標獲取的全調(diào)度流程    293

6.9.1  Azkaban安裝     293

6.9.2  創(chuàng)建可視化的MySQL數(shù)據(jù)庫和表      300

6.9.3  編寫指標獲取調(diào)度流程   301

6.10  本章總結(jié) 306

第7章  數(shù)據(jù)可視化模塊    307

7.1  模擬可視化數(shù)據(jù)    307

7.1.1  會員主題      307

7.1.2  地區(qū)主題      308

7.2  Superset部署  310

7.2.1  環(huán)境準備      310

7.2.2  Superset安裝     312

7.3  Superset使用  314

7.3.1  對接MySQL數(shù)據(jù)源  314

7.3.2  制作儀表盤   317

7.4  本章總結(jié)   322

第8章  即席查詢模塊  323

8.1  Presto 323

8.1.1  Presto特點   323

8.1.2  Presto安裝   324

8.1.3  Presto優(yōu)化之數(shù)據(jù)存儲    328

8.1.4  Presto優(yōu)化之查詢SQL    329

8.1.5  Presto注意事項  330

8.2  Druid  330

8.2.1  Druid簡介    330

8.2.2  Druid框架原理   331

8.2.3  Druid數(shù)據(jù)結(jié)構(gòu)   332

8.2.4  Druid安裝(單機版)     333

8.3  Kylin    338

8.3.1  Kylin簡介     338

8.3.2  HBase安裝   339

8.3.3  Kylin安裝     341

8.3.4  Kylin使用     343

8.3.5  Kylin Cube構(gòu)建原理  353

8.3.6  Kylin Cube構(gòu)建優(yōu)化  356

8.3.7  Kylin BI工具集成 360

8.4  即席查詢框架對比 367

8.5  本章總結(jié)   368

第9章  元數(shù)據(jù)管理模塊    369

9.1  Atlas入門 369

9.1.1  Atlas概述     369

9.1.2  Atlas架構(gòu)原理    370

9.2  Atlas安裝及使用   371

9.2.1  安裝前環(huán)境準備  371

9.2.2  集成外部框架     373

9.2.3  集群啟動      377

9.2.4  導(dǎo)入Hive元數(shù)據(jù)到Atlas 377

9.3  Atlas界面查看及使用  378

9.3.1  查看基本信息     378

9.3.2  查看血緣依賴關(guān)系    381

9.4  本章總結(jié)   386


上一頁:已經(jīng)為第一條
上一頁:已經(jīng)為第一條

相關(guān)推薦

在線咨詢

在線留言
主站蜘蛛池模板: 江西食用油批发_江西食用油厂家_菜籽油厂家-江西省家泰粮油科技有限公司 | 徐州护栏,围栏,锌铁丝网围栏安全设施专家徐州铜山区威峰金属护栏厂 | 捏炼机_密炼机_炼胶机_平板硫化机-青岛光越橡胶机械制造有限公司 | 油气回收设备厂家_加油站/化工厂油气回收装置解决方案-金辉环保 油漆颜料砂磨机,油墨水砂磨机,水性涂料砂磨机-常州市奥能达机械设备有限公司 | 化妆粉扑厂家【秀兰】一线品牌资格供应商_海绵粉扑批发_气垫粉扑价格_广州秀兰生物科技有限公司 化工招聘网 化工人才网|化工英才网-化工企业招聘首选网站 | 疝灯试验箱-有风源淋雨-汽车盐雾室-无锡苏南试验设备有限公司 | 数控钢筋弯箍机_数控钢筋弯曲中心_数控钢筋笼滚焊机厂家_山东佳信 | 硫酸、硫酸铵、氯磺酸、氯化亚砜、硫酸钾、对位酯生产销售 - 河北和合化工有限公司 | 内蒙古浩泽环保集团股份公司,内蒙古环保设备,内蒙古污水处理,内蒙古在线监测 | 首页 菲律宾海运双清|马尼拉海运双清|广州菲律宾专线|广州通达供应链有限公司 | 乐清人才网_乐清招聘网_求职找工作平台 | 上海网站建设公司|上海自适应网站制作|上海仿制网站建设公司-智淇网络 | 泥浆振动筛|卧式泥浆搅拌器|泥浆离心机|泥浆处理固控设备_沧州宏宇石油机械有限公司 | 专利申请|知识产权贯标|商标提异议|国外专利申请-润平知识产权 | 破碎机设备-锤式颚式反击式圆锥移动冲击式破碎机厂家-成都大宏立机器公司 | 取样冷却器-射水抽气器-锅炉炉水取样冷却器-连灵动 | 铅板-济南鑫玉防辐射材料有限公司 | 嘉兴市南湖斋食品股份有限公司_南湖斋 | 深圳固派克包装机械科技有限公司_封口收缩机_封箱机-捆包机-缠膜机 | 喷雾式干燥机-真空桨叶干燥机-桨叶干燥器-常州力马干燥科技有限公司 | 易交换在线易货电商平台-互联网易物贸易,以物换物-无锡据风网络科技有限公司 | 耐磨焊丝厂-堆焊焊材研发-修复工程-天津舜荣焊材官网 | 河北省农林科学院石家庄果树研究所| 活性炭吸附设备,UV光氧废气处理设备,破碎机专用除尘器,催化燃烧设备厂家-河北碧清环保设备有限公司 | 围墙护栏,护栏网,围栏,锌钢栅栏,护栏网厂家--安平县沃达金属丝网制造有限公司 | 开拓者喷雾设备有限公司专业生产喷嘴,喷雾设备,清洗,喷涂,降温,除尘,润滑等喷雾系统的方案解决商 | 江门摩托车配件|江门电动车配件|江门市盛泰嘉金属塑料制品有限公司 | 全国重点实验室--人民网| 上海物业管理_写字楼物业管理_厂房物业管理_上海企福物业管理有限公司 | 停车场设计|地下停车场规划设计|智能停车位地下车库设计施工装修|深圳创安顺停车库规划设计有限公司 | 三菱plc_触摸屏_变频器_欧姆龙plc_普洛菲斯_安川伺服电机-广州凌控 | 深圳车牌识别系统厂家_人脸识别厂家_通道闸厂家_车位引导系统_智慧社区管理系统_深圳市利普诺科技有限公司官网 | 气体报警器,有毒气体报警器,可燃气体探测器,乙炔气体报警器,可燃气体检漏仪,便携式气体检测仪,气体报警控制器-山东如特安防设备有限公司 | 武汉学化妆美容美发美甲纹绣教学 - 小墨定妆 | 水硬度在线分析仪-氟离子|悬浮固体浓度分析仪-ldo分析仪-上海植茂 | 展柜设计定制-品牌展柜订做-展柜制作厂家「广州嘉艺展柜」 | 沈阳资质代办_代办建筑资质「快」-【华廷元】沈阳代办公司首页- 沈阳机电一体化电热锅炉_沈阳蓄热式电锅炉_沈阳壁挂式电锅炉【沈阳远鹏电热供水设备工程安装有限公司】 | 润滑油展会 沈阳 南京 润滑油 展会 西安 润滑脂 中国国际润滑油 全国润滑油 汽配_中国国际润滑油、脂、养护用品及技术设备展览会 | 吸污车|吸粪车|冷藏车|消防车|清障车|环卫垃圾车价格|湖北程力汽车集团厂家销售公司 | 随车挖生产厂家_山东精久工程机械有限公司| 河北浩元保温材料有限公司 |