数据交易导航,数据资产入表,数据交易平台,数据要素市场

數據產品

——? PRODUCTS CENTER? ——

《大數據分析——數據倉庫項目實戰》
更新時間:2023/04/01
《大數據分析——數據倉庫項目實戰》

內容簡介

本書按照需求規劃、需求實現、需求可視化的流程進行編排,遵循項目開發的實際流程,全面介紹了數據倉庫的搭建過程。在整個數據倉庫的搭建過程中,本書介紹了主要組件的安裝部署過程、需求實現的具體思路、部分問題的解決方案等,并在其中穿插了許多與大數據和數據倉庫相關的理論知識,包括大數據概論、數據倉庫概論、電商業務概述、數據倉庫理論準備、數據倉庫建模等。

本書從邏輯上可以分為三部分:一是大數據與數據倉庫概論及項目需求描述,主要介紹了數據倉庫的概念、應用場景和搭建需求;二是項目部署的環境準備,介紹了如何從零開始搭建一個完整的數據倉庫環境;三是需求模塊實現,針對不同需求分模塊進行實現,是本書的重點部分。

本書適合具有一定的編程基礎并對大數據感興趣的讀者閱讀。通過閱讀本書,讀者可以快速了解數據倉庫,全面掌握數據倉庫的相關技術。


作者簡介

尚硅谷IT教育是一家專業的IT教育培訓機構,開設了JavaEE、大數據、HTML5前端等多門學科,在互聯網上發布的JavaEE、大數據、HTML5前端、區塊鏈、C語言、Python等技術視頻教程廣受贊譽。

目  錄

第1章  大數據與數據倉庫概論      1

1.1  大數據概論     1

1.1.1  什么是大數據     1

1.1.2  大數據生態圈簡介    2

1.1.3  大數據應用場景  3

1.2  數據倉庫概論  4

1.2.1  什么是數據倉庫  4

1.2.2  數據倉庫能干什么    4

1.2.3  數據倉庫的特點  5

1.3  學前導讀   6

1.3.1  學習的基礎要求  6

1.3.2  你將學到什么     7

1.4  本章總結   7

第2章  項目需求描述  8

2.1  任務概述   8

2.1.1  產品描述      9

2.1.2  系統目標      9

2.1.3  系統功能結構     9

2.1.4  系統流程圖   10

2.2  業務描述   10

2.2.1  采集模塊業務描述    10

2.2.2  數據倉庫需求業務描述   16

2.2.3  數據可視化業務描述 17

2.3  系統運行環境  17

2.3.1  硬件環境      17

2.3.2  軟件環境      18

2.4  本章總結   20

第3章  項目部署的環境準備   21

3.1  Linux環境準備      21

3.1.1  VMware安裝      21

3.1.2  CentOS安裝 21

3.1.3  遠程終端安裝     31

3.2  Linux環境配置      34

3.2.1  網絡配置      34

3.2.2  網絡IP地址配置 35

3.2.3  主機名配置   36

3.2.4  防火墻配置   37

3.2.5  一般用戶設置     38

3.3  Hadoop環境搭建  38

3.3.1  虛擬機環境準備  39

3.3.2  JDK安裝 45

3.3.3  Hadoop安裝      46

3.3.4  Hadoop分布式集群部署 47

3.3.5  配置Hadoop支持LZO壓縮 52

3.3.6  配置Hadoop支持Snappy壓縮   53

3.4  本章總結   54

第4章  用戶行為數據采集模塊      55

4.1  日志生成   55

4.2  采集日志的Flume  57

4.2.1  Flume組件   58

4.2.2  Flume安裝   58

4.2.3  采集日志Flume配置 59

4.2.4  Flume的ETL攔截器和日志類型區分攔截器   61

4.2.5  采集日志Flume啟動、停止腳本  67

4.3  消息隊列Kafka      68

4.3.1  Zookeeper安裝  68

4.3.2  Zookeeper集群啟動、停止腳本  70

4.3.3  Kafka安裝    71

4.3.4  Kafka集群啟動、停止腳本    73

4.3.5  Kafka Topic相關操作 74

4.4  消費Kafka日志的Flume    75

4.4.1  消費日志Flume配置 75

4.4.2  消費日志Flume啟動、停止腳本  78

4.5  采集通道啟動、停止腳本   79

4.6  本章總結   80

第5章  業務數據采集模塊 81

5.1  電商業務概述  81

5.1.1  電商業務流程     81

5.1.2  電商常識      82

5.1.3  電商表結構   82

5.1.4  數據同步策略     89

5.2  業務數據采集  90

5.2.1  MySQL安裝  90

5.2.2  業務數據生成     92

5.2.3  業務數據建模     94

5.2.4  Sqoop安裝  96

5.2.5  業務數據導入數據倉庫   97

5.3  本章總結   109

第6章  數據倉庫搭建模塊 110

6.1  數據倉庫理論準備 110

6.1.1  范式理論      110

6.1.2  關系模型與維度模型 113

6.1.3  星形模型、雪花模型與星座模型  114

6.1.4  表的分類      116

6.1.5  為什么要分層     117

6.1.6  數據倉庫建模     118

6.1.7  業務術語      121

6.2  數據倉庫搭建環境準備      123

6.2.1  MySQL HA    123

6.2.2  Hive安裝      130

6.2.3  Tez引擎安裝      134

6.3  數據倉庫搭建——ODS層  138

6.3.1  創建數據庫   138

6.3.2  用戶行為數據     138

6.3.3  ODS層用戶行為數據導入腳本    141

6.3.4  業務數據      142

6.3.5  ODS層業務數據導入腳本     151

6.4  數據倉庫搭建——DWD層 154

6.4.1  用戶行為啟動日志表解析      154

6.4.2  用戶行為事件表拆分 157

6.4.3  用戶行為事件表解析 167

6.4.4  業務數據維度表解析 189

6.4.5  業務數據事實表解析 195

6.4.6  拉鏈表構建之用戶維度表      209

6.4.7  DWD層數據導入腳本     214

6.5  數據倉庫搭建——DWS層 223

6.5.1  系統函數      223

6.5.2  用戶行為數據聚合    224

6.5.3  業務數據聚合     226

6.5.4  DWS層數據導入腳本      237

6.6  數據倉庫搭建——DWT層 246

6.6.1  設備主題寬表     247

6.6.2  會員主題寬表     249

6.6.3  商品主題寬表     251

6.6.4  優惠券主題寬表  254

6.6.5  活動主題寬表     256

6.6.6  DWT層數據導入腳本      258

6.7  數據倉庫搭建——ADS層  264

6.7.1  設備主題      264

6.7.2  會員主題      272

6.7.3  商品主題      275

6.7.4  營銷主題      279

6.7.5  ADS層數據導入腳本 283

6.8  結果數據導出腳本 291

6.9  會員主題指標獲取的全調度流程    293

6.9.1  Azkaban安裝     293

6.9.2  創建可視化的MySQL數據庫和表      300

6.9.3  編寫指標獲取調度流程   301

6.10  本章總結 306

第7章  數據可視化模塊    307

7.1  模擬可視化數據    307

7.1.1  會員主題      307

7.1.2  地區主題      308

7.2  Superset部署  310

7.2.1  環境準備      310

7.2.2  Superset安裝     312

7.3  Superset使用  314

7.3.1  對接MySQL數據源  314

7.3.2  制作儀表盤   317

7.4  本章總結   322

第8章  即席查詢模塊  323

8.1  Presto 323

8.1.1  Presto特點   323

8.1.2  Presto安裝   324

8.1.3  Presto優化之數據存儲    328

8.1.4  Presto優化之查詢SQL    329

8.1.5  Presto注意事項  330

8.2  Druid  330

8.2.1  Druid簡介    330

8.2.2  Druid框架原理   331

8.2.3  Druid數據結構   332

8.2.4  Druid安裝(單機版)     333

8.3  Kylin    338

8.3.1  Kylin簡介     338

8.3.2  HBase安裝   339

8.3.3  Kylin安裝     341

8.3.4  Kylin使用     343

8.3.5  Kylin Cube構建原理  353

8.3.6  Kylin Cube構建優化  356

8.3.7  Kylin BI工具集成 360

8.4  即席查詢框架對比 367

8.5  本章總結   368

第9章  元數據管理模塊    369

9.1  Atlas入門 369

9.1.1  Atlas概述     369

9.1.2  Atlas架構原理    370

9.2  Atlas安裝及使用   371

9.2.1  安裝前環境準備  371

9.2.2  集成外部框架     373

9.2.3  集群啟動      377

9.2.4  導入Hive元數據到Atlas 377

9.3  Atlas界面查看及使用  378

9.3.1  查看基本信息     378

9.3.2  查看血緣依賴關系    381

9.4  本章總結   386


上一頁:已經為第一條
上一頁:已經為第一條

相關推薦

在線咨詢

在線留言
主站蜘蛛池模板: 造型松|造型黑松|油松|泰山松-莱芜市盛世园林苗木专业合作社 | 思为网络_成都百度优化快照排名-成都网站建设优化_成都网页设计_成都SEO公司 | 洗地机,洗地机价格,扫地机,工业吸尘器,手推式洗地机,驾驶式洗地机,北京洗地机【北京高美环保科技有限公司】 | 江门摩托车配件|江门电动车配件|江门市盛泰嘉金属塑料制品有限公司 | 苏州纸袋印刷_药袋、纸袋定制厂家_苏州嘉奕达印刷包装厂 | 生物安全柜检测,GMP设备确认,仪器性能确认,洁净厂房检测,仓储温湿度检测-上海熙迈 | 山东净化车间_净化工程_净化公司-山东海蓝净化装饰工程有限公司 山东金起起重机械有限公司[官网]-金桥银路悬臂吊,金起龙门吊,山东金起起重行吊,单梁起重机 | 眉山净源居环保科技有限公司,眉山除甲醛公司,眉山甲醛治理,眉山保洁服务,眉山家政保洁,眉山家电维修 - 眉山净源居环保科技有限公司,眉山除甲醛公司,眉山甲醛治理,眉山保洁服务,眉山家政保洁,眉山家电维修 | 热泵烘干机_食品烘干机_水果烘干机_蔬菜烘干机_河南蓝天机械制造有限公司 | 炸鸡汉堡设备厂家-开汉堡炸鸡店需要的设备全套-广州英迪尔电器有限公司 | 洒水车|冷藏车|LED广告车|油罐车|道路救援车|垃圾车|程力专用汽车股份有限公司销售九分公司 | 和中出国移民官网|出国移民|加拿大移民|欧洲移民|爱尔兰移民|马耳他移民|希腊移民|美国移民|海外护照_和中移民 | 手术示教系统-实训示教系统-数字化手术室-直播录播系统 - 深圳市视源视讯技术有限公司 | 自动隔油提升设备,消防稳压一体设备,苏州不锈钢消防水箱,污水提升设备厂家,无负压变频供水设备厂家-苏州脉泉供水设备有限公司 | 矿用精确定位系统,井下4G无线通讯系统,工作面集控系统,皮带保护系统-山东新云鹏电气有限公司 | 潍坊铝单板_铝方通及氟碳喷涂材料供应企业-潍坊冠杰金属制品有限公司 | 廊坊微信营销,廊坊小程序开发,廊坊APP开发(安卓_苹果ios开发),微信朋友圈广告,百度推广,廊坊网络公司品牌服务商-河北盛秋网络科技有限公司 | 科衣洛定制衣柜,书柜,厨柜,衣帽间,电视柜,酒柜,餐厅柜,门厅柜,鞋柜——科衣洛全屋定制官网 | 消防巡检柜-EPS应急电源-交直流屏厂家-中央信号屏-万正电源 | 中国焊接协会网站—中国焊接信息网;焊接行业最权威访问量最大的专业网站:焊接信息、焊接材料,焊接机器,焊接设备,焊机,焊材,辅助设备,焊机配件,仪器仪表,电动工具,钎焊,送丝机,表面处理,自动化专机,焊锡丝,助焊剂 | 银马全自动免烧砖机设备厂家,提供免烧砖机价格报价及生产视频 | 长型材数控钻孔攻牙机-自动数控热熔钻孔机-东莞市利速数控机械有限公司 | 云南昆明微信公众号小程序开发公司|抖音|网站建设APP制作-鸿翥网络 | 邮政纸箱_淘宝纸箱_抗压纸箱,盐城纸箱,盐城纸箱厂家,盐城承重纸箱-盐城君雅纸箱 | 聚丙烯酰胺,聚合氯化铝,重金属捕捉剂,污泥调理剂,活性氧化铝,生石灰,反渗透阻垢剂,工业葡萄糖,硫酸铝,果壳活性炭,柱状活性炭,蜂窝活性炭,石英砂,锰砂-北京雁归来环保科技有限公司-以真诚为立足之本,以质量为生存之本,愿与海内外同仁共创双赢。雁归来人一路走来,气贯长虹,勇锐盖过怯弱,进取压倒苟安!我们紧扣时代脉搏,专注水处理、继往开来! | 中科盛世酒窖 - 酒窖设计_酒窖工程_酒窖空调设备_恒温酒柜定制_私人别墅家庭酒窖_不锈钢红酒柜_实木雪茄柜 | 济南货架|济南仓储货架|济南仓库货架|山东蕴达金属制品有限公司 济南海纳特科技有限公司 | 郑州专利申请代理|商标注册|河南版权登记-郑州明华专利代理事务所 | 信管飞软件官网 - 亚拓软件旗下精细化管理软件、进销存管理软件、混凝土ERP、通风设备ERP、风管报价软件、出纳软件、送货单打印软件、ERP软件等免费下载 | 智慧环保大数据云平台_车载走航式扬尘/恶臭/噪声污染源在线监测管控信息系统平台_环保土壤/环境监测系统云平台-奥斯恩智能科技 | 搜药网-中药材中成药大全网普及中医中药功效归经知识,中药学知识天地 | 蒸汽发生器-电加热蒸汽发生器、燃油蒸汽发生器、燃气蒸汽发生器设备厂家-诺贝思蒸汽发生器 | 聚四氟乙烯板,聚乙烯四氟板,防火布,廊坊王氏防火材料有限公司官网 | 重庆宏工_隧道取芯钻机_公路护栏钻机-车载式钻机_打钻一体机_护栏抢修车_隧道钻机-工程机械 | 上海物流公司_上海冷链运输_空运_电商仓储配送电话-迈泽物流 | 直饮水设备-纯水设备-软化水设备 - 亿家清泉水处理设备厂家 | 郑州空调维修_郑州中央空调维修_空调清洗维保-郑州大晟机电设备安装工程有限公司 | 新一能-配电箱、变频柜、plc控制柜、开关柜生产厂家 | 精品中文字幕在线观看,粉嫩av一区二区三区,最近中文字幕在线看免费视频,亚洲高清在线观看,日本一区二区视频手机免费看,国产黄色小视频,亚洲高清免费视频,国产精品一区二区欧美视频,亚洲人免费视频,亚洲视频在线观看免费,国产免费高清综合视频,中文字幕永久在线 | 营销型网站建设-企业高端网站设计制作公司-16年建站品牌 | 南京消防申报公司-江苏国消设备安装有限公司 |