课程大纲
培训概述:
通过本培训,让学员了解大数据的本质,以及大数据的应用,特别是在企业领域的应用,使得学员理解大数据本质的作用,并结合当前热门的云计算的概念,让学员了解大数据是如何让云计算落地实现的。
培训目标:使学员理解大数据和云计算,以及如何和企业的业务相结合。
培训大纲:
一、虚拟化和云计算技术
1、网格和云计算
· 网格技术的特点
· 云计算的服务特性
· 大数据就是落地的云
· 云计算本身也是大数据的一种业务模式
2、云计算的省钱模式和费钱缘由
3、云计算的核心问题
· 盈利
· 计费
4、云计算的形态
· 公有云和私有云
· 混合云
5、云计算的解决方案
· 微软的解决方案---Azure
· VMware推出的业界第一个开源PaaS云平台---Cloud Foundry
· 轻量级虚拟化容器Docker
· 复杂的Openstack
6、开源组织与开源软件
· 两大开源组织:Apache和GUN
· 面向文档的nosql数据库mongodb
· 开源的中间件Rabbit MQ
· Hadoop及其家庭成员
7、Hadoop在百度的应用
· 日志的存储和统计
· 网页数据的分析和挖掘
· 商业分析,如用户的行为和广告关注度等
· 在线数据的反馈,及时得到在线广告的点击情况
· 用户网页的聚类,分析用户的推荐度及用户之间的关联度
二、云计算的实现
1、云计算的综述
· 什么是云计算
· 云计算发展历史
2、云计算的六种服务方式
· SAAS(Software as a Service);
· PAAS(Platform as a Service);
· IAAS(Infrastructure as a Service);
· 云存储;
· MSP(管理服务提供);
· 商业服务平台。
3、云计算的体系结构和物理架构
· 云计算发展路径
· 云计算体系逻辑结构
· 云计算体系物理结构
· 云计算体系特点
4、云计算对未来it架构的支撑
· 强化
· 虚拟化
· 自动化
5、云计算的应用
· 实现模式
· 优势
· 实例
三、什么是大数据
1、大数据产生的背景
· 数据大爆炸的时代
· 互联网的激发因素
2、大数据到底是什么
· 维基百科的定义
· 大数据具有4V的特点
3、数据计量单位
· 人类正式进入ZB时代
· 所有的数据单位,到达DB
· 例子:目前数据到底有多“大”
四、大数据的各种应用
1、用户信息汇总
· 一个笑话:顾客要求送披萨饼,客服关切倍至
· 工薪阶层如何省小钱
2、判别
· Target超市使用大数据判断怀孕
· 阿里云知道谁需要贷款
· 垃圾邮件
3、推荐系统,精准营销
· 奥巴马竞选
· 百度搜索风云榜和搜狗热搜榜组织新闻事件
· 淘宝首页展现商品
· 商用社交开始决定百事可乐的营销计划
4、用户分层
· 中移动挽留流失客户
· 陆金所发红包
5、业务流程的改善
· 淘宝店铺的销售流程的改善
· 政府网站跳出率降低的改善
五、大数据在金融领域的应用
1、大数据在各种领域的介绍
· 金融领域
· 教育领域
· 生活娱乐领域
2、详述金融行业
· 银行大数据的应用(客户画像、精准营销、风险管控、运营优化)
· 保险行业大数据应用(客户细分和精细化营销、欺诈行为分析、精细化运营)
· 证券行业大数据分析(股价预测、客户关系管理、投资景气指数)
3、金融行业在大数据上的切肤之痛
· 缺少大数据人才
· 缺少数据
· 缺少工具
· 缺少数据场景,谁去做数据变现
4、大数据案例
· 淘宝网掘金大数据平台
· 余额宝
· 淘宝信用贷款
· 阿里小贷
· IBM用大数据分析股价走势
· 汇丰银行用sas管理风险
· Kabbage用大数据开辟新路径
· 大数据时代信用卡的玩法
六、大数据处理的实现
1、强大的计算机
· 天河二号
· 劳伦斯-利弗莫尔国家实验室的红杉
· 美国国防部秃鹰集群
· 日本的京
2、两种技术的对垒:Exadata与Hadoop
· 关系型数据库的无奈
· 真实案例:计算一周内基站访问的用户前百位
· 非关系型数据库的崛起和短板
· 技术普及困难
· 无法实现非编程的查询
· 巨人和蚂蚁
· 价格和运维成本
3、分布式技术的优势
· Share-Nothing技术
· 故障成为正常状态的集群
· 分布式存储和分布式计算
· 大数据与分析实时的矛盾
· Hadoop和Storm
· Hadoop的原型Google的Big Table
· Hadoop的适用范围
· Storm的流数据处理
· Spark的兴起
4、大公司的架构
· 一号店的数据分析架构
· 美图网的日志分析架构