区块链与大数据生态系统的融合以及应用实践
丛宏雷 | conghonglei@wanda 蒋守壮 | jiangshouzhuang@wanda 万达网络科技集团 大数据中心 wanda
目 录
Hyperledger部署和应用痛点
Hyperledger+大数据项目解决方案
区块链和Linux Hyperledger
区块链与大数据生态系统应用案例
Hyperledger+大数据项目开发流程
Hyperledger部署和应用痛点
01
02
Hyperledger 和大数据 生态圈隔离
Hyperledger 集群环境 部署复杂
Hyperledger镜像版本多 Docker运行环境重复部署 跨主机之间容器通信 无法快速为测试或开发提供Hyperledger环境
Hyperledger与大数据生态圈隔离 无法挖掘Hyperledger中生成的数据潜在价值
Cloudera Manager
Cloudera Manager背景介绍
CDH市场领先的管理平台，提供组件级别细粒度的可视化和控制 集中式地操作大数据软件栈，方便部署，配置，服务启停，扩容和升级等
Hyperledger+大数据项目解决方案
Harbor 企业级镜像 仓库
通过CM自动化 快速部署 Docker和Hyperledger 容器环境， 实现监控和管理
开发接口，实现 Hyperledger与大数据组件 交互， 比如Spark获取Hyperledger 数据进行分析
Etcd+Calico实现 跨节点容器间通信
验证Parcels和CSDs
生成Parcel Repository的manifest
Hyperledger+大数据项目简介
Custom Service Descriptors： 包括服务的角色，依赖关系，配置参数，控制脚本等
Parcel包： 二进制执行文件，Jar包文件等
Hyperledger+大数据项目工作流程
Docker Daemon
Cluster node
Cloudera Agent
Hyperledger Processes
配置
环境变量
运行脚本
3.角色分配完成后，Cloudera Manager 开始触发Agent部署任务
4. 在Docker容器中运行Hyperledger程序， 并向外提供服务
用户
5. Agent监控Hyperledger各角色 容器状态
Cluster node
Cluster node
Cluster node
……
Parcel Repository
Cloudera Manager
1. 用户初始化Parcel包下载
2. Cloudera Manager在集群中分发Parcel包
Hyperledger+大数据项目部署流程
Hyperledger+大数据项目部署流程
Hyperledger+大数据项目演示
区块链
什么是区块链? 以‘区块’记录交易信息，以链的方式将区块组合在一起 整个链保存在‘去中心化永久存储’ 区块链的基本属性 去中心化，全局共识 可证明性，每条纪录的修改可溯源 交易完整性，所有交易信息经过签名验证，多方确认 交易共识后不可篡改 区块链的发展 分布式账本技术