注册 / 登录

软件重构的大数据转型过程

分会场:  人工智能/AI驱动/AI实践

分享时间: 2017年11月9日 - 12日

案例来源 :

案例讲师

范钢

航天信息股份有限公司 架构师

航天信息股份有限公司首席架构师,《大话重构》作者,哈工大软件工程硕士,软件架构及重构的客座讲师。从需求分析、软件开发到项目管理、架构设计都有丰富的从业经验。大型遗留系统改造专业户,长期关注大型业务系统的品质保证、防止腐化以及技术改造等困扰软件企业的问题,进而提出了许多实用而有效的解决方案,在遗留系统优化与改造方面有丰富的经验。

扫描二维码分享案例

 

案例简述

 

随着各行各业的互联网转型,数据量的迅猛增长已经成为各个软件企业不得不面对的难题,也就是开始大数据转型。但是,大数据转型并非如此容易,它涉及到遗留系统改造、架构演进、技术选型等诸多难题。该案例将分享一次大数据转型的过程,它通过讲解给大家了如下启示:
1、如何运用软件重构降低转型的难度与风险;
2、如何解决一边技术研究一边开发的难题;
3、如何开展大数据选型并有效地进行架构演进;
4、如何通过大数据转型快速进入市场。

 

案例目标

 

去年大家都在探讨互联网转型: 1、我们进入了互联网快速发展的时代 2、互联网给我们的生产生活带来了巨大的变革 3、各个传统行业也在推进互联网转型的步伐 但是,互联网发展带来了新的问题: 1、随着互联网的发展,数据量呈爆炸式增长 2、传统的关系型数据库已经不能适应大数据的增长 3、未来所有的行业都面临着大数据转型 然而,大数据转型并不是想象中那么容易: 1、首先面对的是遗留系统技术改造的阵痛 2、团队大数据0基础,不得不一边技术研究一边开发 3、必须快速进入市场,不能慢慢进行技术研究

 

成功(或教训)要点

 

1、遗留系统改造的困局 a、精要点出遗留系统改造困局的关键:重做 vs. 重构 b、演化式重构的改造思路 2、不得不面对的问题:研发团队大数据0基础 a、一边技术研究,一边软件开发 b、小步快跑的开发过程 3、不得不面对的问题:快速进入市场 a、将改造的长周期变为短周期 b、更快地交付,更快地反馈,更早地产生价值

 

案例ROI分析

 

1、项目背景及其挑战:大数据0基础、快速进入市场 2、选用合理的技术架构:SparkSQL + Hive 3、演化式技术改造过程: a、在原有的BI系统的基础上进行改造 b、第一阶段改造:ETL过程的大数据转型 运用小步快跑解决Sqoop、Spark、Hive等技术的难题 运用重构逐步优化大数据层次结构 c、第二阶段改造:解决海量明细数据的快速查询 在原有程序基础上引入ElasticSearch技术 d、第三阶段改造:数据仓库的大数据转型 在Kylin上开展大数据多维模型 e、逐步开展深度大数据应用 4、最终的大数据转型效果

 

案例启示

 

正在更新中……

 

案例在团队中的意义

 

分享大数据转型中的痛点及其解决方案

 

领取大会PPT

我要参会

大会全套演讲PPT

立即领取

大会即将开幕,点击抢票!

我要参会