认识达内从这里开始

认真做教育专心促就业

武汉IT培训大数据时代的初颠覆从计算引擎开始

发布：武汉IT培训
来源：职场求职
时间：2021-11-01 13:38

在大数据的发展历史上，Hadoop、Spark 绝对是不容忽视的存在。如果你问开发者：“这些大数据引擎或框架怎么样?”，十年前和现在得到的答案可能完全不同。

武汉IT培训大数据时代的初颠覆从计算引擎开始

十年前，数据大多存储在本地，选择云服务的厂商寥寥无几;十年后，云计算的到来让数据云开始走进企业。计算引擎在这个过程中经历了数轮迭代，应用形式也越来越丰富。

孙元浩整个团队从 2008 年就开始对大数据市场做调研，2009 年投入研发。

彼时，国内的云计算建设刚刚兴起，云厂商开始尝试在各地建立数据中心，将数据进行集中管理，此时还没有人会料到十年之后将迎来数据云的时代，但大家已经发现需要一个高效的数据处理引擎，需求由此诞生。2012 年，国内对大数据需求出现大规模井喷，孙元浩的创业之路由此正式开启。

创业之初，整个团队就已经意识到了现有方案的局限性，而业界对此达成共识已经是三年后了。

“从市场机会来看，2013 年其实都有点晚了，运营商、金融机构那时已经对大数据需求明显增大;从技术本身来看，传统的集中式计算已经很难在性能上有所提升，必须横向扩展，我们当时就判断未来的 10 年将会是分布式系统的天下，从底层操作系统到上层数据库、中间件、分析软件、应用软件都将据此发生重构。”

既然意识到了局限性，也对即将发生的变化有所预判，孙元浩带着整个团队开启了重构之路。团队提出的第一个目标是希望可以用一个计算引擎处理不同的数据量，那时主流的厂商还在推混合架构，孙元浩团队则基于 Spark 的早期版本重新开发了计算引擎。随后几年，团队又摒弃了 HDFS、YARN 等框架，重新构建了分布式存储管理系统、资源管理器、编译器等，实现了大幅重构。

“我们不是为了替代而替代，而是为了实现现有框架无法解决的问题，并附加更多功能，比如数据一致性、兼容 Oracle、DB2 等。”

当业内在 2015 年对现有方案的局限性达成共识并寻找替代方案时，星环科技的 TDH 很自然就进入了公众视野。随后几年，TDH 每年都会进行一次大的版本更新。

重构大数据引擎让星环科技在国内大数据发展初期占到了先机，但远未到终点，云计算的到来为大数据行业又带来了新的变化。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请添加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：武汉计算机培训达内影视后期培训课程好学吗

下一篇：武汉达内培训云计算给大数据带来了新的机遇 >