加入收藏 | 设为首页 | 会员中心 | 我要投稿 衡阳站长网 (https://www.0734zz.cn/)- 数据集成、设备管理、备份、数据加密、智能搜索!
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

我们可以不再使用ETL了吗?

发布时间:2019-09-10 14:25:13 所属栏目:教程 来源:张晓艺
导读:近年来,我们在数据科学和高级分析方面取得了一些进步,但许多项目仍然采用20世纪80年代的遗留技术:萃取(extract)、转置(transform)和加载(load),也就是我们所说的ETL。这让数据架构师感到无比头疼,但我们似乎又无法超越它,那有什么方法能改变这个局面

Incorta的直接数据映射方法仍然要求用户将数据移动到数据湖,比如HDFS、S3或Azure Data Lake,并将其存储为高度压缩的Parquet文件。但是,通过在“提取”和“加载”步骤之间注入元数据标记,它可以允许客户跳过“T”部分。

“Incorta想表达的是,如果我们只将数据加载到另一个仅用于分析的数据库中,会发生什么,如果我们按原样获取数据而不必对数据进行扁平处理,会怎么样?” Elkady指出: “它可以将查询时间从小时级缩短到秒级。”

Incorta的方法很有效果,正如最近一轮3000万美元的C轮融资所显示的那样。这家硅谷公司正在吸引大量客户,包括苹果(Apple)、博通(Broadcom)和星巴克(Starbucks)。Elkady表示:“如果客户无法实时查看运营数据,无论是制造业务、零售业务还是仓库管理,都可能会损失数百万美元。”

目前我们没有办法完全摒除ETL以及应用它的麻烦。在完全使用相同一致数据格式的系统之前,仍然需要从一个地方获取数据并为其应用做好准备,然后加载数据。但是,数据转换的新方法可以帮助避免ETL应用过程中的问题。

(编辑:衡阳站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读