您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

Hadoop家族产品技术介绍

2020/5/31 9:18:15发布66次查看

apache hadoop: 是apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(hdfs)和支持mapreduce分布式计算的软件架构。
apache hive: 是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类sql语句实现简单的mapreduce统计,不必开发专门的mapreduce应用,十分适合数据仓库的统计分析。
apache pig: 是一个基于hadoop的大规模数据分析工具,它提供的sql-like语言叫pig latin,该语言的编译器会把类sql的数据分析请求转换为一系列经过优化处理的mapreduce运算。
apache hbase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用hbase技术可在廉价pc server上搭建起大规模结构化存储集群。
apache sqoop: 是一个用来将hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(mysql ,oracle ,postgres等)中的数据导进到hadoop的hdfs中,也可以将hdfs的数据导进到关系型数据库中。
apache zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务
apache mahout:是基于hadoop的机器学习和数据挖掘的一个分布式框架。mahout用mapreduce实现了部分数据挖掘算法,解决了并行挖掘的问题。
apache cassandra:是一套开源分布式nosql数据库系统。它初由facebook开发,用于储存简单格式数据,集google bigtable的数据模型与amazon dynamo的完全分布式的架构于一身
apache avro: 是一个数据序列化系统,设计用于支持数据密集型,大批量数据交换的应用。avro是新的数据序列化格式与传输工具,将逐步取代hadoop原有的ipc机制
apache ambari: 是一种基于web的工具,支持hadoop集群的供应、管理和监控。
apache chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统,它可以将各种各样类型的数据收集成适合 hadoop 处理的文件保存在 hdfs 中供 hadoop 进行各种 mapreduce 操作。
apache hama: 是一个基于hdfs的bsp(bulk synchronous parallel)并行计算框架, hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
apache flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统,可用于日志数据收集,日志数据处理,日志数据传输。
apache giraph: 是一个可伸缩的分布式迭代图处理系统, 基于hadoop平台,灵感来自 bsp (bulk synchronous parallel) 和 google 的 pregel。
apache oozie: 是一个工作流引擎服务器, 用于管理和协调运行在hadoop平台上(hdfs、pig和mapreduce)的任务。
apache crunch: 是基于google的flumejava库编写的java库,用于创建mapreduce程序。与hive,pig类似,crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
apache whirr: 是一套运行于云服务的类库(包括hadoop),可提供高度的互补性。whirr学支持amazon ec2和rackspace的服务。
apache bigtop: 是一个对hadoop及其周边生态进行打包,分发和测试的工具。
apache hcatalog: 是基于hadoop的数据表和存储管理,实现中央的元数据和模式管理,跨越hadoop和rdbms,利用pig和hive提供关系视图。
cloudera hue: 是一个基于web的监控和管理系统,实现对hdfs,mapreduce/yarn, hbase, hive, pig的web化操作和管理。

该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product