来源：CSDN
本文长度为字，建议阅读10分钟。
本文为你介绍全球款大数据工具。
1、TalndOpnStudio
是第一家针对数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talnd的下载量已超过万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（AIG）、康卡斯特、电子港湾、通用电气、三星、Ticktmastr和韦里逊等企业组织。
2、DYSON
探码科技自主研发的DYSON智能分析系统，可以完整地实现大数据的采集、分析、处理。DYSON智能分析系统专门针对互联网数据抓取、处理、分析和挖掘。可以灵活迅速地抓取网页上散乱分布的信息，并通过强大的处理功能，准确挖掘出所需数据，是目前使用人数最多的网页采集工具。
3、YARN
一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapRduc框架的性能瓶颈。它的基本思想是把资源管理和作业调度/监控的功能分割到单独的守护进程。
4、Msos
由加州大学伯克利分校的AMPLab首先开发的一款开源集群管理软件，支持Hadoop、ElasticSarch、Spark、Storm和Kafka等架构。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU、内存、存储以及其它计算资源，很容易建立和有效运行具备容错性和弹性的分布式系统。
5、Datal
由探码科技研发的一款基于Hadoop的大数据平台开发套件，RAI大数据应用平台架构。
6、Ambari
作为Hadoop生态系统的一部分，提供了基于Wb的直观界面，可用于配置、管理和监控Hadoop集群。目前已支持大多数Hadoop组件，包括HDFS、MapRduc、Hiv、Pig、Hbas、Zookpr、Sqoop和Hcatalog等。
7、ZooKpr
一个分布式的应用程序协调服务，是Hadoop和Hbas的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKpr现在已经成为了Apach的顶级项目，为分布式系统提供了高效可靠且易于使用的协同服务。
8、Thrift
在7年Facbook提交Apach基金会将Thrift作为一个开源项目，对于当时的Facbook来说创造Thrift是为了解决Facbook系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性。
9、Chukwa
监测大型分布式系统的一个开源数据采集系统，建立在HDFS/MapRduc框架之上并继承了Hadoop的可伸缩性和可靠性，可以收集来自大型分布式系统的数据，用于监控。它还包括灵活而强大的显示工具，用于监控、分析结果。
10、Lustr
一个大规模的、安全可靠的、具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，目前可以支持超过00个节点，数以PB的数据存储量。
11、HDFS
HadoopDistributdFilSystm，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
12、GlustrFS
一个集群的文件系统，支持PB级的数据量。GlustrFS通过RDMA和TCP/IP方式将分布到不同服务器上的存储空间汇集成一个大的网络化并行文件系统。
13、Alluxio
前身是Tachyon，是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapRduc）提供可靠的内存级速度的文件共享服务。
14、Cph
新一代开源分布式文件系统，主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，提高数据的容错性并实现无缝的复制。
15、PVFS
一个高性能、开源的并行文件系统，主要用于并行计算环境中的应用。PVFS是为超大数量的客户端和服务器端特别设计的，它的模块化设计结构可轻松地添加新的硬件和算法支持。
16、QFS
QuantcastFilSystm(QFS)是一个高性能、容错好、分布式的文件系统，用于开发支持MapRduc处理或者需要顺序读写大文件的应用。
17、Logstash
一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理，提供了Wb接口用于查询和统计。
18、Scrib
Scrib是Facbook开源的日志收集系统，它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。
19、Flum
Cloudra提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。Flum支持在日志系统中定制各类数据发送方，用于收集数据。同时，Flum支持对数据进行简单处理，并写入各种数据接受方（可定制）。
20、RabbitMQ
一个受欢迎的消息代理系统，通常用于应用程序之间或者程序的不同组件之间，通过消息来进行集成。RabbitMQ提供可靠的应用消息发送、易于使用、支持所有主流操作系统、支持大量开发者平台。
21、ActivMQ
Apach出品，号称“最流行的，最强大的”开源消息集成模式服务器。ActivMQ特点是速度快，支持多种跨语言的客户端和协议，其企业集成模式和许多先进的功能易于使用，是一个完全支持JMS1.1和J2EE1.4规范的JMSProvidr实现。
22、Kafka
一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据，目前已成为大数据系统在异步和分布式消息之间的最佳选择。
23、Spark
一个高速、通用大数据计算处理引擎。拥有HadoopMapRduc所具有的优点，但不同的是Job的中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapRduc的算法。它可以与Hadoop和ApachMsos一起使用，也可以独立使用。
24、Kinsis
可以构建用于处理或分析流数据的自定义应用程序，来满足特定需求。AmazonKinsisStrams每小时可从数十万种来源中连续捕获和存储数以TB级的数据，如网站点击流、财务交易、社交媒体源、IT日志和定位追踪事件。
25、Hadoop
一个开源框架，适合运行在通用硬件，支持用简单程序模型分布式处理跨集群大数据集，支持从单一服务器到上千服务器的水平scalup。Apach的Hadoop项目已几乎与大数据划上了等号，它不断壮大起来，已成为一个完整的生态系统，拥有众多开源工具面向高度扩展的分布式计算。高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。
26、SparkStraming
实现微批处理，目标是很方便地建立可扩展、容错的流应用，支持Java、Scala和Python，和Spark无缝集成。SparkStraming可以读取数据HDFS、Flum、Kafka、Twittr和ZroMQ，也可以读取自定义数据。
27、Tridnt
是对Storm的更高一层的抽象，除了提供一套简单易用的流数据处理API之外，它以batch(一组tupls)为单位进行处理，这样一来，可以使得一些处理更简单和高效。
28、Flink
于今年跻身Apach顶级开源项目，与HDFS完全兼容。Flink提供了基于Java和Scala的API，是一个高效、分布式的通用大数据分析引擎。更主要的是，Flink支持增量迭代计算，使得系统可以快速地处理数据密集型、迭代的任务。
29、Samza
出自于LinkdIn，构建在Kafka之上的分布式流计算框架，是Apach顶级开源项目。可直接利用Kafka和HadoopYARN提供容错、进程隔离以及安全、资源管理。
30、Storm
Storm是Twittr开源的一个类似于Hadoop的实时数据处理框架。编程模型简单，显著地降低了实时处理的难度，也是当下最人气的流计算框架之一。与其他计算框架相比，Storm最大的优点是毫秒级低延时。
31、YahooS4（SimplScalablStramingSystm）
是一个分布式流计算平台，具备通用、分布式、可扩展、容错、可插拔等特点，程序员可以很容易地开发处理连续无边界数据流（continuousunbounddstramsofdata）的应用。它的目标是填补复杂专有系统和面向批处理开源产品之间的空白，并提供高性能计算平台来解决并发处理系统的复杂度。
32、HaLoop
是一个HadoopMapRduc框架的修改版本，其目标是为了高效支持迭代，递归数据的分析任务，如PagRank、HITs、K-mans、sssp等。
33、Prsto
是一个开源的分布式SQL查询引擎，适用于交互式分析查询，可对PB以上的数据进行快速地交互式分析。Prsto的设计和编写是为了解决像Facbook这样规模的商业数据仓库的交互式分析和处理速度的问题。Facbook称Prsto的性能比诸如Hiv和MapRduc要好上10倍还多。
34、Drill
于年8月份由Apach推出，让用户可以使用基于SQL的查询，查询Hadoop、NoSQL数据库和云存储服务。它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。它可用于数据挖掘和即使查询，支持一系列广泛的数据库，包括HBas、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、AzurBlobStorag、谷歌云存储和Swift。
35、Phonix
是一个Java中间层，可以让开发者在ApachHBas上执行SQL查询。Phonix完全使用Java编写，并且提供了一个客户端可嵌入的JDBC驱动。Phonix查询引擎会将SQL查询转换为一个或多个HBasscan，并编排执行以生成标准的JDBC结果集。
36、Pig
是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、转换数据以及存储最终结果。Pig最大的作用就是为MapRduc框架实现了一套shll脚本，类似我们通常熟悉的SQL语句。
37、Hiv
是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRduc任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapRduc统计，不必开发专门的MapRduc应用，十分适合数据仓库的统计分析。
38、SparkSQL
前身是Shark，SparkSQL抛弃原有Shark的代码并汲取了一些优点，如内存列存储（In-MmoryColumnarStorag）、Hiv兼容性等。由于摆脱了对Hiv的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。
39、Stingr
原来叫Tz，是下一代Hiv，由Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stingr能提升10倍左右的性能，同时会让Hiv支持更多的SQL。
40、Tajo
目的是在HDFS之上构建一个可靠的、支持关系型数据的分布式数据仓库系统，它的重点是提供低延迟、可扩展的ad-hoc查询和在线数据聚集，以及为更传统的ETL提供工具。
41、Impala
Cloudra声称，基于SQL的Impala数据库是“面向ApachHadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载，又是Cloudra的商业大数据产品的一部分。CloudraImpala可以直接为存储在HDFS或HBas中的Hadoop数据提供快速、交互式的SQL查询。
42、Elasticsarch
是一个基于Lucn的搜索服务器。它提供了一个分布式、支持多用户的全文搜索引擎，基于RESTfulwb接口。Elasticsarch是用Java开发的，并作为Apach许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便。
43、Solr
基于ApachLucn，是一种高度可靠、高度扩展的企业搜索平台。知名用户包括Harmony、西尔斯、StubHub、Zappos、百思买、ATT、Instagram、Ntflix、彭博社和Travlocity。
44、Shark
即HivonSpark，本质上是通过Hiv的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hiv的mtadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hiv，且可以在shll模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。
45、Lucn
基于Java的Lucn可以非常迅速地执行全文搜索。据官方网站声称，它在现代硬件上每小时能够检索超过GB的数据，它拥有强大而高效的搜索算法。
46、Trracotta
声称其BigMmory技术是“世界上首屈一指的内存中数据管理平台”，支持简单、可扩展、实时消息，声称在个国家拥有万开发人员，全球0家企业部署了其软件。
47、Ignit
是一种高性能、整合式、分布式的内存中平台，可用于对大规模数据集执行实时计算和处理，速度比传统的基于磁盘的技术或闪存技术高出好几个数量级。该平台包括数据网格、计算网格、服务网格、流媒体、Hadoop加速、高级集群、文件系统、消息传递、事件和数据结构等功能。
48、GmFir
Pivotal宣布它将开放其大数据套件关键组件的源代码，其中包括GmFir内存中NoSQL数据库。它已向Apach软件基金会递交了一项提案，以便在“God”的名下管理GmFir数据库的核心引擎。
49、GridGain
由ApachIgnit驱动的GridGrain提供内存中数据结构，用于迅速处理大数据，还提供基于同一技术的Hadoop加速器。
50、MongoDB
是一个基于分布式文件存储的数据库。由C++语言编写。旨在为wb应用提供可扩展的高性能数据存储解决方案。介于关系数据库和非关系数据库之间的开源产品，是非关系数据库当中功能最丰富、最像关系数据库的产品。
51、Rdis
是一个高性能的ky-valu存储系统，和Mmcachd类似，它支持存储的valu类型相对更多，包括string（字符串）、list（链表）、st（集合）和zst（有序集合）。Rdis的出现，很大程度补偿了mmcachd这类ky/valu存储的不足，在部分场合可以对关系数据库起到很好的补充作用。
52、HDFS
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(北京治疗白癜风沈阳最好的白癜风医院