史上最全的“大数据”学习资源（上）

发布时间：2021-01-06 23:24 所属栏目：53 来源：网络整理

导读：《史上最全的“大数据”学习资源（上）》要点：本文介绍了史上最全的“大数据”学习资源（上），希望对您有用。如果有疑问，可以联系我们。资源列表： ??关系数据库管理系统(RDBMS) ??框架 ??分布式编程 ??分布式文件系统 ??文件数据模型 ??Key -Map 数据

《史上最全的“大数据”学习资源（上）》要点：
本文介绍了史上最全的“大数据”学习资源（上），希望对您有用。如果有疑问，可以联系我们。

史上最全的“大数据”学习资源（上）

资源列表：

??关系数据库管理系统(RDBMS)
??框架
??分布式编程
??分布式文件系统
??文件数据模型
??Key -Map 数据模型
??键-值数据模型
??图形数据模型
??NewSQL数据库
??列式数据库
??时间序列数据库
??类SQL处理
??数据摄取
??服务编程
??调度
??机器学习
??基准测试
??安全性
??系统部署
??应用程序
??搜索引擎与框架
??MySQL的分支和演化
??PostgreSQL的分支和演化
? Memcached的分支和演化
??嵌入式数据库
??商业智能
??数据可视化
??物联网和传感器
??文章
??论文
??视频

关系数据库管理系统(RDBMS)

??MySQL：世界最流行的开源数据库；
??PostgreSQL：世界最先进的开源数据库；
??Oracle 数据库：对象-关系型数据库管理系统.

框架

??Apache Hadoop：分布式处理架构,结合了?MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统)；
??Tigon：高吞吐量实时流处理框架.

分布式编程

??AddThis Hydra?：最初在AddThis上开发的分布式数据处理和存储系统；
??AMPLab SIMR：用在Hadoop MapReduce v1上运行Spark；
??Apache Beam：为统一的模型以及一套用于定义和执行数据处理工作流的特定SDK语言；
??Apache Crunch：一个简单的Java API,用于执行在普通的MapReduce实现时比较单调的连接、数据聚合等任务；
??Apache DataFu：由LinkedIn开发的针对Hadoop and 和Pig的用户定义的函数集合；
??Apache Flink：具有高性能的执行时间和自动程序优化；
??Apache Gora：内存中的数据模型和持久性框架；
??Apache Hama：BSP(整体同步并行)计算框架；
??Apache MapReduce?：在集群上使用并行、分布式算法处理大数据集的编程模型；
??Apache Pig?：Hadoop中,用于处理数据分析程序的高级查询语言；
??Apache REEF?：用来简化和统一低层大数据系统的保留性评估执行框架；
??Apache S4?：S4中流处理与实现的框架；
??Apache Spark?：内存集群计算框架；
??Apache Spark Streaming?：流处理框架,同时是Spark的一部分；
??Apache Storm?：Twitter流处理框架,也可用于YARN；
??Apache Samza?：基于Kafka和YARN的流处理框架；
??Apache Tez?：基于YARN,用于执行任务中的复杂DAG(有向无环图)；
??Apache Twill?：基于YARN的抽象概念,用于减少开发分布式应用程序的复杂度；
??Cascalog：数据处理和查询库；
??Cheetah?：在MapReduce之上的高性能、自定义数据仓库；
??Concurrent Cascading?：在Hadoop上的数据管理/分析框架；
??Damballa Parkour?：用于Clojure的MapReduce库；
??Datasalt Pangool?：可选择的MapReduce范例；
??DataTorrent StrAM?：为实时引擎,用于以尽可能畅通的方式、最小的开支和对性能最小的影响,实现分布式、异步、实时的内存大数据计算；
??Facebook Corona?：为Hadoop做优化处理,从而消除单点故障；
??Facebook Peregrine?：MapReduce框架；
??Facebook Scuba?：分布式内存数据存储；
??Google Dataflow?：创建数据管道,以帮助其分析框架；
??Netflix PigPen?：为MapReduce,用于编译成Apache Pig；
??Nokia Disco?：由Nokia开发的MapReduc获取、转换和分析数据；
??Google MapReduce?：MapReduce框架；
??Google MillWheel?：容错流处理框架；
??JAQL?：用于处理结构化、半结构化和非结构化数据工作的声明性编程语言；
??Kite?：为一组库、工具、实例和文档集,用于使在Hadoop的生态系统上建立系统更加容易；
??Metamarkets Druid?：用于大数据集的实时e框架；
??Onyx?：分布式云计算；
??Pinterest Pinlater?：异步任务执行系统；
??Pydoop?：用于Hadoop的Python MapReduce和HDFS API；
??Rackerlabs Blueflood?：多租户分布式测度处理系统；
??Stratosphere?：通用集群计算框架；
??Streamdrill?：用于计算基于不同时间窗口的事件流的活动,并找到最活跃的一个；
??Tuktu?：易于使用的用于分批处理和流计算的平台,通过Scala、?Akka和Play所建；
??Twitter Scalding：基于Cascading,用于Map?Reduce工作的Scala库；
??Twitter Summingbird?：在Twitter上使用Scalding和Storm串流MapReduce；
??Twitter TSAR?：Twitter上的时间序列聚合器.

分布式文件系统

??Apache HDFS：在多台机器上存储大型文件的方式；
??BeeGFS：以前是FhGFS,并行分布式文件系统；
??Ceph Filesystem：设计的软件存储平台；
??Disco DDFS：分布式文件系统；
??Facebook Haystack：对象存储系统；
??Google Colossus：分布式文件系统(GFS2)；
??Google GFS：分布式文件系统；
??Google Megastore：可扩展的、高度可用的存储；
??GridGain：兼容GGFS、Hadoop内存的文件系统；
??Lustre file system：高性能分布式文件系统；
??Quantcast File System QFS：开源分布式文件系统；
??Red Hat GlusterFS：向外扩展的附网存储(Network-attached Storage)文件系统；
??Seaweed-FS：简单的、高度可扩展的分布式文件系统；
??Alluxio：以可靠的存储速率在跨集群框架上文件共享；
??Tahoe-LAFS：分布式云存储系统；

（编辑：ASP站长网）