NameNode锁细粒度优化在B站的通常
1.背景随着业务的高速开展，针对HDFS元数据的访问恳求量呈指数级回升，在之前的上班中，咱们曾经经过引入HDFSFederation和Router机制成功NameNode的平行扩容，在肯定水平上满足了元数据的扩容需求；也经过引入Observ......
Hadoop 超燃之路
1Hadoop简介1.1Hadoop由来数据容量大数据时代数据量超级大，数据具备如下个性，以前的存储手腕跟剖析方法现内行不通了，Hadoop就是用来处置海量数据的存储跟海量数据的剖析计算疑问的，开创人DougCutting在创立Hadoop......
Hadoop 跨集群跨版本数据同步工具 一篇文章彻底把握 Distcp HDFS
大家好，我是明哥，最近有小同伴问到hadoopdistcp的经常使用，对其中的一些细节和容易踩的坑不是很分明，所以当天咱们来看下hadoopdistcp的原理，细节和容易踩的坑，1.DistCp概述咱们知道大数据集群外部都有节点级别和机架级......
Hadoop 的源码 如何浏览百万行
一、浏览HDFS源码的缘由HDFS是大数据的最基础的设备了，简直一切的离线存储都在HDFS上，然而在大规模HDFS集群中，上方的疑问通常会让咱们无比头疼，以上种种疑问，都须要咱们浏览源码，甚至要修正它的源码能力处置，所以虽然浏览源码十分痛苦......
HDFS小文件控制总结 你学会了吗
随着大数据时代的来到，数据量始终增长，HDFS也成为了数据存储和解决的关键组成局部，但是，由于HDFS的设计原理和文件存储模式，HDFS系统中存在少量的小文件，这些小文件会造成HDFS的性能降低，参与控制和保养的难度，重大影响数据解决效率和......
大数据离不开它 Hadoop
早期的MapReduce即蕴含计算框架，又蕴含调度框架，比拟臃肿，比如想在集群运转另外一种计算义务，就不繁难了，所来从MapReduce中将调度框架抽取进去，命名为Yarn，这样不论是MapReduce还是Spark只需合乎Yarn接口定义......
共1页 6条