HDFS究竟是什么？HDFS是怎样储存数据的？

        HDFS,全称Hadoop Distributed File System,意思是分布式文件系统。Hadoop分布式文件系统是指被设计成适合du运行在通用硬件(commodity hardware)上的分zhi布式文件系统。HDFS 源于 Google 在2003年10月份发表的GFS论文。

        接下来，我们从传统的文件系统入手，开始学习分布式文件系统，以及分布式文件系统是如何演变而来。传统的文件系统对海量数据的处理方式是将数据文件直接存储在一台服务器上传统的文件系统在存储数据时，会遇到两个问题，具体如下：

1、当数据量越来越大时，会遇到存储瓶颈，就需要扩容;

2、由于文件过大，上传和下载都非常耗时;

　　为了解决传统文件系统遇到的存储瓶颈问题，那么首先考虑的就是扩容，扩容有两种形式，一种是纵向扩容，即增加磁盘和内存;另一种是横向扩容，即增加服务器数量。通过扩大规模从而达到分布式存储，这种存储形式就是分布式文件存储的雏形

　　解决了分布式文件系统的存储瓶颈问题之后，那么还需要解决文件上传与下载的效率问题，常规的解决办法是将一个大的文件切分成多个数据块，将数据块以并行的方式进行存储。这里以30G的文本文件为例，将其切分成3块，每块大小10G(实际上每个数据块都很小只有100M左右)，将其存储在文件系统中。

　　原先一台服务器要存储30G的文件，此时每台服务器只需要存储10G的数据块就完成了工作，从而解决了上传下载的效率问题。但是文件通过数据块分别存储在服务器集群中，那么如何获取一个完整的文件呢?针对这个问题，就需要再考虑增加一台服务器，专门用来记录文件被切割后的数据块信息以及数据块的存储位置信息。