大数据技能的4个E

　　大数据的4个V说法在业界现已尽人皆知，这是指的大数据自身的特征。现在咱们来调查一下用于处理大数据的技能应该具有的特性。为便利回忆，相似4个V，咱们把这些特性总结成4个E，用户在挑选大数据技能解决方案时可作为参阅。

　　要进行大数据处理的场景许多，触及作业人员也是各式各样的。假如技能的难度太大，那会导致只要少数人能运用，并且施行复杂度较高，这样大数据的运用就会大打折扣了。

　　大数据范畴这种比如并不少，Hadoop刚出来时只要MapReduce，相对于彻底用Java硬写，MapReduce现已简略了许多，所以会堆集出一批拥趸。但MapReduce的难度依然不小，所以逐渐被后来封装出来的HIVE SQL代替。Spark上的Scala也风行过一阵，但难度依然不少，现在也逐渐归于安静，更多的人仍是乐意运用更简略的Spark SQL。

　　许多状况下，大数据并不是一会儿就很大，而是逐渐变大的。即便现已较大的数据，也还会进一步变得更大。因而要求大数据处理技能有必定的弹性扩展才干便是很天然的作业，这一点一般都不会被大数据技能提供商疏忽掉。

　　当然，任何技能都有局限性，面向一般规划和面向超大规划的技能相差是很大的，不大或许有一种技能能够有用习惯数据规划从0到无穷大的各个阶段(所谓有用习惯是在各个阶段该技能都能到达适当优秀的功能，而不仅仅能够处理），用户在挑选技能时还要对自己的数据规划改变规模有一个预估。

　　大数据处理常常并不是一件独立的作业，它需求和详细的运用合作作业才干发挥其事务价值，这些处理常常在运用履行到某个环节时就需求进行，这样就要求相应的技能能够被便利地嵌入集成到运用程序中，随时随地被主程序调用。

　　特别地，大部分运用程序建立在J2EE架构上，因而对Java运用的可集成性便是个特别重要的目标。一般根据Java或SQL系统的大数据技能在集成方面都没太大问题，而其它技能系统的就难说了。并且，大多数大数据技能常常需求独立布置，即便其核算才干能够被集成，但有必要依赖于外部的独立进程，不能被运用彻底操控，有时会显得十分负担。

　　现在的大数据技能，如Hadoop和MPP等，都要求先把数据放进该技能规则的某种存储系统中。这样当然有意义，数据事前安排之后会取得更高的功能。可是，常常的状况是，咱们需求处理的大数据事前并不在这些存储系统中，并且把外部数据搬进这些存储系统自身也是一种大数据处理，这些场景下都无法使用这些大数据技能了。

　　更好的大数据技能应当能不挑数据源，随意什么来历的数据都能够处理，仅仅有或许由于数据源的约束而必定程度地下降功能，但并不要求有必要先做好ETL才干处理。

　　其实最终那个特性用E并不是很恰当，但为了凑4个E就对付了。这个词本来是环保的意思，敞开的大数据技能能够少仿制一些数据，少布置一些硬件，省点电，也算环保吧。