大数据 on 涯余的博客https://hangyan.github.io/tags/%E5%A4%A7%E6%95%B0%E6%8D%AE/Recent content in 大数据 on 涯余的博客Hugozhhang.yan@hotmail.com (涯余)hang.yan@hotmail.com (涯余)Sat, 31 Aug 2019 13:35:37 +0000失败博物馆 - Hadoophttps://hangyan.github.io/post/2019-08-31-hadoop/Sat, 31 Aug 2019 13:35:37 +0000hang.yan@hotmail.com (涯余)https://hangyan.github.io/post/2019-08-31-hadoop/<p>Hadoop 严格来说并不算完全失败了，不像 Mesos 那样，而是人们期待它成为一个大象， 而它却变成了一只兔子。</p> <p>我刚毕业就开始接触Hadoop, 当时它基本上就是大数据的代名词。在这个光辉的表象之下，研发人原面临的是一个非常不透明，UI丑陋，运行缓慢的系统。当然，技术的狂热周期会让人放弃自己的疑虑，专心地去这座 <code>shit mountain</code> 扒拉东西。另外，也没得选。</p> <p>同样的情况也发生在 Jenkins, Mesos 身上，当没有对比的时候，人们很难意识到自己面对的东西的优缺点是什么。时至今日，在吃尽了很多苦头之外，我们可以回过头来想想，为什么有的软件成功了？为什么有的失败了？</p> <p>成功的特性几乎是不言自明的，我们可以列举如下：</p> <ul> <li>模块化 / 可扩展性好</li> <li>接口用户友好 (页面，编程语言，API)</li> <li>文档全面</li> </ul> <p>这些就够了。而失败软件在每一方面，几乎都没做好。Hadoop 也是如此。</p> <p>同时因为这些因素存在，人们从最初的狂热清醒下来之后，便开始想尽一切办法找寻可能的替代品。在数据量不大的时候尽量选择其他工具(pandas, unix tools等等)， Spark, Hive, Pig&hellip;. 甚至连 Hadoop 第二代的 YARN 都被 Kubernetes 无意打残了。当然，这个现状有一个比较好的词叫<code>生态圈</code>，但它和 Kuberentes 的生态圈还是很不同的。前者是因为太难用，被肢解，被不断替代。后者是根系稳固，枝叶繁茂。（没写完，待补。）</p> <h2 id="links">Links</h2> <ol> <li><a href="https://architecht.io/what-happened-to-hadoop-211aa52a297">What happened to Hadoop</a></li> <li><a href="https://www.chrisstucchio.com/blog/2013/hadoop_hatred.html">Don&rsquo;t use Hadoop - your data isn&rsquo;t that big</a></li> <li><a href="https://adamdrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html">Command-line Tools can be 235x Faster than your Hadoop Cluster</a></li> <li><a href="https://medium.com/pachyderm-data/lets-build-a-modern-hadoop-4fc160f8d74f">Let’s build a modern Hadoop</a></li> <li><a href="https://www.zhihu.com/question/26568496">与 Hadoop 对比，如何看待 Spark 技术？</a></li> <li><a href="https://zhuanlan.zhihu.com/p/76829123">Hadoop再凉凉，前大数据独角兽公司MapR被惠普企业（HPE）收购</a></li> <li><a href="https://zhuanlan.zhihu.com/p/71139401">驳「Hadoop 快不行了」</a></li> <li><a href="https://zhuanlan.zhihu.com/p/70586829">Hadoop 不再权威，开源大数据的未来何去何从？</a></li> <li><a href="https://computerrepairkansascity.typepad.com/blog/2012/06/the-dark-side-of-hadoop.html">The dark side of Hadoop</a></li> </ol>