阿里云E-MapReduce实践

当前E-MapReduce中没有kafka组件，需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

资讯

• 日前，大数据发展浪潮正在席卷全球，资本也敏锐追逐着高增长市场。大数据是我国的战略性新兴产业，而投资界持续看好大数据产业的发展未来，这种趋势明显增强。
• LinkedSee灵犀的定位是运维大数据公司，主要侧重帮企业解决硬件运维方面的需求。 LinkedSee灵犀对市场的判断是，小微企业为了节约成本使用公有云会偏多，虽然不需要自己去维护机房，但仍需监控别人维护的状况，对这部分企业提供告警服务比较合适。而大企业依旧会用私有化部署，即使有业务迁移到共有云上，对机房管理的需求不是消失，而是转嫁到像阿里云这种底层IaaS厂商身上，也就是说，厂商的硬件维护成本是越来越高的，针对这种情况，提供一套监控维护方案就比较合适。
• 如今各云服务供应商开始为客户提供更多选择，包括遍布全球各地的主机、更多虚拟化实例配置以及工作负载优化机制，同时亦推出了更多对云环境内数据进行管理与分析的选项。文章分析了 IaaS公有云市场在2017年又将迎来哪些转变

技术

• Catalyst是Spark SQL中的一套函数式关系查询优化框架，本演讲将Catalyst中最为关键的TreeNode和Rule结构提炼出来，并用之实现了一个完整的带编译优化的Brainfuck解释器， 全部代码不到三百行。通过这个迷你解释器，观众将可以完整理解Catalyst的基本工作原理，并体会到函数式、申明式编程的强大
• 文章介绍了Apache Flink 1.2.0新功能。在Apache Flink 1.1+版本上，社区主要的集中点在操作性（Operations）、生态系统（Ecosystem）、更广泛的用户（Broader Audience）以及应用特性（Application Features）等方面的开发
• 为了防止数据写入缓存之后不会因为RegionServer进程发生异常导致数据丢失，在写入缓存之前会首先将数据顺序写入HLog中。如果不幸一旦发生RegionServer宕机或者其他异常，这种设计可以从HLog中进行日志回放进行数据补救，保证数据不丢失。HBase故障恢复的最大看点就在于如何通过HLog回放补救丢失数据
• 文章介绍了美团使用Spark和ES在实时日志监控/查询中的一些实践