2018-08-23
SQL
摘要： 本文主要是对数据库查询优化器的一个综述，包括查询优化器分类、查询优化器执行过程和CBO框架Calcite。这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。
问题：多个不同流根据一定规则join的问题（例如：网约车中订单发单流与接单流join问题）
我们知道Java中获取主机名有getCanonicalHostName, getHostName两种，同时有getHostAddress返回IP地址。实际上，在不同的平台和网络环境下它们是有一些问题的。看看在Spark中会有哪些问题以及如何解决的。
Spark引擎修改时，我们经常需要进行测试套件。在测试套件运行过程中会通过SparkBuildInfo读取（下面报错日志NPE位置） spark-version-info.properties文件。
Spark应用运行时的详细进度信息，性能指标等数据和信息对于我们分析Spark应用是十分重要的。而Spark的WebUI便是观测应用、作业运行情况的一个很重要的窗口。本文主要从源码层面分析下Spark WebUI原理和工作方式。并从Job信息的一个切面阐述WebUI数据获取和更新的过程。
subscribe via RSS