Hive on Tez 错误记录

引言

Hive on Tez 是一个常用的大数据处理框架，然而在日常使用中，难免会遇到错误。本文将记录一些常见的 Hive on Tez 错误及其解决方案，希望能为大家提供帮助。

错误1：Tez失败：YarnApplication ID没有找到

问题描述

当尝试在 Hive 上执行一个查询时，有时会遇到以下错误信息：

Tez failed: YarnApplication ID <application_id> not found in history

解决方案

这个问题通常是由于 Tez application 在执行过程中被 YARN 杀掉或遇到其他错误导致的。可以尝试以下解决方法：

1. 检查集群的资源使用情况，确保有足够的资源来支持 Tez application 运行。
2. 检查 Tez application 运行时的日志，查看是否有其他错误信息。可以使用以下命令查看日志：yarn logs --applicationId <application_id>
3. 确认 YARN 配置中的资源限制是否合理。可以尝试增加 yarn.scheduler.minimum-allocation-mb 和 yarn.scheduler.maximum-allocation-mb 配置参数的值。
4. 如果问题仍然存在，重新启动 YARN ResourceManager 和 NodeManager。

错误2：Tez任务失败：Invalid vertex manager plugin class name

问题描述

在 Hive on Tez 中运行一个查询时，遇到以下错误信息：

Tez task failed: Invalid vertex manager plugin class name

解决方案

这个问题通常是由于 Tez 配置文件中的顶点管理器插件(class name)配置错误引起的。可以尝试以下解决方法：

1. 检查 Tez 配置文件中的 tez.vertex-manager-plugin.class 配置项，确保其值的格式正确。
2. 查看 Tez 版本是否与 Hive 版本兼容。有些 Tez 版本可能不兼容某些 Hive 版本，需要进行版本升级或降级。
3. 检查 Tez 配置文件是否完整，没有遗漏任何必要的配置项。

错误3：Tez任务失败：Container released on a lost node

问题描述

当 Hive on Tez 尝试在一个丢失的节点上运行查询时，会遇到以下错误信息：

Tez task failed: Container released on a lost node

解决方案

这个问题通常是由于节点上的 YARN Container 失去连接导致的。可以尝试以下解决方法：

1. 检查集群的网络连接，确保节点之间的连接稳定。
2. 确认集群的硬件资源是否充足，以及节点的负载情况。过度负载可能导致节点失去响应。
3. 检查 YARN 的日志，查看是否有关于 Container 失去连接的错误信息。
4. 如果问题仍然存在，重新启动 YARN ResourceManager 和 NodeManager。

结论

本文介绍了一些常见的 Hive on Tez 错误及其解决方案。在使用 Hive on Tez 进行大数据处理时，我们应该密切关注错误日志并及时解决问题，以保证查询的顺利运行。