Tag: 纱线

火花杀死运行应用程序

我有一个正在运行的Spark应用程序，它占用了我的其他应用程序不会被分配任何资源的所有核心。 我做了一些快速的研究，人们build议使用YARN kill或/ bin / spark-class来终止命令。 但是，我使用的CDH版本和/ bin / spark-class根本不存在，YARN kill应用程序也不起作用。 任何人都可以用这个吗？

我应该为Sparkselect哪种types的集群？

我是Apache Spark的新手，刚刚了解到Spark支持三种types的集群： 独立 – 意味着Spark将pipe理自己的群集 YARN – 使用Hadoop的YARN资源pipe理器 Mesos – Apache的专用资源pipe理器项目 由于我是Spark新手，所以我觉得我应该先尝试一下Standalone 。 但我想知道哪一个是推荐的。 说，将来我需要build立一个大的集群（数百个实例），我应该去哪个集群types？