Tag: apache storm

Storm平行度中的“任务”是什么？: 我试图通过了解伟大的文章“ 了解风暴拓扑的并行性 ” 不过，我对“任务”的概念有点困惑。任务是组件的运行实例（喷嘴或螺栓）？实际上有多个任务的执行者是说执行者多次执行同一个组件，我是否正确？此外，在一般的并行性意义上，Storm会产生一个专门的线程（执行器）来实现喷嘴或螺栓，但是执行器（线程）有多个任务对并行性有什么贡献？我认为在一个线程中有多个任务，因为一个线程按顺序执行，只会使线程成为一种“caching”的资源，避免为下一个任务运行产生新的线程。我对么？在花费更多时间调查之后，我可以自己澄清那些困惑，但是你知道，我们都喜欢stackoverflow 😉 提前致谢。

testing风暴螺栓和喷口: 这是关于用Java编写的Storm Storm拓扑中的unit testing螺栓和喷口的一般性问题。什么是推荐的unit testing（JUnit？）螺栓和喷口的做法和指导方针？例如，我可以为Bolt写一个JUnittesting，但是如果没有完全理解框架（比如Bolt的生命周期）和序列化的含义，很容易造成基于构造器的非序列化成员variables的创build错误。在JUnit中，这个testing会通过，但是在拓扑结构中，这是行不通的。我完全想象有很多testing点需要考虑（比如序列化和生命周期的例子）。因此，如果您使用基于JUnit的unit testing，build议您运行一个小的模拟拓扑（ LocalMode ？）并testing该拓扑下Bolt （或Spout ）的隐含合约？或者，可以使用JUnit，但是这意味着我们必须仔细模拟Bolt的生命周期（创build它，调用prepare() ，嘲弄一个Config等）。在这种情况下，被testing的类（Bolt / Spout）要考虑什么样的一般testing点？其他开发人员在创build适当的unit testing方面做了什么？我注意到有一个拓扑testingAPI（请参阅： https ： //github.com/xumingming/storm-lib/blob/master/src/jvm/storm/TestingApiDemo.java ）。使用一些API是否更好，并为每个Bolt ＆ Spout站起来“testing拓扑”（并validationBolt必须提供的隐式合约，例如 – 它是宣布的输出）？谢谢

Apache Kafka vs Apache Storm: Apache Kafka：分布式消息传递系统 Apache Storm：实时消息处理我们如何在实时数据pipe道中使用这两种技术来处理事件数据？就实时数据pipe道而言，我认为这两项工作完全相同。我们如何在数据pipe道上使用这两种技术？

Flink和Storm之间的主要区别是什么？: Flink已经与Spark进行了比较，正如我所看到的那样，它是错误的比较，因为它比较了窗口化的事件处理系统和微配量; 同样的，对我来说Flink和Samza的比较也没什么意义。在这两种情况下，它都比较了实时与批量事件处理策略，即使Samza的规模较小。但是我想知道Flink与Storm的比较，这在概念上似乎更接近于Storm。我发现这个（幻灯片＃4）logging了Flink的主要区别是“可调整的等待时间”。另外一个提示似乎是Slicon Angle的一篇文章，表明Flink更好地集成到Spark或HadoopMR世界中，但没有提及或引用实际的细节。最后，Fabian Hueske自己在接受采访时指出：“与Apache Storm相比，Flink的stream分析function提供了高级API，并采用更轻量级的容错策略来提供一次处理保证。这一切对我来说都有点稀疏，我不太明白这一点。有人可以解释什么问题（s？）风暴stream处理是（是？）由Flink完全解决？什么是Hueske提到的API问题和“更轻量级的容错策略”？

Streamparse wordcount示例: 我一直想用阿帕奇风暴从卡夫卡stream。我更喜欢Python，所以我决定使用streamparse（ https://github.com/Parsely/streamparse ）。字数统计的例子就是介绍性的例子。我一直在试图让它在我的本地机器上工作。我已经安装了以下版本的JDK，lein和storm： Leiningen 2.6.1，Java 1.8.0_73 Java HotSpot（TM）64位服务器虚拟机我遵循streamparse后运行以下步骤：稀疏快速启动wordcount 裁谈会wordcount 稀疏运行我得到以下错误：从中央检索org / apache / storm / storm-core / 0.10.1 / storm-core-0.10.1.pom 从中央检索org / apache / storm / storm / 0.10.1 / storm-0.10.1.pom 从中央检索org / apache / storm / storm-core / 0.10.1 / storm-core-0.10.1.jar 无法传输工件com.parsely：streamparse：pom：0.0.4-SNAPSHOT从/到clojars（https://clojars.org/repo/）：sun.security.validator.ValidatorException：PKIXpath构build失败：sun.security .provider.certpath.SunCertPathBuilderException：无法find有效的证书path到请求的目标无法传输工件clojure-complete：clojure-complete：pom：0.2.4从/到clojars（https://clojars.org/repo/）：sun.security.validator.ValidatorException：PKIXpath构build失败：sun.security .provider.certpath.SunCertPathBuilderException：找不到要求的目标的有效证书path 这可能是由于：依存关系或networking问题。 […]