streaming - 如何在 Windows 操作系统上的单节点中运行 Apache Storm

标签 streaming apache-storm bigdata

如何在 Windows 操作系统上以单节点运行 Apache Storm?谁能提供一下链接吗?

最佳答案

安装 Java

下载并安装 JDK(Storm 适用于 Oracle 和 OpenJDK 6/7)。对于此设置,我使用了 Oracle 的 JDK 7。

我将 Java 安装在:

C:\Java\jdk1.7.0_45\

安装Python

为了测试安装,我们将部署 Storm-starter 项目中的“字数统计”示例,该示例使用用 Python 编写的多语言 Bolt。我使用的是 python 2.7.6,可以在这里下载。

我安装了Python:

C:\Python27\

安装并运行 Zookeeper

下载 Apache Zookeeper 3.3.6 并解压。使用以下命令配置并运行 Zookeeper:

> cd zookeeper-3.3.6
> copy conf\zoo_sample.cfg conf\zoo.cfg
> .\bin\zkServer.cmd

安装 Storm

允许 Storm 在 Windows 上无缝运行的更改尚未正式发布,但您可以在此处下载包含这些更改的版本。

(可以在此处找到该构建的源分支)。

将该文件解压到您选择的位置。我选择了C:。

配置环境变量

在 Windows Storm 上需要设置 STORM_HOME 和 JAVA_HOME 环境变量,以及对 PATH 变量进行一些添加:

JAVA_HOME:
C:\Java\jdk1.7.0_45\

STORM_HOME:
C:\storm-0.9.1-incubating-SNAPSHOT-12182013\

PATH: (add)
%STORM_HOME%\bin;%JAVA_HOME%\bin;C:\Python27;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;

PATHEXT: (add)
.PY

启动 Nimbus、Supervisor 和 Storm UI 守护进程

为每个守护程序打开一个单独的命令提示符。

雨云

cd %STORM_HOME% storm nimbus Supervisor

cd %STORM_HOME% storm supervisor Storm UI

cd %STORM_HOME% storm ui Verify that Storm is running by opening http://localhost:8080/ in a browser.

部署“字数统计”拓扑

从源代码构建storm-starter项目,或者下载预构建的jar

使用storm jar 命令将字数统计拓扑部署到本地集群:

storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount -c nimbus.host=localhost

关于streaming - 如何在 Windows 操作系统上的单节点中运行 Apache Storm,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44198464/

相关文章:

audio - android AudioTrack播放短数组(16bit)

java - 在简单的聚合 Storm 拓扑中分组

maven - 将元组发送到ElasticSearch时,为什么 Storm 拓扑没有响应

java - 读取大文件(超过 60GB)并写入新文件

hadoop大数据集

c++ - 有没有一种方法可以在没有 while 循环的情况下在计算机之间传递数据? C++

FFMpeg 连续流

c - avcodec_decode_video2 在线程函数中返回值 -1094995529

java - 为 Apache Storm 编写集成测试

hadoop - Oozie Workflow EL 函数 timestamp() 不给秒