Flume 组件部署
1、解压 Flume 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 flume;
tar zxvf apache-flume-1.6.0-bin.tar.gz -C /usr/local/src/
2、设置 Flume 环境变量,并使环境变量只对当前 root 用户生效;
export FLUME_HOME=/usr/local/src/flume
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$FLUME_HOME/bin:$PATH
//或者
export FLUME_HOME=/usr/local/src/flume
export PATH=$PATH:$FLUME_HOME/bin
查看版本:flume-ng version
3、修改 Flume 相应文件;
cd /usr/local/src/flume/conf
cp flume-env.sh.template flume-env.sh
4、修改并配置 flume-env.sh 文件,截图并保存结果;
vi flume-env.sh
export JAVA_HOME=/usr/java/jdk
启动Flume
flume-ng version
5、测试 Flume 连接 Web 服务器是否成功,截图并保存结果;
6、通过 Flume 将 Web 服务器中数据传输到 HDFS 中,截图并保存结果。