#!/usr/bin/env bash
# 2 目标文件目录 不带最后的/ 例如:/opt/flume/home/hdp_lbg_ectech/rawdata/xxx/web_vip_bg
# 3 执行的时候选择前几天的日志 例如:1
LAST_DAY=$(date +”%Y-%m-%d” -d “1 days ago”)
LAST_HOUR_DAY=$(date +”%Y%m%d” -d “1 days ago”)
#执行jar获取bg日志
java -jar /opt/script/xxx/vipbg/vip-bg-job-1.0-SNAPSHOT-shaded.jar /opt/script/xxx/vipbg/bg.log
#具体到文件名
SRC_FILE=/opt/script/xxx/vipbg/bg.log
#指定目标目录,按日期创建目录
DEST_DIR_NAME=/opt/flume/home/hdp_lbg_ectech/rawdata/xxx/web_vip_bg/$LAST_HOUR_DAY
DEST_FILE_NAME=$(basename $SRC_FILE)
#FLUME会忽略隐藏文件,所以可直接拷贝过去
TMP_FILE=$DEST_DIR_NAME/.$DEST_FILE_NAME
DEST_FILE=$DEST_DIR_NAME/$DEST_FILE_NAME.$SRC_IP
#判断源文件是否非空,空文件Flume会直接删除的,且目标文件不存在,避免重复拷贝数据
if [ -s “$SRC_FILE” ] && [ ! -f “$DEST_FILE” ];then
#使Flume具有删除该目录下文件的权限,不然FLUME收集不上去
mkdir -p $DEST_DIR_NAME && chmod 777 $DEST_DIR_NAME
#必须先cp到一个临时文件再mv过去,直接cp过去会造成数据丢失
cp $SRC_FILE $TMP_FILE && mv $TMP_FILE $DEST_FILE
fi
#删除tmp中转文件
rm -rf /opt/script/xxx/vipbg/bg.log
echo “删除源文件成功”