test/logdc/src/dc.c

/***************************************************************************
 * Licensed Materials - Property of IBM
 * Copyright IBM Corp. 2013 All rights reserved.
 *
 * Source filename	: dc.c
 * Description		: Read records from files and send the contain to TO by TTAPI
 *
 * Parameter		:
 *	1 start mode: 0- automatic mode, start by crontab; 1- re-run modle;
 *	2 DC monitoring target file path;
 *	3 DC monitoring target filename;
 *	4 servername, on which the program runs 
 *	5 send log data mode, 1-TTAPI mode 2-Socket mode  3-Mixed mode with TTAPI & Socket
 *
 * Author		: Wang An Nian
 * 
 * Update History
 *	DATE		OWNER			DESCRIPTION
 *	-----------	------------		-----------
 *	2012-11-06	Wang An Nian		Generated
 *	2013-11-06	Wang An Nian		Domestic
 *	2014-xx-xx	Wang An Nian		While list Function added
 *	2014-08-18	Wang An Nian		MCIS TXN fillter added -p403
 *	    1 if connect failed then retry socket,if socket send fail then retry socket
 *	    2 add MCIS white name list filter function
 *	    3 SIGPIPE ignored
 *	    4 if monitored file is null, do not exit and wait till life cycle ended
 *
 *	2014-09-xx	Wang An Nian		Euro Africa modification
 *	    5 socket sending for abroad transactions ( have not finished yet)
 *
 *	2014-12-30 Li Bo Feng           Fix problems & Code Formatting
 *		1. 调整代码可读性,不改变处理逻辑
 *			代码函数分割
 *				常量定义,结构定义 	dc.h
 *				通用函数			dc_code
 *				参数处理			dc_args
 *				网络直连发送处理		dc_socket
 *				TT发送处理			dc_ttapi
 *				文件缓存处理		dc_file_buffer
 *				目标数据处理过程		dc_target
 *				主程序			dc.c
 *		2. 修改文件监控轮询时间
 *			原来检查文件是否存在间隔时间为 2 分钟, 改为 10 秒
 *			原来检查文件是否有内容间隔时间为 1 分钟, 改为 10 秒
 *			原来检查文件内容是否为当前监控周期内容间隔时间为  1 分钟, 改为 10 秒
 *			原来检查文件内容是否有新增内容间隔时间为  5 秒,保持为 5 秒
 *		3. 去掉再运行模式 - 从文件尾读取交易流水日志数据
 *			因为实际代码已经不支持该模式,参数已经不起作用
 *		4. 增加内存释放
 *			动态申请的内存,需要释放
 *
 *	2015-1-6 Li Bo Feng           Code structure Formatting & File bufferred reading
 *		1. 调整代码结构
 *			合并重复代码
 *			简化代码逻辑
 *			增加函数返回码
 * 		2. 增加扫描内容控制方式，依据
 * 			方便测试期间回放旧数据,配置依据环境变量
 * 				SCAN_BEGIN_TIME=1970-1-1 00:00:00
 * 				SCAN_END_TIME=1970-1-1 00:00:00
 *			根据起始时间点、结束时间点、数据时间、当前时间决定数据是否发送
 *			根据数据交易码白名单决定数据发送目标
 * 		3. 增加数据回放时间同步功能
 * 			回放旧数据时，保持数据扫描周期与数据时间一致，精确到 DATA_SCAN_INTERVAL_SECONDS = 10 秒
 * 		4. 增加文件缓存功能
 * 			增加 FileBuffer 基础功能
 * 			一次读入整块内容
 * 		5. 增加文件变更重读功能
 * 			文件内容发生变化(非追加变化,内容修改或减少),重新读取文件内容
 * 		6. 增加文件内容校验功能
 * 			每次读取内容时,重复读取部分上次缓存内容,比较两次读取内容的重叠区域,以此判定文件内容是否改变
 * 		7. 增加文件定时刷新功能
 * 			回放旧数据，系统处于等待数据周期时，及时发现数据变化
 *
 *	2015-1-13 Li Bo Feng          new function & Performance Optimizing
 *		1. 增加 Socket 发送心跳功能
 *			心跳间隔 NETWORK_IDLE_HEARTBEAT_SECONDS = 10 秒
 *		2. 调整程序日志输出内容
 *			增加可读性
 *			增加日志分类输出: Error Metrics State Detail Flow
 *		3. 增加处理状态控制
 *			用状态控制取代逻辑控制，简化数据处理逻辑
 *
 *	2015-1-15 Li Bo Feng          new function & Performance Optimizing
 *		1. 数据扫描性能优化
 *			运行参数集中管理功能
 *			通过 key-value Mapping 结构存储配置信息
 *			提高白名单及编码转换匹配效率
 *
 *	2015-1-26 Li Bo Feng
 *		1. 调整启动参数
 *			第5个启动参数 send_mode, 形式改为下列各参数的16进制数值组合
 *				1000	SEND_MODE_ABROAD_SOCKET
 *				0100	SEND_MODE_DOMESTIC_SOCKET
 *				0010	SEND_MODE_ABROAD_TTAPI
 *				0001	SEND_MODE_DOMESTIC_TTAPI
 *			对应的服务器(地址:端口)设置关键字改为
 *				SOCKET_ABROAD_SERVER="地址:端口"
 *				SOCKET_DOMESTIC_SERVER="地址:端口"
 *				TTAPI_ABROAD_SERVER="tcp:地址:端口"
 *				TTAPI_DOMESTIC_SERVER="tcp:地址:端口"
 *		2. 功能调整
 *			根据配置, 可同时发送 国内/海内 Socket/TTAPI
 *
 *	2015-2-2 Li Bo Feng
 *		1. 增加TTAPI输出字段内容
 *			ChannelID		(Added Field) Channel and its transaction id information, only have this when it's the first hop
 *			ReturnCode		(Added Field) Return code in the application log
 *			TragetSystem	(Added Field) ComponentName(aka. system name) of the target system, only have this for data timetype 02 and 03
 *		2. 调整To Socket Server输出字段内容
 *			TragetTxnID		(Added Field) 有目标交易码的系统,在LinkSys后增加","分割的目标交易码
 *
 *
 *	2015-2-10 Li Bo Feng
 *		1. 增加调试环境
 *			windows-cygwin 环境下可编译执行
 *
 *	2015-3-4 Li Bo Feng
 *		1. DC运行日志文件输出
 *			原日志输出不能以日期时间分割输出，影响实现程序常驻
 *			按指定时间模式分隔，
 *			根据当前时间，修正参数给定的文件名中的时间标记 [YYYY] [MM] [DD] [HH] [MI]
 *			按指定周期删除旧文件
 *			为提高效率进程间需同步删除旧文件
 *		2. 文件名时间模式转换功能
 *			根据当前时间，修正参数给定的文件名中的时间标记 [YYYY] [MM] [DD] [HH] [MI]
 *
 *	2015-3-5 Li Bo Feng
 *		1. 取消环境变量设置 FILESWITCHMODE
 *			以时间模式文件名取代
 *		2. 增加环境变量设置 IDLE_TIMEOUT_HOURS
 *			空闲超时
 *
 *	2015-3-10 Li Bo Feng
 *		1. 互斥运行逻辑
 *			保留原来的定时启动,以系统防止意外终止
 *			如果启动时发现指定日志文件已经有DC进程在处理,立即结束当前进程
 *		2. 执行效率优化
 *			测试机运行 平均CPU占比  0.1%  以下，内存占用 10MB 以下
 *
 *	2015-3-16 Li Bo Feng
 *		1. 时间偏移量修正
 *			通过环境变量设定虚拟当前时间  virtual_current_time
 *			VIRTUAL_TIME=缺省为当前时间`date +"%Y-%m-%d %H:%M:%S"`
 *			文件名中的时间与当前时间的偏移量修正,用于目标交易日志文件名及DC运行日志文件名的定时更换
 *			目标交易日志数据时间与当前时间的偏移量修正，用于目标交易日志回放/测试中，同步数据扫描周期
 *		2. 修正文件名模式转换功能
 *			根据虚拟当前时间，修正参数给定的文件名中的时间标记 [YYYY] [MM] [DD] [HH] [MI]
 *			根据系统当前时间，修正参数给定的文件名中的时间标记 [yyyy] [mm] [dd] [hh] [mi]
 *			根据当前进程ID，修正参数给定的文件名中的PID标记 [pid] [PID]
 *
 *	2015-3-17 Li Bo Feng
 *		1. 调整启动参数
 *			合并参数 file_path 和 file_name,以便于进程查询处理
 *		2. 调整启动参数
 *			参数 send_mode, 形式改为下列各参数的标记字符组合,以增加可读性,如:AS|DS
 *				AS	SEND_MODE_ABROAD_SOCKET
 *				DS	SEND_MODE_DOMESTIC_SOCKET
 *				AT	SEND_MODE_ABROAD_TTAPI
 *				DT	SEND_MODE_DOMESTIC_TTAPI
 *			对应的服务器(地址:端口)设置在config.map文件中配置,根据业务需求调整配置关键字如下:
 *				socket.server.abroad.NFXS=地址:端口
 *				socket.server.abroad.BOCNET=地址:端口
 *				socket.server.domestic.BOCNET=地址:端口
 *				ttapi.server.abroad=tcp:地址:端口
 *				ttapi.server.domestic=tcp:地址:端口
 *
 *	2015-3-19 Li Bo Feng
 *		1. 增加按时间同步扫描功能
 *			扫描数据的时间与虚拟当前时间同步
 *			SCAN_DATA_BY_TIME=default 1 :scan data by virtual time / 0 :scan data from top of file and immediately begin.
 *
 *	2015-3-25
 *		1. 持续运行测试
 *			   date       etime     cputime    rss
 *			2015-3-23   3-01:33:10  00:00:24   1952
 *			2015-3-25   5-03:38:34  00:00:40   1952
 *			2015-3-26   6-05:36:11  00:00:48   1952
 *			2015-3-30  10-07:39:12  00:01:20   1952
 *
 *
 *	2015-3-30 Li Bo Feng
 *		1. 调整参数，增加运行参数 SysName，AppName，ServerName，InstanceName
 *			解锁与文件名的关联，避免每个系统的规则不一样导致的程序硬代码
 *
 *
 *	2015-4-6 Li Bo Feng
 *		1. Fix内存泄露问题
 *			删除旧日志时,扫描目录功能(scandir)导致内存泄露
 *			重写,改用readdir功能扫描目录.
 *		2. 压力测试
 *			同时开启36进程,持续运行5天,系统状态正常
 *		3. 修改amake脚本,同时打包三个版本: 测试,演练,生产.
 *		4. 修改dc.sh启动脚本,根据task.lst自动选择不同运行环境参数
 *			task.lst中可同时配置所有环境的运行参数
 *
 *	2015-4-16 Li Bo Feng
 *		1. 发布版本 3.0
 *
 *
 *	2015-5-8  Li Bo Feng
 *		1. 应用交易日志输出一次写盘信息不完整,导致不能完整读取一行日志记录
 *			需要在读取记录不完整（没有换行符）的情况下，需要等待数据完整后，再进行数据解析
 *		2. 等待数据完整中，如果发现新交易日志文件已经产生，则直接解析最后的不完整记录，并放弃等待
 *			等待时间 15 ~ 20秒 =
 *				数据文件再刷新间隔	TIMEOUT_REFRESH_FILE_BUFFER_SECONDS	5秒
 *				等待文件变更间隔		WAIT_FOR_FILE_CHANGE_SECONDS		10秒
 *				数据扫描间隔		DATA_SCAN_INTL_SECONDS			5秒
 *
 *	2015-5-11 Li Bo Feng
 *		1. 发布版本 3.1
 *
 *	2015-9-2 Li Bo Feng
 *		1. 增加程序注释信息
 *		2. 调整程序格式
 *
 *	2015-11-23 Li Bo Feng
 *		1. 修正叠加数据的容错处理
 *			当文件切换时,读取到的内容可能发生错乱
 *			增加更严格的记录数据格式判断，包括：
 *				记录时间格式判断
 *				记录重叠判断
 *		2. 增加缺省程序日志的输出
 *			缺省输出告警信息：
 *				忽略的记录
 *				等待数据状态
 *		3. 发布版本 3.2
 *
 ***************************************************************************/
/*
 * 环境变量说明：
 *	VIRTUAL_TIME
 *		虚拟当前时间，用于确定虚拟当前时间和系统当前时间的时间偏移，缺省值与系统当前时间一致
 *
 *	SCAN_BEGIN_TIME
 *		扫描数据开始时间点,格式为yyyy-mm-dd hh:mi:ss,缺省空表示从虚拟当前时间开始扫描数据
 *	SCAN_END_TIME
 *		扫描数据结束时间点,格式为yyyy-mm-dd hh:mi:ss,缺省空表示不限制结束时间
 * 	IDLE_TIMEOUT_HOURS
 *		空闲超时（小时数）,待处理数据没有任何变化,导致空闲超时,程序自动退出,缺省为0表示不设置空闲超时
 *
 *	TXNCDFILE
 *		交易码白名单配置文件
 *	TXNFILE
 *		交易码/交易名称映射配置文件
 *	RTNCDFILE
 *		交易返回码配置文件
 *	FSYSMATCH
 *		应用系统别名配置文件
 *	CONFIG_FILE
 *		mapping样式的通用配置文件
 *			渠道信息配置
 *				channel.BOCNET=BOCNET
 *			数据接收服务器地址端口
 *				socket.server.domestic.BOCNET=127.0.0.1:5001
 *				socket.server.abroad.BOCNET=127.0.0.1:5001
 *				socket.server.abroad.NFXS=127.0.0.1:5005
 *				ttapi.server.domestic=tcp:127.0.0.1:5455
 *				ttapi.server.abroad=tcp:127.0.0.1:5455
 *
 *	ABLOG_KEEP_HOURS
 *		本程序（DC）运行日志保留时间，缺省120小时（5天）
 *	ABLOG_STDOUT
 *		是否输出到标准输出，0 不输出， 缺省为 1 输出
 *	ABLOG_FILE
 *		本程序（DC）运行日志输出文件
 *		如果不指定输出文件，日志信息会输出到标准输出（忽略ABLOG_STDOUT指定）
 * 		文件名支持时间模式替换，自动修正参数给定的文件名中的替换标记
 *			模式中可以替换内容包括：
 *				[PID] 用当前进程id
 *				[YYYY] 虚拟当前时间的年
 *				[yyyy] 系统当前时间的年
 *				[MM] 虚拟当前时间的月
 *				[mm] 系统当前时间的月
 *				[DD] 虚拟当前时间的日
 *				[dd] 系统当前时间的日
 *				[HH] 虚拟当前时间的时
 *				[hh] 系统当前时间的时
 *				[MI] 虚拟当前时间的分
 *				[mi] 系统当前时间的分
 *	ABLOG_CLASS
 *		本程序（DC）运行日志输出内容，由下列标识文字用逗号分隔组合而成，如"Error,Metrics"
 *			All         缺省,全部信息
 *			Error		程序运行错误信息
 *			Metrics		程序运行过程重要提示信息
 *			State		程序运行状态提示信息
 *			Detail		程序运行详细信息
 *			Flow		程序运行流程
 *			Flow_Public		公共的程序运行流程
 *			Flow_Private	私有的程序运行流程
 *			Flow_Restricted	受限的程序运行流程
 *			Flow_Minor		次要的程序运行流程
 *
 *	SCAN_DATA_BY_TIME
 *		=default 1 :scan data by virtual time / 0 :scan data from top of file and immediately begin.
 *
 *	VALIDATE_DATA
 *		是否验证数据，0 不验证，缺省 1 验证
 *	CHECK_FILE_STATUS
 *		检查文件状态
 *			读文件前,是否检查文件非追加变更状态(删除,改名,裁减,重写,修改),
 *			缺省0不检查,缓存数据使用完后,继续读取文件内容过程中,才会发现文件非追加变更(删除,裁减,重写,修改),改名不影响数据继续读取
 *			1检查,检查到文件发生非追加变更立即重读,放弃缓存中的数据,测试或回放旧数据时可以通过此设置
 *
 */
/*
 * 数据扫描周期设定方式：
 * 	开始条件：
 * 		1. 从指定数据时间点开始发送
 * 			SCAN_BEGIN_TIME=yyyy-MM-dd HH:mm:ss
 * 			SCAN_BEGIN_TIME=0 //不限开始时间,从文件头开始
 *
 * 	处理频率/周期：
 * 		1. 按分钟对应数据发生速率，精确到 5 秒
 *
 * 	结束条件：
 * 		1. 到达指定数据时间点结束
 * 			SCAN_END_TIME=yyyy-MM-dd HH:mm:ss
 * 			SCAN_END_TIME=0 //持续运行，程序不会退出
 * 		2. 空闲超时（小时）
 * 			IDLE_TIMEOUT_HOURS=0 // 待处理数据没有任何变化,导致空闲超时,程序自动退出
 *
 */

#include "dc.h"
#include "dc_code.h"
#include "dc_args.h"
#include "dc_socket.h"
#include "dc_ttapi.h"
#include "dc_target.h"
#include "ab_map.h"

/*------------------------------------------------------------------------
 * MAIN()
 *
 * 运行参数说明：
 *	scan_from_new
 *		第1个参数，是否只扫描新增内容， 0   从头开始扫描数据, 1从文件尾开始扫描新产生的数据
 *		在打开文件时就已经确定,读取位置,优先级很高,但只有刚开始时起作用,文件切换或重读时,此参数将失去意义.
 *	log_file_path
 *		第2个参数，目标日志文件路径，文件名支持模式替换
 * 			模式中可以替换内容包括：
 *				[PID] 用当前进程id
 *				[YYYY] 虚拟当前时间的年
 *				[yyyy] 系统当前时间的年
 *				[MM] 虚拟当前时间的月
 *				[mm] 系统当前时间的月
 *				[DD] 虚拟当前时间的日
 *				[dd] 系统当前时间的日
 *				[HH] 虚拟当前时间的时
 *				[hh] 系统当前时间的时
 *				[MI] 虚拟当前时间的分
 *				[mi] 系统当前时间的分
 *	sys_name
 *		第3个参数，系统名称
 *	app_name
 *		第4个参数，应用名称
 *	server_name
 *		第5个参数，应用服务器名称
 *	istance_name
 *		第6个参数，实例名称
 *	send_mode
 *		第7个参数，数据发送模式，下列各参数的标记字符组合,如:AS|DS
 *				AS	SEND_MODE_ABROAD_SOCKET
 *				DS	SEND_MODE_DOMESTIC_SOCKET
 *				AT	SEND_MODE_ABROAD_TTAPI
 *				DT	SEND_MODE_DOMESTIC_TTAPI
 *
 * RTN:
 *	others - reference to return code
 *
 *------------------------------------------------------------------------*/
int main(int argc, char *argv[])
{
	ABLOG_Entry(Public, main);

	DEFINE_DC_RETURN_CODE();

	int iRtn;

	// 防止因网络异常导致程序退出
	// 当服务器close一个连接时，若client端接着发数据。根据TCP 协议的规定，会收到一个RST响应，
	// client再往这个服务器发送数据时，系统会发出一个SIGPIPE信号给进程，告诉进程这个连接已经断开了，不要再写了。
	// 根据信号的默认处理规则SIGPIPE信号的默认执行动作是terminate(终止、退出),所以client会退出。
	// 若不想客户端退出可以把SIGPIPE设为SIG_IGN
	// 这时SIGPIPE交给了系统处理。
	// 服务器采用了fork的话，要收集垃圾进程，防止僵尸进程的产生，可以这样处理：
	// signal(SIGCHLD,SIG_IGN); 交给系统init去回收。
	// 这里子进程就不会产生僵尸进程了。
	signal(SIGPIPE, SIG_IGN);

	// 收集验证启动参数
	iRtn = check_args(argc, argv);
	if (iRtn == DC_RET_OK)
	{
		ABLOG_Printf(Metrics,
				(ABLOG,"[I] <---------------------------------------------------------------->"));
		ABLOG_Printf(Metrics,
				(ABLOG,"[I] <------------------------ Log DC Started ------------------------>"));
		ABLOG_Printf(Metrics,
				(ABLOG,"[I] <---------------------------------------------------------------->"));

		// 程序日志文件变更时，打印程序运行参数信息
		on_ablog_reinitialized = print_args;

		// DC处理主过程
		iRtn = main_process();

		ABLOG_Printf(Metrics,
				(ABLOG,"[I] <-------------------------  Log DC end -------------------------->"));
	}
	// 清理启动参数使用的资源
	clear_args();

	// 清理ab_code 使用的资源
	clear_coding();

	// 数据超时退出属于正常退出
	ABLOG_Return_Code(iRtn == DC_RET_TIMEOUT_QUIT?DC_RET_OK:iRtn);
}