1，修复偏移量提交延迟的bug

2，添加实时消息。
3，添加报表
4，优化topic删除功能

Author: lichengsheng

doc/MQ3.0多语言方案v6.pptx

@@ -88,6 +88,8 @@ CREATE TABLE `consumer_group` (
   `meta_update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '元数据更新时间',
   `mode` int(11) NOT NULL DEFAULT '1' COMMENT '1，为集群模式，2，为广播模式,3，为代理模式',
   `origin_name` varchar(50) DEFAULT NULL COMMENT '原始的消费者组名',
+  `sub_env` varchar(45) NOT NULL DEFAULT 'default'  COMMENT '子环境名称',
+  `push_flag` int(11) NOT NULL DEFAULT '0' COMMENT '1，表示实时推送，0，表示非实时推送',
   PRIMARY KEY (`id`),
   UNIQUE KEY `name_index` (`name`)
 ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
@@ -192,16 +194,6 @@ CREATE TABLE `dic` (
   UNIQUE KEY `key_index` (`key1`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
 
--- ----------------------------
--- Table structure for group_topic
--- ----------------------------
-DROP TABLE IF EXISTS `group_topic`;
-CREATE TABLE `group_topic` (
-  `group_id` int(11) DEFAULT NULL,
-  `group_name` varchar(45) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
-  `topic_id` int(11) DEFAULT NULL,
-  `topic_name` varchar(45) COLLATE utf8mb4_unicode_ci DEFAULT NULL
-) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
 
 -- ----------------------------
 -- Table structure for message_01
@@ -329,6 +321,7 @@ CREATE TABLE `queue_offset` (
   `meta_update_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '元数据更新时间',
   `origin_consumer_group_name` varchar(50) DEFAULT NULL COMMENT '原始的消费者组名',
   `consumer_group_mode` int(11) NOT NULL DEFAULT '1' COMMENT '1，为集群模式，2，为广播模式,3，为代理模式',
+  `sub_env` varchar(45) NOT NULL DEFAULT 'default' COMMENT '子环境名称',
   PRIMARY KEY (`id`),
   UNIQUE KEY `uq_group_id_topic_id` (`consumer_group_id`,`topic_id`,`queue_id`),
   KEY `consumer_group_id_idx` (`consumer_group_id`),
@@ -346,12 +339,14 @@ CREATE TABLE `server` (
   `heart_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
   `server_type` tinyint(4) DEFAULT '1' COMMENT '1 表示broker，0 表示portal。当值为0时，这个是用在做批量清理时使用。',
   `status_flag` tinyint(4) DEFAULT '1' COMMENT '1 表示状态为up,0 表示状态为down，此状态在系统灰度平滑发布时使用。默认是1 表示up',
+  `server_version` varchar(100) DEFAULT NULL COMMENT 'broker 版本号',
   `insert_by` varchar(100) DEFAULT NULL COMMENT '操作人',
   `insert_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
   `update_by` varchar(100) DEFAULT NULL COMMENT '操作人',
   `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
   `is_active` tinyint(4) NOT NULL DEFAULT '0' COMMENT '逻辑删除',
-  PRIMARY KEY (`id`),
+  PRIMARY KEY (`id`), 
+  UNIQUE KEY `ip_port_uq` (`ip`,`port`),
   KEY `ip_port_idx` (`ip`,`port`)
 ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
 

doc/Mq3.0设计v7.pptx

@@ -0,0 +1,118 @@
+# 接入说明：
+
+1. [各环境地址](#sp1)
+2. [客户端接入](#sp2)
+3. [Mq3模型](#sp7)
+4. [2.0升级方案](#sp8)
+
+##<span id="sp1">各环境地址</span>
+**测试客户端broker地址**：http://fat-mqbroker4.ppdapi.com
+**测试客户端portal地址**：http://fat-mqportal4.ppdaicorp.com
+**UAT客户端broker地址**：http://uat-mqbroker4.ppdapi.com
+**UAT客户端portal地址**：http://uat-mqportal4.ppdaicorp.com
+**生产客户端broker地址**：http://mqbroker4.ppdapi.com
+**生产客户端portal地址**：http://mqportal4.ppdaicorp.com
+完整的host如下：
+```
+10.114.26.227 fat-mqportal4.ppdaicorp.com
+10.114.26.227 fat-mqbroker4.ppdapi.com
+10.0.23.22 uat-mqportal4.ppdaicorp.com
+```
+
+
+## <span id='sp2'>客户端接入</span>
+
+####说明
+* 客户端接入分为`producer`接入和`consumer`接入
+* 客户端实例既可以发消息也可以订阅消息
+
+## <span id='sp2'>`spring boot`接入</span>
+
+- 添加maven引用
+
+```
+<dependency>
+	<groupId>com.ppdai.infrastructure</groupId>
+	<artifactId>mq-client-springboot</artifactId>
+	<version>*****</version>（推荐最新版）
+</dependency>
+```
+
+- producer和consumer实例properties 配置（也可yml）
+
+```
+	mq.broker.url=http://fat-mqbroker4.ppdapi.com #//broker地址必须	
+```
+
+##producer发送端使用方法
+
+```
+MqClient.publish("test", env.getProperty("test-token", ""), new ProducerDataDto(""));	
+```
+## 发送端使用注意事项
+
+* publish方法有多个重载方法，可以批量发送。
+* 消息支持批量发送，但是一次不能超过20条。
+* 调用发送和消费接口都是在ContextRefreshedEvent 事件之后，完成初始化才能使用，否则会报 <font color="red">MqNotInitException</font>。这时需要手动调用 MqClient.start(broker 地址)。
+
+##consumer消费端使用方法
+consumer消费端订阅有两种方式，一种是基于配置订阅，一种基于代码订阅。
+
+##配置订阅
+```
+<?xml version="1.0" encoding="UTF-8" ?>
+<messageQueue>
+    <consumer groupName="lorgine">
+        <topics>
+            <topic name="test" receiverType="com.ppdai.infrastructure.demo.TestSub"></topic>
+            <topic name="test2" receiverType="com.ppdai.infrastructure.demo.TestSub"></topic>            
+        </topics>
+    </consumer>   
+</messageQueue>
+```
+
+对应的路径为  <font color="red">/src/main/resources/messageQueue/messageQueue.xml</font>
+
+##代码订阅
+```
+ConsumerGroupVo consumerGroup = new ConsumerGroupVo("ffSub");
+ConsumerGroupTopicVo topicVo = new ConsumerGroupTopicVo();
+topicVo.setName("test");
+topicVo.setSubscriber(new ISubscriber() {
+	@Override
+	public List<Long> onMessageReceived(List<MessageDto> messages) {
+				//do somthing
+				return 失败的id列表;
+	}
+	});
+consumerGroup.addTopic(topicVo);
+MqClient.registerConsumerGroup(consumerGroup);
+
+```
+
+注意事项
+* 可以订阅多个topic，一个应用可以订阅多个消费者组，同时用户比如订阅topic组里面所有的成功topic，注意消费者组中失败的topic不用订阅。
+* 订阅的时候，必须要订阅消费者下所有的topic，不能只订阅部分的topic，否则会报错。
+* 消息3.0自动在客户宿主机上进行了cat埋点监控，用户可以实时查看客户端cat情况
+
+
+## <span id='sp7'>Mq模型</span>
+
+<img src="assets/mq_m.png" width = "800"  alt="Mq模型" align=center />
+
+## <span id='sp8'>消息2.0升级消息3.0方案</span>
+
+* 注意mq4完全兼容mq2，mq4是基于最新的mq2客户端 1.1.7.8.5版本做兼容处理的。所以如果mq2客户端支持mq2 客户端1.1.7.8.5版本，则只需要修改pom即可。
+* 为了平滑升级与降级，消息客户端需要接入apollo，使得用户可以通过修改配置进行平滑升级与降级。
+* 接入新版客户端后，客户端有三个配置项。
+
+配置项     |默认值|含义   
+---------|----------|----------                                                                
+mq3.pb.loc|1     |1：表示采用mq3模式发送消息，0表示采用mq2模式发送消息。默认采用mq3发送消息。   
+mq3.cs.loc|0     |1：表示采用mq3模式消费消息，0表示采用mq2模式消费消息。默认采用mq2消费消息。    
+mq3.fc.loc|1     |1：表示采用mq3模式获取消息数量，0表示采用mq2模式获取消息数量。默认采用mq3模式。 
+
+在新版的消息客户端中，为了实现平滑迁移，内置了mq2与mq3的客户端，可以根据上面的配置说明，添加修改相应的配置项，来切换不同的使用模式。注意客户端只有在mq3消费模式下，才有消息3.0动态重平衡，动态修改偏移等高级功能，否则还是跟mq2一样，无这些高级功能。
+
+详细文档请参考
+http://confluence.ppdai.com/pages/viewpage.action?pageId=24549662

doc/Mq3.pptx

@@ -0,0 +1,15 @@
+ALTER TABLE `consumer_group` 
+ADD COLUMN `sub_env` VARCHAR(45) NULL DEFAULT 'default' AFTER `origin_name`;
+
+
+ALTER TABLE `queue_offset` 
+ADD COLUMN `sub_env` VARCHAR(45) NULL DEFAULT 'default' AFTER `consumer_group_mode`;
+
+
+ALTER TABLE `server` 
+ADD UNIQUE INDEX `ip_port_uq` (`ip` ASC, `port` ASC);
+
+
+ALTER TABLE `server` 
+ADD COLUMN `server_version` VARCHAR(100) NULL COMMENT 'broker 版本号' AFTER `status_flag`;
+