时间: 2020-09-03 00:08:26 人气: 2290 评论: 0
TBDS Autodeploy Tool是一款针对腾讯大数据套件(即TBDS)的规划和自动化部署工具,其基本功能包括:
工具的主要目的在于减少TBDS产品规划和部署安装时的人为错误,以及提升产品整体的交付效率。对于PoC项目,快速生成用于原型验证所需的测试环境。
本文对TBDS部署规划工具的功能和使用进行了说明。
本文主要阅读对象为:
使用TBDS部署规划工具之前,需要先确保以下条件得以满足:
工具已集成到tbds-tools部署运维工具包,如有体验需求请留言以联系作者。
工具包含的目录结构和文件说明如下:
tbdsAutodeployTool # 工具包主目录 |-- bin # 工具本身目录 | |-- tbds-planning.xlsm # TBDS规划工具 | |-- tbds-autodeploy.sh # TBDS自动化部署工具 |-- readme.md # 工具说明文档 |-- readme.assets # 工具说明文档中的插图目录
本章主要说明如何利用一个基于Excel开发的tbds-planning.xlsm规划工具对TBDS产品进行配置和规划。
在一台装有Excel软件的电脑上,打开tbds-planning.xlsm,点击《引导开始》页。
基本的流程包含5个步骤:
在了解完基本的流程后,点击“已知悉,开始吧!”按钮,进入下一步进入《基础配置》页。
在《基础配置》页,请填写以下基础配置信息:
INETXAHQZLSTYAGSJLADYMGNJNEG5IMUROIWSJHQBMUD2UG2RMKTWQKTKRIVWQOTLZIVWIG;10;/data,/data1,/data2,/data3;注意:目前仅支持所有数据节点的数据盘为统一路径的情景,如需分组配置,请先部署好产品再通过修改配置的方式完成。
C:\Users\aronhlchen\Desktop\TMP,用于存放最终生成的配置文件。4.0.4.0和4.0.3.1,例如4.0.4.0。填写完毕后,点击“下一步:选择套件服务”按钮进入《服务选择》页。如需返回《引导开始》页,点击“上一步:引导开始”按钮。
在《服务选择》页,请根据实际的业务场景,选择需要部署的服务:
Y/N(注意是大写)分别代表选择/不选择服务;其他列说明如下:
注意:必选服务的选择状态必须为Y,可选服务的选择状态可以为Y/N。
选择完毕后,点击“下一步:填写集群信息”按钮进入《集群信息》页。如需返回《基础配置》页,点击“上一步:填写基础配置”按钮。
在《集群信息》页,会根据《基础配置》页填入的集群节点数信息,自动生成《集群信息》表。需要填写以下信息:
10.0.0.1;pw@Tbds.com。其他不需要填写的信息说明如下:
x.x.x.x)以tbds-x-x-x-x的形式自动生成,不需手动填入;选择完毕后,点击“下一步:查看组件规划”按钮进入《组件规划》页。如需返回《服务选择》页,点击“上一步:选择套件服务”按钮。
在《组件规划》页,会根据《集群信息》页所填入的集群节点信息,以及《服务选择》页所选择的服务,自动生成一个节点与服务对应的规划表,例如下图,说明如下:
Y(注意为大写)表示部署,空表示不部署;注意:组件规划信息为自动生成,可按默认规划不需修改直接部署,也可以根据实际的情况进行调整。
确认组件规划无误后,点击“下一步:最终确认”按钮进入《最终确认》页。如需返回《集群信息》页,点击“上一步:填写集群信息”按钮。
在《最终确认》页,提示需要审阅之前填入和生成的所有信息。确保所有信息无误后,点击“下一步:生成配置文件”按钮以生成配置文件。
之后请根据提示到文件夹查看生成的对应文件。
生成的配置文件有两个,即cluster.info和cluster_info.json,详细说明请参考附录。
请将上述生成的配置文件,上传到TBDS集群的Portal主节点的以下对应目录:
1.cluster.info:在TBDS Portal部署开始前,上传到/data目录;
注意:上传后,需要注意一下格式,因为文件是在Windows系统底下生成,因此请手动转换为Unix格式。上传后,执行命令:
dos2unix /data/cluster.info
2.cluster_info.json:在TBDS Portal部署完成后,上传到/usr/local/tbds-portal/conf目录。
注意:TBDS Portal安装完成后会自带/usr/local/tbds-portal/conf/cluster_info.json文件,直接覆盖即可。
请根据《TBDS部署操作指引手册》,安装好tbds-portal服务,并确保服务正常运行。
查看tbds-portal运行状态:
tbds-portal status将tbds-tools下载到TBDS集群的Portal主节点上并解压,执行以下命令来自动化部署产品:
bin/tbds_autodeploy.sh
若运行正常,返回结果如下:
登陆TBDS Portal页面和Ambari管理界面,查看部署进度。
1.TBDS Portal页面:
2.Ambari页面:
cluster.info包含部署TBDS所需要写入的集群信息,用于部署tbds-portal,格式如下:
node_1_ip [node_1_pw_optional] node_2_ip [node_2_pw_optional] … node_n_ip [node_n_pw_optional]
其中
node_n_ip:必选项,为第n个节点的IP;node_n_pw_optional:可选项,为第n个节点的root用户密码。注意:如果所有节点root用户密码相同,则该部份信息缺失,部署portal时直接使用/data/.tbds.ini中的ROOTPWD信息即可)。
cluster_info.json主要包含集群名称、产品许可、选择的服务、机器信息、组件主机分布的规划信息、配置信息等,是调用TBDS自动化部署API接口所需要的信息文件,包含的字段说明如下:
cluster_name:安装的集群名称;license:对应安装集群申请的license;case_info: 安装的服务标识名列表信息;services:对应安装的服务信息;id:对应服务标识;host_list:安装的机器信息;name:主机名称,不填则使用套件默认主机名; user:访问主机的用户名,不填则默认通过配置文件/usr/local/tbds-portal/conf/custom.properties中配置项auto.deploy.default.user获取; password:访问主机的密码,不填则默认通过配置文件/usr/local/tbds-portal/conf/custom.properties中配置项auto.deploy.default.password获取; lanIp:主机的ip地址; host_assign:主机分配信息 非必填,默认会自动分配;service_name:指定组件信息,格式:服务标识/组件标识;hosts:该组件的安装机器列表;custom_config:组件的自定义信息;service_name:指定配置项信息,格式:服务标识/配置文件/配置项;config_content:自定义的配置信息。