大数据平台 QingMR 平滑集成 Hive 及 ELK 更新同义词典&支持更多调优参数

Posted on by

为更好的满足用户对大数据产品更多的需求， 对大数据的多个产品进行了如下更新升级：

QingMR 1.2.1 – Core：立即使用→

  • 所有节点升级 Confd 到 v0.13.12;
  • 修复 QingMR 在基础网络环境下 Hive 启动错误的问题;
  • 修复各个角色中 hosts 文件和 authorized_keys 文件用户的修改被覆盖的问题;
  • Client 节点增加 hdfs-site.xml 模板文件;
  • Client 节点 spark-env.sh 修改被覆盖的问题;
  • 修复启动 Hive 的时候找不到 spark-assembly 相关 Jar 包的问题;

QingMR 1.2.1 – Kylin：立即使用→

  • 所有节点升级 Confd 到 v0.13.12;
  • 修复 QingMR 在基础网络环境下 Hive 启动错误的问题;
  • 修复各个角色中 hosts 文件和 authorized_keys文件用户的修改被覆盖的问题;
  • Client 节点增加 hdfs-site.xml 模板文件;
  • Client 节点 spark-env.sh 修改被覆盖的问题;
  • 修改启动 Hive 的时候找不到 spark-assembly 相关 Jar 包的问题;
  • 修改 KAP 在 Spark Standalone 模式下启动失败的问题;

ELK ：立即使用→

  • 新增上传同义词词典功能;
  • 新增 nginx_client_max_body_size 配置项, Nginx默认请求体大小增加到 20M;
  • 新增共享文件系统仓库位置的配置参数: path.repo;
  • 新增只读 URL 仓库的位置的配置参数: repositories.url.allowed_urls;
  • 新增 es_additional_config 配置项;