ICode9

精准搜索请尝试: 精确搜索
  • 56.在CDH5.13中安装CDSW1.22021-10-14 13:00:17

    56.1 演示环境介绍 CM和CDH已安装且正常运行集群已部署Spark2 On Yarn模式集群已部署Anaconda集群已配置好DNS服务并配置CDSW节点的泛域名解析CentOS7.2采用root用户操作CM和CDH版本5.13.0CDSW版本1.2.0 56.2 操作演示 部署CDSW Parcel包 下载CDSW的Parcel,下载地址如下 http:

  • 重新编译Spark2.4.0 Parcels包2021-05-11 16:59:03

    1、下载修改的parcel包 2、使用压缩工具打开parcel、替换需要的jar包,改案例中替换和新增的jar如下: httpclient-4.5.6.jar parquet-format-2.5.0.jar 3、根据文件内容生成hash certutil -hashfile C:\Users\15755\Desktop\parquet\SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012

  • 重新编译Spark2.4.0 Parcels包2021-05-11 15:33:16

    1、下载修改的parcel包 2、使用压缩工具打开parcel、替换需要的jar包,改案例中替换和新增的jar如下: httpclient-4.5.6.jar parquet-format-2.5.0.jar   3、根据文件内容生成hash certutil -hashfile C:\Users\15755\Desktop\parquet\SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.104101

  • CDH5.13 集成Kerberos配置2020-04-27 23:01:38

    1. 前言 本文基本上参考自:CDH集成Kerberos配置 增加了一些说明。 1.1. 软件版本 操作系统:Centos 7.5 和 Red Hat Enterprise Linux Server release 7.4 CDH版本:Hadoop 2.6.0-cdh5.13.0 JDK版本:1.8u144 运行用户:root 为什么有两个系统呢?因为先在我们公司的集群尝试了,然后再到客户那

  • CDH5.13.3部署并升级Spark2.x2020-04-07 16:40:49

    前言:网上也有很多关于CDH部署的相关文档,但由于基础环境的差异和软件安装方式的不同,其部署方式也大同小异,每篇文章都值得借鉴,但都不能完全照搬,只有自己亲自做了才知道所以然。建议在部署的时候遇到问题第一时间不是搜索而是先去看日志,提高自己解决问题的能力。 唯有实践才能

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有