默认情况下SparkSession不支持读取Hive中的数据，也不支持操作HQL语法， 如果要读取Hive中的数据，需要开启Hive的支持， 构建sparkSession的时候调用一个函数enableHiveSupport() val sparkConf = new SparkConf().setMaster("local[2]").setAppName("demo") val session = Spa
控制器 一、 Pod 的分类： 二、控制器类型： 1 Replication Controller（rc）和ReplicaSet（rs） 1.1ReplicaSet控制器示例： 2.Deployment 2.1Deployment控制器示例 3.DaemonSet 3.1DaemonSet控制器示例 4.StatefulSet 5.job控制器 5.1job控制器示例 6.CronJob控制器 6.1 CronJob控制
1. Docker Machine简介 - Docker Machine 是 Docker 官方编排（Orchestration）项目之一，负责在多种平台上快速安装 Docker 环境。 Docker Machine支持在常规Linux操作系统、虚拟化平台、openstack、公有云等不同环境下安装配置docker host。 Docker Machine 项目基于 Go 语言实现
1.hive server2 允许客户端远程连接 GettingStarted - Apache Hive - Apache Software Foundation $HIVE_HOME/bin/hiveserver2 node:10020 webUI页面 2.启动后使用beeline连接 $HIVE_HOME/bin/beeline #hive需要使用非root用户连接 修改hadoop集群配置core-site.xml <!--
一、编辑配置文件 进入/usr/conf目录 编辑配置文件：配置负载均衡 二、检测 并 重启 nginx服务 三、在真机上测试 首先在真机上添加解析 #vim /etc/hosts 执行命令： curl www.westos.org 关闭server2 httpd服务 测试是否有健康监测 当然 如果
在管理MySQL、初始化服务器、克隆复制和进行备份/还原操作时，复制、压缩和解压缩大文件（常常是跨网络的）是很常见的任务。能够最快最好完成这些任务的方法并不总是显而易见的，并且方法好坏的差异可能非常显著。这个附录将通过几个例子演示使用常见的UNIX实用工具，将一个大尺寸的备份镜
配置 hive-site.xml： hive.server2.use.SSL - 将其设置为true。 hive.server2.keystore.path - 设置密钥路径。 hive.server2.keystore.password - 设置密码。
tomcat部署 安装jdk开发环境 [root@server2 ~]# yum -y install java-11-openjdk* 下载tomcat [root@server2 ~]# wget https://archive.apache.org/dist/tomcat/tomcat-10/v10.0.12/bin/apache-tomcat-10.0.12.tar.gz 解压 [root@server2 ~]# tar xf apache-tomcat-10.0
package main import ( "github.com/gin-gonic/gin" "net/http" ) func main() { router := gin.Default() v1 := router.Group("v1") { server1 := v1.Group("server1") { server1.GET("/user", func(ctx
一 资源监控 要扩展应用程序并提供可靠的服务，你需要了解应用程序在部署时的行为。 你可以通过检测容器检查 Kubernetes 集群中的应用程序性能， Pods, 服务 和整个集群的特征。 Kubernetes 在每个级别上提供有关应用程序资源使用情况的详细信息。 此信息使你可以评估应用程序的
实验要求： 1）网关服务器：ens36：12.0.0.254/24，ens33：192.168.100.254/24；Server1：192.168.100.101/24；PC1和server2：自动获取IP；交换机无需配置。要求能够使用Xshell等远程工具登录Server1和网关服务器。 2）网关服务器提供DHCP服务给PC1和server2分配对应网段的IP地址。 3）server1服务器上创建
一.Secret概述 Secret 对象类型用来保存敏感信息，例如密码、OAuth 令牌和 ssh key。 敏感信息放在 secret 中比放在 Pod 的定义或者容器镜像中来说更加安全和灵活。 Pod 可以用两种方式使用 secret： 作为 volume 中的文件被挂载到 pod 中的一个或者多个容器里。 当 kubelet 为
kubernetes-Secret Secret从文件创建secret将Secret挂载到Volume中向指定路径映射密钥将Secret设置为环境变量存储docker registry的认证信息 Secret Secret 有三种类型： Service Account ：用来访问 Kubernetes API，由 Kubernetes 自动创建，并且会自动挂载到 Pod 的/r
Pod是Kubernetes调度的最小单元。一个Pod可以包含一个或多个容器，因此它可以被看作是内部容器的逻辑宿主机。Pod的设计理念是为了支持多个容器在一个Pod中共享网络和文件系统。因此处于一个Pod中的多个容器共享以下资源： PID命名空间：Pod中不同的应用程序可以看到其他应用程序的进
三剑客之swarm、监控、脚本、图形界面 1、swarm功能介绍2、Docker Swarm实现（1）准备工作（2）初始化（3）节点加入集群（4）创建集群服务（5）测试（6）扩容（7）测试 3、Docker Swarm监控4、编写脚本自动创建5、swarm图形界面 1、swarm功能介绍 Swarm 是 Docker 社区提供的唯一一个原生支持 Docker
Kubernetes部署 1. systemd2. 禁用swap分区3. 安装部署软件kubeadm4. 拉取镜像5. 初始化集群6. 安装flanne网络组件7. 各节点join Kubernetes的好处： 隐藏资源管理和错误处理，用户仅需要关注应用的开发。 服务高可用，高可靠。 可将负载运行在由成千上万的机器联合而成的集群
Docker数据卷管理、卷插件 一、Docker数据卷管理1.为什么要用数据卷2.bind mount3.挂载文件4.两个路径下的文件一样 二、卷插件1.跨节点数据同步2.目录共享3.创建卷 使用卷server1server2server1上拉起容器同步数据到server2删除piugins 一、Docker数据卷管理 1.为什么
目录 一、SaltStack简介 1：基本简介 2：通信方式 3：功能简介 二、资源获取 1：官网地址 2：阿里云地址 三、部署 1：配置环境说明： 2：资源配置 一、SaltStack简介 1：基本简介 SaltStack是一种新型的基础设施管理软件，简单易部署。与Ansible、Puppet相同是一款
简介、安装、远程执行、grains、Jinja模板 一、Saltstack简介1.简介2.Saltstack通信机制 二、安装1.服务端server1（1）配置网络仓库（2）安装saltstack-master（3）将仓库配置传给要配置的客户端server2和server3（4）启动master服务端 2.客户端server2和server3（1）安装客户端（saltstack-mini
Zabbix分布式监控平台部署＜3＞–zabbix-nginx部署及字体修正 1.zabbix-nginx部署 1.nginx源码编译、安装、配置 [root@server2 ~]# tar zxf nginx-1.20.1.tar.gz（官网下载） [root@server2 ~]# ls lamp nginx-1.20.1 nginx-1.20.1.tar.gz [root@server2 ~]# cd nginx-1.20.1 [r
keepalived的实际运行过程中，当master发生异常，且后期恢复master正常后，存在抢占或非抢占两种情况。简单点说抢占模式就是，当master宕机后，backup 接管服务。后续当master恢复后，vip漂移到master上，master重新接管服务，多了一次多余的vip切换，而在实际生产中是不需要这样。实际生产中是，当
解决问题的方案 no runing systemctl stop kubelet systemctl stop docker iptables --flush iptables -tnat --flush systemctl start kubelet systemctl start docker [root@server2 ~]# kubectl get pod -n kube-system NAME READY STATU
企业运维容器之 docker 安全 1. Docker 安全2. 容器资源控制3. docker 安全加固4. 总结 1. Docker 安全 Docker 容器的安全性，很大程度上依赖于Linux系统自身，因为共享的是 linux 的内核；评估Docker的安全性时，主要考虑以下几个方面： Linux 内核的命名空间机制提供的容器隔
文章目录 1 git工具使用1.1 git安装1.2 git使用1.3 远程仓库，将数据备份到云端 2.gitlab代码仓库2.1 gitlab安装2.2 gitlab使用 3.jenkins持续集成4 开发人员Dockerfile->gitlab->触发jenkins->实现镜像转发4.1安装docker容器4.2 本机Dockerfile->gitlab->实现镜像转发4.3
配置映射[可选操作] 1.为了我们今后进行免密登录时不必要输入难记的IP,我们可以先将三台服务器的ip做一个映射: 修改/etc/hosts文件,添加如下代码(假设我们只有三台服务器): 192.168.157.133 my.server01 server1 192.168.157.134 my.server02 server2 192.168.157.135 my.serve
