shell定时上传linux日志信息到hdfs 从标题可以分析出来，我们要使用到shell，还要推送日志信息到hdfs上。 定义出上传的路径和临时路径，并配置好上传的log日志信息。这里我使用了上一节配置的nginx的error.log #上传log日志文件的存放路径 /bigdata/logs/upload/log/ #上传log日志
1、解包webpack配置文件 使用create-react-app 创建的项目默认是看不到webpack配置文件webpack.config.js的，需要先解包暴露出来，然后才能修改里面的配置信息。 运行命令: yarn eject 注意：此命令一旦运行会修改package.json 文件此过程不可逆 可能遇到得问题 windows执行此命令
创建Hadoop系统用户 为Hadoop开启Kerberos， 需为不同服务准备不同的用户。 启动服务时需要使用相应的用户。 须在所有节点创建以下用户和用户组。 用户划分： User: Group Daemons hdfs: hadoop NameNode, Secondary NameNode, JournalN
集群部署规划 hadoop132 hadoop133 hadoop134 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 配置集群 自定义配置文件存放在$HADOOP_HOME/etc
一 npm的使用 init install run / add npm i -g yarn //查看版本 yarn -version //创建文件夹 md yarn //进入 cd yarn //初始化 yarn init //运行脚本 yarn run //查看列表 yarn config list //显示列表信息 yarn info <packageName> //安装安装包 yarn install ya
npm https://www.npmjs.com/ npm 是 Node Package Manager 的缩写，是一个 NodeJS 包管理和分发工具，我们可以使用它发布、安装和卸载 NodeJS 包。npm 是 JavaScript 运行时环境 Node.js 的默认包管理器。 yarn https://yarnpkg.com/ yarn 是 facebook 等公司在 npm v3 时推出
hash 让生成的文件包含hash后缀，适用于增量发布和避免浏览器加缓存(短时间内发布多个版本，不发生变化)。 打包后的文件会增加哈希 如： umi.df723s.js 添加 hash:true import { defineConfig } from 'umi'; export default defineConfig({ nodeModulesTransform: { type: 'no
一 Spark与hadoop 三 Spark的架构详解 四 Spark运行基本流程 五 Spark运行模式 5.1 standalone独立集群运行模式 5.1.1 Standalone的client模式 5.1.2 Standalone的cluster模式 5.1.3 YARN框架原理 5.1.4 YARN的client运行模式 5.1.5 YARN的cluster运行模式 5.1.6 YARN-Cl
一、大纲 1、HDFS集群环境搭建 2、常见问题 3、HDFS Shell命令使用 二、集群环境搭建 下载地址: https://hadoop.apache.org/releases.html 1、初始化目录 在/bigdata/hadoop-3.2.2/下创建目录 mkdir logs secret hadoop_data hadoop_data/tmp hadoop_data/namenode had
背景 线上Hadoop集群资源严重不足，可能存在添加磁盘，添加CPU，添加节点的操作，那么在添加这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn资源配置，然后使其生效。 现有环境 服务器：12台，内存64Gx12=768G，物理cpu16x12=192，磁盘12Tx12=144T 组件：Hadoop-2.7.7，Hive-2
1：安装命令 yarn add element-ui --save 2:删除 yarn remove element-ui --save 安装如果出现下面问题： error Couldn't find package "fsevents@~2.3.2" required by "chokidar@^3.5.3" on the "npm" registry. 解决方法： 找到package.json，移除 "dependenc
1.解压Hadoop安装包 cd ...... 进入软件包所在文件夹 ls 查看文件夹下所有文件 tar -zxvf hadoop...... 解压Hadoop的jar包 2.配置hadoop文件 cd /......(Hadoop安装所在目录）/etc/hadoop 进入配置文件所在目录下 vim hadoop-env.sh 设置Hadoop的JAVA_HOME expor
今天用一台新电脑全局安装yarn成功，查看版本的时候发现报错 现在总结一下错误的原因以及解决方案 报错内容： 原因： 原因是因为电脑系统阻止了这个脚本的运行，对这个脚本不信任，所以我们要更改系统的权限 解决方案： 找到桌面左下角window图标， 鼠标右键 -> 找到Windwos Powershell(
安装yarn npm install -g yarn yarn --version yarn设置淘宝源 yarn config set registry https://registry.npm.taobao.org -g yarn config set sass_binary_site http://cdn.npm.taobao.org/dist/node-sass -g
目录一、Hadoop概述二、HDFS详解1）HDFS概述HDFS的设计特点2）HDFS组成1、Client2、NameNode（NN）3、DataNode（DN）4、Secondary NameNode（2NN）3）HDFS具体工作原理1、两个核心的数据结构: Fslmage和EditLog2、工作流程3、HDFS读文件流程4、HDFS文件写入流程三、Yarn详解1）Yarn概述2）YARN架构组件1
一、安装依赖信息 spark版本：spark-3.1.3-bin-hadoop3.2 hadoop版本：hadoop-3.2.1 scala版本：scala-2.11.12 建议3.12版本 下载地址：https://spark.apache.org/downloads.html 二、安装 2.1 单机配置环境 vim ~/.bash_profile #Spark3 SPARK_HOME=/Users/Robots2/softWare/spark-3
一、创建项目 1 $ yarn create vite demo 二、安装项目依赖 yarn add vue-router@next vuex@next element-plus axios -S 开发依赖 yarn add sass -D 注意：vite开发不需要安装node-sass sass-loader
由于yarn默认容器资源为最小核心数，即一个cpu， 所以我们要根据并行度去调整分配的cpu资源 程序如下:指定并行度为5，指定每个TM的slot数为2 -p 5 \ -Dtaskmanager.numberOfTaskSlots=2 \ 所以虽然配置了2个slot(并发度为2)，但是两个task不能同时运行，因为只有一个cpu 查看yarn的ui，可以
2022/03/29 Mac布置项目环境进行包管理 部署环境debugapi 使用在线编译器进行环境部署--->在线编译器remix 配置git--->拉取两个需要测试的项目 通过本地git生成ssh密钥 使用本地的ssh公钥配置到github上 打开github 进入Settings -- SSH and GPG keys 查看公钥文件 --->cat
转在doublexi: https://www.cnblogs.com/doublexi/p/15624795.html 在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。如果还没有配置好的，参考我前面两篇博客：Spark集群环境搭建——服务器环境初始化：https://www.cnblogs.com/doubl
一、下载各项包： Hadoop：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz jdk：https://www.oracle.com/java/technologies/downloads/ 选择jdk-8u321-linux-x64.tar.gz 注意：下载Hadoop时可能会出现下载较慢的情况，只需重新下载就会变快。
如图错误: 解决方式: 第一步:搜索powershell,然后以管理员身份运行 第二步:输入 set-ExecutionPolicy RemoteSigned 回车 在弹出的内容后面 输入Y/y 然后关闭即可 我们再次回到终端 输入yarn 成功开始加载依赖
Windows下安装Node.js和npm 前期准备 ◼下载 https://nodejs.org/zh-cn/ ◼安装 安装过程很简单全部是next继续就可以 安装完成后打开命令窗口 输入cmd （npm已经在Node.js安装的时候顺带装好了。） 然后依次输入 node –v npm –v 进行验证 配置Node和npm 1.第一步修改NPM的缓存目
npm npm install -g npm npm仍然提供了一个非常有用的解决方案，支持大量的测试用例。大多数开发人员使用原始npm客户端仍然可以做得很好 cnpm npm install -g cnpm --registry=https://registry.npm.taobao.org cnpm跟npm用法完全一致，只是在执行命令时将npm改为cnpm 有些npm
文章目录 前言一、Yarn基础架构二、Yarn工作机制容量调度器（Capacity Scheduler）公平调度器（Fair Scheduler） 三、Yarn生产环境核心参数 前言 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操
