标签：27 2021SC final --- static COMMAND 日志 spark String

2021-12-27

2021SC@SDUSC—DolphinScheduler（14）

1。

1.Worker Server日志脱敏

对日志中的密码进行脱敏。worker的日志是通过logback打印的，也就是通过配置conversionRule来实现过滤的。

@Override
    public String convert(ILoggingEvent event) {

        // get original log
        String requestLogMsg = event.getFormattedMessage();

        // desensitization log
        return convertMsg(requestLogMsg);
    }

public static final String DATASOURCE_PASSWORD_REGEX = "(?<=(\"password\":\")).*?(?=(\"))";

其实就是在打印日志的时候，通过正则表达式，把password给过滤掉了。个人不太喜欢这个实现方式，毕竟原PR的需求就是不要打印调度本身配置的数据源的密码信息，结果官方把所有的日志中的password都给脱敏了！

2.配置文件适当合并

这主要是设计配置项的合并，就是把多个配置文件合并成一个，减少配置文件数量。可创建包含 “.” 的用户名,主要是修改了用户名校验的正则表达式。

public static final Pattern REGEX_USER_NAME = Pattern.compile("^[a-zA-Z0-9._-]{3,20}$");

3.可切换 Spark 版本

解决多spark版本切换的问题。是根据当前参数选择对应的spark-submit

  private static final String SPARK1_COMMAND = "${SPARK_HOME1}/bin/spark-submit";
  private static final String SPARK2_COMMAND = "${SPARK_HOME2}/bin/spark-submit";


 String sparkCommand = SPARK2_COMMAND;

    if (SparkVersion.SPARK1.name().equals(sparkParameters.getSparkVersion())) {
      sparkCommand = SPARK1_COMMAND;
    }

issue里面描述的去除 Master 和 Worker 监听端口（5566,7788）

标签：27,2021SC,final,---,static,COMMAND,日志,spark,String
来源： https://blog.csdn.net/qq_56410453/article/details/122213069

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。