简介： 本文主要介绍如何通过湖仓一体，打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖，以及 Hologres、MySQL 等数据平台，并通过 DataWorks 做统一数据开发和治理。 分享人：阿里云智能 产品专家 孟硕 没来得及看直播的同学，可以观看直播回放。直播回放：https://developer.aliyun
简介： 介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案，通过用实时的引擎做预处理，实现离线实时数据入仓后做更加实时的服务化BI分析实践。 没来得及看直播的同学，可以看下直播回放。直播回放：https://developer.aliyun.com
简介： 怎么对齐两段union脚本的数据类型 第1章 问题概述 1.1 UNION中隐式类型转换问题 近期参与的一个私有云项目要升级，因为maxcompute要升级到更新的版本，对之前的一些SQL写法有个更高的要求，就引出了这个union隐式转换的问题。运维同学扫描到内部的
简介：本篇内容分享了MaxCompute湖仓一体介绍。 分享人：孟硕 阿里云 MaxCompute产品专家 视频链接：数据智能实战营-北京站 专题回顾 正文： 本篇内容将通过两个部分来介绍MaxCompute湖仓一体。 一、什么是 MaxCompute 湖仓一体 二、湖仓一体成功案例介绍 一、什么是 MaxCompute
简单粗暴的理解：Dataphin是数据中台的ETL工具，可以对各种的数据源数据进行抽取、清洗。而MaxCompute是云原生的大数据存储服务。所以这两者的结合可以完美的解决企业数据中台的需求。 什么是Dataphin Dataphin是阿里巴巴数据中台团队研发的数据中台产品，它用于阿里集团（含蚂蚁科技）内
简介： 加和科技CTO 王可攀：技术是为业务价值而服务 王可攀加和科技CTO 本文将基于加和科技大数据平台升级过程中面临的问题和挑战、如何调整数据平台架构以及调整后的变化，为大家介绍数字营销行业大数据平台云原生升级实战经验。主要分为以下三个部分。 加和简介 加和的大数
简介： 加和科技CTO 王可攀：技术是为业务价值而服务 王可攀 加和科技CTO 本文将基于加和科技大数据平台升级过程中面临的问题和挑战、如何调整数据平台架构以及调整后的变化，为大家介绍数字营销行业大数据平台云原生升级实战经验。主要分为以下三个部分。 加和简介加和的大数据服
本教程并不会创建子账户来管理maxcompute，是直接使用主账号来对maxcompute进行管理（强烈不推荐在生产环境中这样做！！） Step1：创建阿里云账号并实名认证 创建一个阿里云账号（使用支付宝注册登录即可），然后进行实名认证（选择个人认证即可）。 Step2：创建访问秘钥 Maxcompute产品需要登录，
简介： Delta Lake 和 Hudi 是流行的开放格式的存储层，为数据湖同时提供流式和批处理的操作，这允许我们在数据湖上直接运行 BI 等应用，让数据分析师可以即时查询新的实时数据，从而对您的业务产生即时的洞察。MaxCompute 在湖仓一体架构中，通过支持 Delta Lake 和 Hudi 在数据湖中提供
函数用法 DATEADD 按照指定的单位和幅度修改日期值 函数命令 datetime dateadd(date|datetime|timestamp <date>, bigint <delta>, string <datepart>) 参数说明 date 必填。待转换的时间日期，可以是date、datetime、timestamp中任意一种 delta 必填。修改幅度，BIGINT类型。如果de
package com.xjr7670; import com.aliyun.odps.*; import com.aliyun.odps.account.Account; import com.aliyun.odps.account.AliyunAccount; import com.aliyun.odps.type.TypeInfo; import org.apache.poi.hssf.usermodel.HSSFRow; import org.apache.poi.hssf.usermodel.
背景 从maxcompute 将数据导出到polardb， 由于string 内容中包含特殊字符，emoji符号，导致同步数据时候，自动剔除含有特殊字符的数据。 问题排查方案： 1数据库和客户端编码格式不一致，需先修改编码格式。 浏览器编码和数据库或客户端编码格式不一致，需先统一编码格式，然后进行数据预
简介： 如何利用云上分布式 Python 加速数据科学。 如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈，同时又受限于平台的计算性能无法处理，本文介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一，
数据仓库定义：为企业所有的决策制定过程，提供所有系统数据支持的战略集合来源：日志采集系统业务系统数据库爬虫系统等数据仓库是做什么的：清洗，转义，分类，重组，合并，拆分，统计等数据仓库输出到哪：报表系统，用户画像，机器学习，推荐系统，风控系统项目需求分析：1、采集埋点日志数据 以文件存储2、采
简介： Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源，数据库支持Oracle，MySql，DB2等，也支持业界各种开源的大数据系统，例如HDFS, HBase, Cassandra
简介： MaxCompute联合全球加速服务，为有跨境访问需求的MaxCompute客户提供一套高效稳定的跨境访问加速方案。 MaxCompute联合全球加速服务，为有跨境访问需求的MaxCompute客户提供一套高效稳定的跨境访问加速方案。 背景信息 MaxCompute的大量出海客户，由于开发人员所在地和数
1.概述 造数据在一些奇怪的场合会被用到。一般我们是先有数据才有基于数据的应用场合，但是反过来如果应用拿到另外一个场景，没有数据功能是没有方法演示的。 一般较为真实的数据，脱敏后就可以应用在功能测试和演示的场合。但是数据脱敏其实也满复杂（脱敏过重数据就用不了了，过低数据
简介： 阿里云在最新发布的 The Forrester Wave™: Cloud Data Warehouse, Q1 2021 全球云数据仓库技术评比中进入卓越表现者象限，成为国内唯一入选厂商。本文针对 Forrester 的报告，结合阿里云的以 MaxCompute 为核心的云数仓产品，做一个详细的技术解读。 概述： 2021年3月25日，
场景 我们在使用maxcompute进行数据处理，我们会需要对上下游的数据质量作一些规则校验，用以来识别是否有脏数据影响了我们的数据质量。 而校验后，若是发现了脏数据，就需要第一时间通知到数据负责人，以便于数据质量负责人/数据运维角色的人员可以及时得知问题，让他们有充分的数据对数据进
WordCount示例 1.下载MaxCompute客户端工具 1.下载客户端 http://repo.aliyun.com/download/odpscmd/0.29.2/odpscmd_public.zip 2.配置和使用 1).解压缩后，odpscmd 会在用户目录下新建一个名字叫odpscmd 的目录，其中保存了 odpscmd 的配置文件 ~/.odpscmd/odps_config.ini，打开它
MaxCompute insert语句使用 本文介绍使用INSERT OVERWRITE和INSERT INTO两种命令更新表数据，主要内容包括： insert into table ... values ...语句 insert into/overwrite ... select ...语句 Insert多路输出（MULTI INSERT） 输出到动态分区（DYNAMIC PARTITION） INSERT VALUES语句 命
问题一、MaxCompute内建日期函数，DATEPART函数命令格式为 bigint datepart(datetime date, string datepart)用于提取日期date中指定的时间单位datepart的值。DATETIME类型。如果输入为STRING类型会隐式转换为DATETIME类型后参与运算，其它类型抛异常。但是客户在使用函数的时候没有
https://help.aliyun.com/product/27797.htmlmaxCompute(大数据计算服务，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全Max
就这样，大数据领域蓬勃发展了好几年，有很多伙伴执迷于技术，成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据，成为了行业的数据研发专家。当然还有很多小伙伴，热衷于工具系统开发，成为了数据技术专家。那么我们回过头来考虑，什么是大数据，什么又是数据仓库，什么又是数据技术。大
MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的
