标签：postgresql tpcds S3 hive kit TpcdsData cd root trino

1、安装与配置 下载安装包

git clone https://github.com/gregrahn/tpcds-kit.git
cd tpcds-kit/tools
make OS=LINUX

存放的位置为：/root/trino （备注：自己定义即可，尽量与trino-server-363放在同一层目录，方便自己查找）   （125\124\123\122）环境安装：awscil

yum -y install awscli

  配置环境 注意：每台服务器都要进行相同的配置

aws configure
aws_access_key_id = GVO55HIKELKQIN4QSOPL
aws_secret_access_key = XgdhYuGsXHHg3yi0WySVQ8GwztW4SpIrL5irUdlA
Default region name [None]: cn-south-2
Default output format [None]: json

2、生成测试数据 如何编译及使用TPC-DS生成测试数据：https://cloud.tencent.com/developer/article/1078882 （可根据自己的方式存放）数据存放的目录，示例图如下截图所示：

cd /root/trino/tpcds-kit
mkdir TpcdsData
cd /root/trino/tpcds-kit/tools
./dsdgen -SCALE 1GB -DIR /root/trino/tpcds-kit/TpcdsData    #单条生成测试数据
./dsdgen -SCALE 500GB -DIR /root/trino/tpcds-kit/TpcdsData -parallel 4 -child 4   #并行生成测试数据 

单独在开一个窗口，执行命令查看数据生成情况

cd /root/trino/tpcds-kit/TpcdsData
du -sh *

  3、修改mys3文件 （124）在生成数据的目录下，新建一个script文件夹存放mys3.sh文件，示例：/root/trino/tpcds-kit/TpcdsData/script/mys3.sh

选择一个语句，进行环境的验证，示例：选择了第一个语句，将/root/trino/tpcds-kit/TpcdsData/call_center.dat的TPC数据写入到S3的call_center中

aws --endpoint-url http://obs.cn-southwest-2.myhuaweicloud.com s3 cp /root/trino/tpcds-kit/TpcdsData/call_center.dat s3://fastdata-tsdb/deepdevhwc/syw_postgreSQL_TPCds/call_center/

 

 

 

 

 

 

标签：postgresql,tpcds,S3,hive,kit,TpcdsData,cd,root,trino
来源： https://www.cnblogs.com/syw20170419/p/15593380.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。