首页 > 系统相关> 文章详细

Mac/Linux 从Google Cloud Storage 下载财务报告数据

2022-02-10 13:05:51 阅读：235 来源： 互联网

标签：Google http Storage 代理 Mac gsutil proxy Cloud

Mac/Linux 从Google Cloud Storage 下载财务报告数据（Download reports from Google Cloud Storage）

流程

配置Mac/Linux 代理
安装gsutil工具及配置环境
确认 Google Cloud Storage的关键信息
使用 gsutil cp gs://BUCKET_NAME/OBJECT_NAME /目标文件路径

配置Mac/Linux 代理

前提：本文代理服务使用的是ss vTWOray，默认为socks5。

虽然gsutil支持socks代理协议，但因为下载效率问题，本文依旧采用http协议。如你的代理服务默认是socks协议，需要先将其转化成http模式。
转化成http代理教程如下:
Mac上使用polipo将socks5代理转为http代理

安装python3.7以上版本，并配置为默认执行

查看python版本：python -V
查看python3执行路径：which python3
配置python3为默认执行命令

    编辑环境变量配置文件：vim ~/.zshrc 或者 vim ~/.bash_profile
    添加命令：alias python="/usr/local/bin/python3.7"
    保存退出并 source ~/.zshrc

查看python版本：python -V

配置代理

vim ~/.zshrc

alias proxy="export http_proxy=http://127.0.0.1:8001;export https_proxy=http://127.0.0.1:8001;export HTTP_PROXY=http://127.0.0.1:8001;export HTTPS_PROXY=http://127.0.0.1:8001" 
alias unproxy="unset http_proxy"

检验终端的代理状态

开启代理：proxy
关闭代理：unproxy
curl https://www.google.com.hk

安装gsutil工具及配置环境

安装gsutil 工具：install the gsutil tool
配置gsutil 运行环境变量：

    vim ~/.zshrc 
    添加命令：export PATH=${PATH}:$HOME/gsutil
    保存退出 source  ~/.zshrc

运行gsutil

确认 Google Cloud Storage的关键信息

进入目标：Google Cloud Platfrom
点击左上导航栏找到：Cloud Storage并进入Setting选项
点击进入Interoperability页面
找到Access keys for your user account 并Create a key
保存生成的Access key 和 Secret

gutil的boto配置

编辑.boto文件：vim ~/.boto
代理配置

    找到 [Boto]
    找到一下参数并修改为自己的代理数据
    proxy = 127.0.0.1
    proxy_type = http
    proxy_port = 8001

密钥配置

    找到 [Credentials]
    找到一下参数并修改为刚生成的Access key 和 Secret
      gs_access_key_id = GOOGYROMDHOUQNCZXKZS
      gs_secret_access_key = zdndwhQbJ7H2s2261YdRGvlygIB2OnWaubM

使用 gsutil cp gs://BUCKET_NAME/OBJECT_NAME /目标文件路径

    通过单击Download报告页面上相应部分标题旁边的Copy Cloud Storage URI按钮，找到您的报告桶ID。
    您的云存储URI以pubsite_prod_rev开头(例如，pubsite_prod_rev_01234567890987654321)。

gsutil cp gs://pubsite_prod_rev_01234567890987654321/sales/salesreport_202202.zip /Users/cheneychan

标签：Google,http,Storage,代理,Mac,gsutil,proxy,Cloud
来源： https://www.cnblogs.com/mrcheney/p/15878578.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9