Note#2

记录一个能够一键下载s3桶文件的jio本

记录于
Time Capsule易过期内容

本文最后更新于 1 年 8 个月

文章包含具体的 Python 代码实现,高度依赖第三方库 boto3 的 API 接口及 AWS S3 服务配置,API 变更或库版本升级会导致内容失效。

boto3 库s3.list_objects_v2 接口s3.download_file 接口AWS 凭证配置S3 端点 URL
python
import boto3
import os

# 配置AWS凭证和S3桶信息
aws_access_key_id = '你的AWS访问密钥ID'
aws_secret_access_key = '你的AWS秘密访问密钥'
bucket_name = '你的S3桶名称'
endpoint_url = '你的S3端点URL'

# 创建S3客户端
s3 = boto3.client(
    's3',
    aws_access_key_id=aws_access_key_id,
    aws_secret_access_key=aws_secret_access_key,
    endpoint_url=endpoint_url
)

# 获取S3桶中的所有文件列表
objects = s3.list_objects_v2(Bucket=bucket_name)

# 创建一个目录来存储下载的文件
download_dir = '下载的文件'
if not os.path.exists(download_dir):
    os.makedirs(download_dir)

# 字体文件的扩展名列表
font_extensions = ['.ttf', '.otf', '.woff', '.woff2', '.eot']

# 下载每个文件
if 'Contents' in objects:
    for obj in objects['Contents']:
        key = obj['Key']
        file_path = os.path.join(download_dir, key)
        
        # 检查文件是否已经存在或是字体文件
        if os.path.exists(file_path):
            print(f'跳过已有文件:{file_path}')
            continue
        
        if any(key.lower().endswith(ext) for ext in font_extensions):
            print(f'跳过字体文件:{file_path}')
            continue
        
        # 创建文件所在的目录(如果不存在的话)
        os.makedirs(os.path.dirname(file_path), exist_ok=True)
        
        # 下载文件
        s3.download_file(bucket_name, key, file_path)
        print(f'已下载文件:{file_path}')
else:
    print('S3桶中没有文件.')

print('所有文件下载完成.')
天翔TNXG
天翔TNXG离线