[ Python ] AWS boto3를 이용한 S3 Path Wild Card

s3의 list_objects를 이용해 prefix를 사용할 수 있지만, 

prefix안에 wild card를 활용할 순 없다.

s3경로가 s3://my-bucket/country/city/town/20220404/myfile.parquet 일 때

• Prefix='country/city/town/20220404 ( 0 )
• Prefix='country/*/*/20220404 ( X ) 

pip install awswrangler 

모듈 설치 후 와일드카드를 사용한 S3경로로 필터링 가능

[ Sample Code ]

import boto3
import awswrangler

BUCKET = 'my-bucket' 
S3_PATH = 'country/*/*/20220404/*

s3_paths = awswrangler.s3.list_objects(f's3://{BUCKET}/{S3_PATH}')
for path in s3_paths:
    print(path)