glue ジョブで、データの出力先を変数で設定する
output_place = 's3://example_output/'
# 辞書にして渡してあげる partitionKeys も設定できる
output_place_dic = dict(path = output_place , partitionKeys = ['year','month','day','hour'])
datasink4 = glueContext.write_dynamic_frame.from_options(
frame = df,
connection_type = "s3",
connection_options = output_place_dic,
format = "glueparquet",
transformation_ctx = "datasink4")
connection_options には辞書型でわたしてあげます。
output_place_dic の中身は下記になります。
{'path': 's3://example_output/', 'partitionKeys': ['year', 'month', 'day', 'hour']}