2021年11月13日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glue studio ETL実行時間を取得して、日付、時間ごとのカラムを追加する 目的：AWS glue で ETLジョブの実行時間（日本時間）を取得して、年、月、日、時間、分、秒ごとのカラムを追加する。 glue studio 最終的なノードの設定は下記になります。S3 bucket ＞ Apply […]
2021年10月27日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glue Pyspark 固定値を指定して新しいカラムを作成する 目的：姓と名で分かれているカラムを結合させて、新しいカラムにいれる。 モジュールのインポート pyspark.sqlをインポート DynamicFrameのインポート fromDFを使用するためにDynamicFrame […]
2021年10月27日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glue Pysparkを使用してカラムの結合を行う 目的：姓と名で分かれているカラムを結合させて、新しいカラムにいれる。 モジュールのインポート pyspark.sql.functionsをsfとしてインポート DynamicFrameのインポート fromDFを使用する […]
2021年10月26日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glue 開発エンドポイントを使用してのPyspark検証 glueジョブ作成で生成されたスクリプトをもとに、glueの開発エンドポイントを使用して検証していく。 目的：姓（surname）と名（firstname）に分かれているカラムを結合して表示する。 モジュールpyspar […]
