2021年10月27日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glue Pyspark 固定値を指定して新しいカラムを作成する 目的：姓と名で分かれているカラムを結合させて、新しいカラムにいれる。 モジュールのインポート pyspark.sqlをインポート DynamicFrameのインポート fromDFを使用するためにDynamicFrame […]
2021年10月27日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glue Pysparkを使用してカラムの結合を行う 目的：姓と名で分かれているカラムを結合させて、新しいカラムにいれる。 モジュールのインポート pyspark.sql.functionsをsfとしてインポート DynamicFrameのインポート fromDFを使用する […]
2021年10月26日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glue 開発エンドポイントを使用してのPyspark検証 glueジョブ作成で生成されたスクリプトをもとに、glueの開発エンドポイントを使用して検証していく。 目的：姓（surname）と名（firstname）に分かれているカラムを結合して表示する。 モジュールpyspar […]
2021年10月14日 / 最終更新日時 : 2023年3月29日 netplateau AWSAWS glueジョブの作成 ジョブの作成 ジョブプロパティの設定 ・ジョブ名from_datacatalog_to_parquet ・IAM ロール先に設定したIAMロール ・Typeデフォルトのまま ・Glue versionデフォルトのまま ・ […]
2021年10月14日 / 最終更新日時 : 2021年10月14日 netplateau AWSAWS glueクローラ作成 IAMロール作成 ロール名：glue_test_Admin 信頼関係はglue ポリシーはテスト環境なのでアドミン 接続設定 名前：glue_test_s3 接続タイプ：Network アクセスは予め作成しておいたVPC […]
