Prefect is a workflow orchestration tool empowering developers to build, observe, and react to data pipelines. （Prefectはワークフロー・オーケストレーション・ツールで、開発者はデータ・パイプラインを構築、観察、対応することができます。） Pythonでワークフロー・パイプライン ...

グラフ用データを作成するには、API からデータ取得が終わった後に、DWH で集計して、その後バッチ処理かけてごにょごにょ 想定してたよりデータ量が多くて、許容時間内に処理が終わらないー あの API 、 Rate Limit 厳しいからから並列数制御しないといつまでたっても取得がおわらない・・・ ...