数据流-将Avro对象存储到未知的GCS文件夹

2020-02-20 google-bigquery google-cloud-storage google-cloud-dataflow avro google-cloud-pubsub

我有一个DataFlow管道,该管道使用来自Cloud Pub / Sub的JSON消息,将其转换为Avro并将其存储到Google Cloud Storage。

如果DataFlow的值实际上可以是任何值,是否可以使DataFlow根据某个JSON字段将每个Avro对象存储到GCS中的不同文件夹中?

然后,此文件夹结构的目标是将PubSub通知与Cloud Functions一起使用,以将每个结果文件加载到不同的BigQuery表中。

Answers

这里writeDynamic()函数是否满足您的需求?似乎该页面上的“示例:将CSV文件写入不同的目录并使用不同的标题”类似于您要执行的操作。

Related