Skip to content

Output file format  #49

Description

@gschwend
  • Verificar (e corrigir, caso ainda exista) bug conhecido: os arquivos de output gerados eram no formato HDF5 por default, mas os nomes deles estavam com extensão de parquet (.pq ou .parquet)
  • Verificar se o RAIL já possui internamente alguma configuração que permita o usuário escolher o formato dos dados de saída.
  • Implementar opção de escolher o formato de saída, parquet ou hdf5. Caso o RAIL ainda não tenha suporte a esse requisito, criar uma função que faça a conversão do arquivo de saída no fim de cada job. O formato desejado deve ser passado como parâmetro de configuração no arquivo yaml do processo.
  • Independentemente do formato de saída, os arquivos devem possuir header com informações necessárias para futura ingestão no banco de dados.

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

Fields

No fields configured for Bug.

Projects

Status
🔖 To do

Relationships

None yet

Development

No branches or pull requests

Issue actions