Conceito: solicitação de download de arquivo para exportação de dados

Esse é o método de download mais simples. A integração determina o número de eventos de download necessários dividindo o tamanho total da exportação em bytes pelo valor definido no atributo

Max Export Request Total Tamanho (Bytes)

. Se o resultado é igual ou inferior a 1, todo o download é concluído no evento de integração atual. Se for maior que 1, a integração gerará eventos adicionais um de cada vez para concluir o download.

Cada evento faz o download dos arquivos até que o tamanho total atinja o limite definido no atributo

Max Export Request Total Tamanho (Bytes)

. Se há mais arquivos para baixar, outro evento é gerado para continuar o processo. Esse ciclo se repete até que todos os arquivos tenham sido baixados. Por fim, todos os arquivos baixados são agregados em um único documento. O nome deste documento é determinado pelo atributo

Nome do arquivo de saída de exportação de dados

. Se você habilita o atributo

Compress Output File

, esse documento final é compactado (GZIP) antes de ser entregue na pasta SFTP.

Esse método é mais complexo e foi criado para exportações de grandes volumes, aproveitando o processamento simultâneo para executar vários downloads simultaneamente para obter uma maior taxa de transferência. Também oferece suporte à geração de vários eventos de download simultâneos.

Os principais atributos do método simultâneo incluem:

Número máximo de threads simultâneos
: especifica o número de threads simultâneos usados em um único evento de download. Este valor pode ser ajustado para otimizar o desempenho com base no volume da extração. O valor máximo permitido é 12; configurá-lo com um valor mais alto resultará em erro.
Máximo de solicitações de download de arquivo simultâneos
: esse atributo define o número máximo de eventos de download que um evento principal pode gerar por vez.
Repetir intervalo de consulta de consulta
: define o intervalo em segundos para a integração executar verificações de status nos eventos gerados.

A integração calcula o número total de eventos necessários para concluir a solicitação de exportação dividindo o tamanho total dos dados de exportação pelo

Número máximo de threads simultâneos

e, em seguida, pelo valor do atributo

Tamanho total máximo da solicitação de exportação (Bytes)

. Ele gera eventos de download até que o limite máximo de solicitações de download de arquivos simultâneos seja atingido. Nesse ponto, ele monitora o status deles. Quando os eventos gerados são concluídos, a integração verifica se são necessários mais downloads e, em caso afirmativo, inicia um novo evento de exportação para gerar mais eventos de download. Após o download de todos os arquivos da solicitação original, a integração cria um documento de resumo e o entrega na pasta SFTP.

Se você habilita a opção

Consolidate Export Parallel Thread Data

, os arquivos de exportação de cada thread individual são combinados em um único documento para cada evento de download. Isso reduz o número de arquivos de saída, mas pode ter um impacto no desempenho.

Você precisa habilitar o parâmetro

Calcular somente estatísticas de exportação (sem download de arquivo)

na inicialização para estimar o número total de eventos de download de arquivo necessários para concluir a exportação.

Se você seleciona Simultâneo como o método de download do arquivo para a origem, pode ajustar esses atributos para melhorar o desempenho da extração ou reduzir o número de arquivos de saída gerados: