Ir para o conteúdo principal
Documentação
Documentação
Adaptive Planning
Última atualização: 2024-02-02
Etapas: definir fontes de dados com script

Etapas: definir fontes de dados com script

As fontes de dados com script permitem resolver cenários complexos de extração e transformação de dados personalizados. Você pode escrever scripts ETL do Kettle para especificar fontes de informações das quais extrair dados e aplicar regras de negócios específicas do cliente aos dados extraídos. Antes de definir uma fonte de dados com script, você deve instalar o agente de dados em um servidor Windows local na rede. Consulte Conceito: agentes de dados para obter mais informações.
A plataforma ou os scripts usados no Kettle não são atualizados ou migrados automaticamente. Se você usa o agente de dados herdado (com o Kettle 4.4), precisa utilizar o link na seção Baixar agente herdado da interface de usuário do agente na Integração. Se você quer atualizar para o Kettle 6, deve reinstalar o novo agente de dados e a nova versão do Kettle em um sistema que nunca teve nenhuma versão do Kettle instalada anteriormente.
As fontes de dados com script devem ser manipulados por implementadores de ETL avançados, que têm experiência em escrever scripts do Pentaho Kettle e usar a interface de usuário do Spoon. Para obter mais informações sobre o Pentaho Kettle e o Spoon, incluindo extensa documentação e tutoriais, consulte https://docs.hitachivantara.com/p/pentaho-dia.
Para definir uma fonte de dados com script:
  1. Acesse o Designer de dados em
    Integração > Design de integrações
    .
  2. Na pasta Fonte de dados na Biblioteca de componentes, no lado direito da tela, clique em
    Criar nova fonte de dados
    . A caixa de diálogo Criar novo é exibida.
  3. Selecione
    Fonte de dados com script
     como o tipo de fonte de dados e informe um nome para ela.
  4. Clique em
    Criar
    . A área central da tela exibe as configurações da nova fonte de dados e outras informações.
  5. Insira as informações da fonte de dados:
    • Agente associado
      : selecione o agente na lista suspensa.
    • Ponto de entrada
      : selecione um ponto de entrada na lista suspensa. O ponto de entrada é um script ETL no sistema. Você pode editar essa opção mais tarde.
    • Nível de registro
      : selecione um nível de registro na lista suspensa para especificar os detalhes de registro dessa fonte de dados. Suas opções são:
    • Erro
      : registra somente erros graves.
    • Informações
      : registra todas as informações básicas, como por exemplo, a data em que a fonte de dados foi atualizada.
    • Detalhado
      : apresenta informações muito detalhadas sobre todas as fases e ações. (Este nível é usado principalmente para depuração ou auditoria, pois pode produzir mais informações de registro do que as necessárias para o uso geral.)
    • URIs de origem
      : informe os URIs às quais os scripts se conectam, separando-os por ponto e vírgula (;). Este campo é usado somente para ajudar a identificar e documentar os sistemas de origem implícitos aos quais os scripts se conectam. Não é usado para nenhuma outra finalidade.
  6. Clique em
    Salvar
    no menu Ações.

Como iniciar o Spoon

Depois de salvar as informações básicas da fonte de dados com script, você pode iniciar o Spoon, o editor de scripts ETL, trabalhar com o script e adicionar tabelas à fonte de dados com script.
Para visualizar e editar o script:
  1. No menu Iniciar do Windows, clique em
    Todos os programas
    .
  2. Abra a pasta Workday Adaptive Planning Data Agent. Para versões do agente de dados 7.1.44 e anteriores, abra a pasta Adaptive Data Agent.
  3. Clique em Adaptive Script Editor. Depois de uma tela inicial do Pentaho e uma dica de inicialização, a tela do Spoon é exibida.
  4. Insira seu
    Adaptive Planning
     e-mail e senha de logon e clique em
    Conectar agora/Atualizar lista de locatários
    . Se você sincronizou usuários do Workday, consulte Conectar-se ao agente de dados e ao editor de scripts com credenciais do Workday.
  5. Selecione o locatário no menu suspenso. Normalmente, somente um locatário é mostrado. O Spoon atualiza a lista de locatários.
  6. No menu suspenso, selecione o agente que você está usando para esta fonte de dados. O Spoon atualiza a lista de agentes.
  7. Na lista suspensa em Edit Script, selecione a fonte de dados com script que você acabou de criar.
Agora que você se conectou e informou em qual agente e fonte de dados está trabalhando, pode começar a editar o script.
  1. No canto superior direito da tela do Spoon, clique em Data Integration. A perspectiva Integration do Spoon é exibida.
  2. Selecione
    File > Open
    , navegue até o script que quer visualizar e editar, e clique em
    OK
    . Os scripts de amostra de fonte de dados com script incluídos na integração mostram informações sobre a estrutura do script e as conexões de banco de dados que podem ser úteis para você no desenvolvimento dos seus scripts.
  3. Edite o script como necessário e salve-o.
  4. No canto superior direito, clique em Adaptive para voltar à perspectiva do Adaptive. A tela do Spoon é exibida novamente.
  5. Clique em
    Publicar as alterações no agente
    . Isso envia o script de volta para o
    Adaptive Planning
     servidor, onde são armazenados no repositório de scripts.
O modos de importação de dados a seguir têm suporte. As configurações podem variar de acordo com a tabela.
  • Todos os registros são substituídos cada vez que os dados são importados.
  • O agente remoto verifica todos os registros de origem e transmite os registros alterados sempre que os dados precisam ser sincronizados.
  • Todos os registros que estão em um intervalo de tempo são transmitidos.

Como adicionar tabelas e colunas a uma fonte de dados com script

Depois de implementar o script, você pode adicionar tabelas e colunas à sua fonte de dados na integração.
É fundamental que as colunas definidas na fonte de dados correspondam exatamente às colunas definidas no script ETL. Caso contrário, o carregamento de dados falha.
Para adicionar tabelas a uma fonte de dados com script, siga estas etapas:
  1. Expanda a entrada Tabela personalizada no menu Componentes de dados.
  2. Arraste e solte o item
    Tabela com script
     na área Tabelas a serem importadas. Ao soltar o item, a caixa de diálogo Tabelas com script é exibida.
  3. Insira as configurações da tabela:
    • Nome
      : informe o nome da tabela.
    • Modo de importação de dados
      : selecione um dos modos de importação:
      • Todos os registros são substituídos toda vez que a importação de dados é executada
        . Esse é o padrão. Sempre que você importa dados, todos os registros na área de preparação são substituídos.
      • Cache remoto usado para identificar e enviar registros alterados na importação
        : a integração analisa a área de preparação e a compara com os registros da planilha ou do banco de dados e importa somente os registros alterados.
      • Todos os registros que estão em um intervalo de tempo transmitido
        : quando você seleciona esse modo, é solicitado a inserir um intervalo de tempo e uma coluna da integração à qual o intervalo deve ser aplicado. Todos os registros que atendem a esse critério de seleção são importados.
    • Filtro de importação de dados
      : use para inserir uma expressão SQL que filtre ou formate as informações que estão sendo importadas. O filtro SQL é aplicado antes que os dados sejam extraídos do banco de dados para reduzir a quantidade de informações que precisam ser importadas, proporcionando um nível adicional de controle dos dados que são trazidos para a área de preparação. Clique no campo para exibir a caixa de diálogo Editar filtro SQL, descrita anteriormente. (O filtro inserido aqui é aplicado nos dados do banco de dados e não nos dados pré-visualizados na área de preparação.)
  4. Clique em
    Aplicar
    para aplicar as configurações.
Para adicionar colunas a uma fonte de dados com script, siga estas etapas:
  1. Expanda a entrada Coluna personalizada no menu Componentes de dados.
  2. Arraste e solte um dos tipos de coluna para a área Tabelas a serem importadas. Ao soltar o item, a caixa de diálogo Configurações de coluna é exibida.
  3. Informe as configurações de coluna:
    • Nome
      : informe o nome da coluna. Os nomes das colunas devem corresponder aos nomes das colunas conforme especificado no script do Spoon, incluindo maiúsculas, minúsculas e espaços.
    • Tipo de coluna
      : campo somente de exibição que identifica o tipo de coluna.
    • Converter tipo de coluna
      : você não pode alterar esse valor, exceto para colunas SQL. Para colunas SQL, você pode selecionar qualquer uma das seis opções de conversão.
  4. Clique em
    Aplicar
    para aplicar as configurações.

Como gerenciar colunas

Se você está trabalhando com uma tabela que tem um grande número de colunas, pode usar a caixa de diálogo Gerenciar colunas para fazer edições rápidas nas colunas que você quer importar. A caixa de diálogo Gerenciar colunas exibe as colunas da tabela para que você possa marcar ou desmarcar as colunas para importação.
Para gerenciar colunas para importação:
  1. Na guia, clique na seta à direita do nome da tabela. Um menu flutuante com várias opções é mostrado.
  2. Clique em
    Gerenciar colunas
     no menu flutuante. A caixa de diálogo Gerenciar colunas é exibida.
  3. Marque a caixa ao lado da coluna para importá-la. Quando você marca uma coluna, ela também aparece na janela de pré-visualização depois que o conteúdo do pop-up é salvo. O ato de desmarcar a coluna a remove da janela de pré-visualização. Você não pode alterar o status de importação em campos gerados pelo sistema, como
    isDeleted
    . Você também pode alterar o status de importação de colunas individuais selecionando as propriedades da coluna e definindo a propriedade ou arrastando e soltando as colunas no Designer.

Como personalizar tabelas

Para cada tabela, você pode personalizar a forma como os dados são importados.
Para personalizar as configurações da tabela, siga estas etapas:
  1. Na guia, clique na seta à direita do nome da tabela. Um menu flutuante com várias opções é mostrado.
  2. Clique em
    Configurações de tabela
     no menu flutuante.
  3. Clique em
    Aplicar
    para aplicar as configurações.
  4. Repita as etapas de 1 a 3 para cada tabela.
  5. Clique em
    Salvar
     para salvar as configurações na fonte de dados.

Como definir opções de coluna

Use a seção Tabelas a serem importadas para pré-visualizar os dados tal como estão na fonte de dados ou como ficaram na área de preparação após a importação. Você pode alterar as opções de cada coluna posicionando o cursor do mouse sobre seu título e clicando no menu suspenso ao lado do nome. As opções são:
  • Classificar em ordem crescente
    : classifica toda a tabela em ordem crescente com base nesta coluna.
  • Classificar em ordem decrescente
    : classifica toda a tabela em ordem decrescente com base nesta coluna.
  • Configurações de coluna
    : esta caixa de diálogo é usada para alterar as propriedades da coluna na tabela de preparação.
  • Nome
    : nome da coluna, exibido no cabeçalho.
  • Tipo de coluna
    : tipo de dados usados na coluna.
  • Converter tipo de coluna
    : selecione o novo tipo neste menu suspenso.
  • Excluir coluna da importação
    : selecione para remover esta coluna dos dados que estão sendo importados.
  • Excluir coluna personalizada
    : selecione para excluir a coluna. (Disponível somente para colunas personalizadas.)

Como baixar dados de uma tabela de preparação

Você pode baixar dados de uma única tabela de preparação.
Para baixar dados de uma única tabela de preparação:
  1. Clique na seta para baixo no cabeçalho da tabela na seção Tabelas a serem importadas.
  2. Selecione
    Baixar dados.
  3. Na mensagem
    Esta operação enviará um e-mail com um URL para baixar os dados
    , clique em
    Enviar
    .
    Adaptive Planning
     envia um e-mail contendo um URL para a conta de e-mail associada ao designer de dados.
  4. Abra o e-mail e clique no URL. Os dados são baixados no formato .csv.

Como usar opções avançadas de filtro

Abaixo do menu suspenso Origem, clique em
Opções avançadas de filtro
 para ver as opções para filtrar os dados na área de pré-visualização das
Tabelas a serem importadas
. A funcionalidade Opções avançadas de filtro disponibiliza ferramentas para visualizar e navegar por um subconjunto de dados em uma tabela de preparação ou no script. (Se você seleciona Script na lista suspensa Origem, a solicitação de pré-visualização é enviada ao agente para processamento.) Quando altera as propriedades do filtro, você também pode alterar como os dados são mostrados na janela de pré-visualização, sem modificar os dados na área de preparação.
A área de pré-visualização serve especificamente para ver uma pequena parte dos dados na área de preparação. Para verificar se está obtendo os dados esperados, examine a área de preparação e explore os dados disponíveis na planilha. (Os filtros definidos na função de pré-visualização não afetam os dados reais na área de preparação.)
As Opções avançadas de filtro são:
  • Linhas distintas
    : marque esta caixa para ocultar linhas duplicadas.
  • Máx. de linhas
    : informe um número na caixa de texto para limitar o número de linhas exibidas na área de pré-visualização.
  • Colunas
    : marque ou desmarque as colunas neste menu suspenso para mostrar ou ocultar colunas.
A remoção de uma coluna desta lista não remove a coluna da lista de importação.
  • Filtro SQL
    : clique na caixa de texto grande para exibir a caixa de diálogo Editar filtro SQL (descrita anteriormente), em que você pode inserir um filtro SQL para restringir as linhas que estão sendo visualizadas. Clique em
    Aplicar
    para verificar automaticamente a sintaxe SQL do filtro. (Se houver algum erro, ele é indicado na expressão.) Para obter ajuda detalhada sobre sintaxe SQL, clique na ajuda on-line da seção Observações.
Clique em
Remover filtro
 (ao lado do menu suspenso Origem) para limpar todas as configurações de opções avançadas de filtro.
Como parte do processo de personalização de tabelas, você também pode criar tabelas de junção e colunas personalizadas usando expressões SQL.

Como adicionar e editar parâmetros

Você pode usar parâmetros para passar informações para o script subjacente do Kettle. Esses parâmetros podem ser definidos com um valor por padrão. O script pode então usar os parâmetros para controlar as transformações e os filtros nos scripts ETL.
Para adicionar um parâmetro:
  1. Clique no ícone
    Editar parâmetros
     à direita do título Parâmetros. A caixa de diálogo Editor de parâmetros é exibida.
  2. No painel esquerdo, clique na pasta à qual você quer adicionar um parâmetro. O nome da pasta é exibido no painel direito.
  3. Clique em
    Adicionar
    e selecione uma das seguintes opções no menu flutuante:
    • Pasta
      : criar pasta.
    • Booliano
      : criar um parâmetro booliano (verdadeiro/falso).
    • Número inteiro
      : criar um parâmetro de número inteiro.
    • Texto
      : criar um parâmetro de texto.
    • Senha
      : criar um parâmetro de senha.
    • Intervalo de tempo
      : criar um parâmetro de intervalo de tempo (datas de/até).
    • Dimensão
      : criar dimensão.
    • Versão de valores reais
      : criar versão de valores reais.
    • Versão de plano
      : criar versão de plano.
  4. No painel direito, insira as informações da opção selecionada.
  5. Clique em
    Aplicar
    .
Você pode alterar os parâmetros individuais ou as pastas clicando duas vezes no item no painel esquerdo e fazendo alterações nas informações nos campos. Depois, clique em Aplicar para salvar as alterações.
Você também pode criar pastas para agrupar parâmetros e, depois, arrastar os parâmetros para a pasta.

Como importar dados com uma fonte de dados com script

Depois de definir e salvar a fonte de dados com script, você pode importar os dados.
Para importar dados com uma fonte de dados com script:
  1. Clique em
    Importar dados
     no menu Ações. Os dados selecionados são filtrados pelos scripts ETL e pelas expressões SQL, e carregados na área de preparação. Você pode pré-visualizar os dados na área de preparação.
As informações permanecem na área de preparação até que você as limpe ou até que um carregamento de dados subsequente faça com que sejam limpas de acordo com a configuração ativa do modo de importação de dados.
Para limpar os dados da área de preparação:
  1. Clique em
    Limpar tabelas de preparação
     no menu Ações. A área de preparação de todas as tabelas na fonte de dados é limpa.