Saltar al contenido principal

Comenzar

repositorio de GitHub stellar-etl-airflow

Configuración de cuenta de GCP​

La Stellar Development Foundation ejecuta Hubble en GCP utilizando Composer y BigQuery. Para seguir el mismo despliegue, necesitarás tener acceso al proyecto de GCP. Las instrucciones se pueden encontrar en la documentación de Comenzar de Google.

Nota: BigQuery y Composer deberían estar disponibles por defecto. Si no lo están, puedes encontrar instrucciones para habilitarlos en la documentación de Google sobre BigQuery o Composer.

Crear instancia de GCP Composer para ejecutar Airflow​

Las instrucciones para crear una instancia de GCP Composer para ejecutar Hubble se pueden encontrar en la sección de Instalación y Configuración en el repositorio stellar-etl-airflow.

nota

Los requisitos de hardware pueden variar considerablemente dependiendo de los datos de la red Stellar que requieras. La configuración por defecto de GCP puede ser más alta/baja de lo realmente necesario.

Configurando GCP Composer Airflow​

Se requieren dos cosas para la configuración y el establecimiento de GCP Composer Airflow:

  • Subir DAGs al Bucket de Composer Airflow
  • Configurar las variables de Airflow para tu configuración de GCP

Para instrucciones más detalladas, consulta la documentación de Instalación y Configuración de stellar-etl-airflow.

Subiendo DAGs​

Dentro del repositorio stellar-etl-airflow hay un script de shell upload_static_to_gcs.sh que subirá todos los DAGs y esquemas a tu bucket de Composer Airflow.

Esto también se puede hacer utilizando el CLI de gcloud o la consola y seleccionando manualmente los DAGs y esquemas que deseas subir.

Configurando Variables de Airflow​

Por favor, consulta la documentación de Explicación de Variables de Airflow para más información sobre qué debería y necesita configurarse.

Ejecutando los DAGs​

Para ejecutar un DAG, solo tienes que alternar el DAG encendido/apagado como se ve a continuación

Alternar DAGs

Se puede encontrar más información sobre cada DAG en la documentación de Diagramas de DAG.

DAGs Disponibles​

Más información se puede encontrar aquí

DAG de Exportación de Tabla de Historial​

Este DAG:

  • Exporta parte de las fuentes: ledgers, operaciones, transacciones, intercambios, efectos y activos desde Stellar utilizando el lago de datos de archivos LedgerCloseMeta
    • Opcionalmente, esto puede ingerir datos utilizando captive-core pero eso no es ideal ni recomendado para uso con Airflow
  • Inserta en BigQuery

DAG de Exportación de Tabla de Estado​

Este DAG

  • Exporta cuentas, firmantes de cuentas, ofertas, balances reclamables, fondos de liquidez, líneas de confianza, datos de contratos, código de contrato, configuraciones y ttl.
  • Inserta en BigQuery

DAG de Tablas Base Enriquecidas con DBT​

Este DAG

  • Crea las vistas de staging de DBT para modelos
  • Actualiza la tabla enriched_history_operations
  • Actualiza las tablas de estado actuales
  • (Opcional) advertencias y errores se envían a slack.