Saltar al contenido principal

Comenzar

repositorio de GitHub de stellar-etl-airflow

Configuración de la cuenta de GCP​

La Stellar Development Foundation ejecuta Hubble en GCP utilizando Composer y BigQuery. Para seguir la misma implementación, necesitarás tener acceso al proyecto de GCP. Las instrucciones se pueden encontrar en la documentación de Comenzar de Google.

Nota: BigQuery y Composer deberían estar disponibles de forma predeterminada. Si no lo están, puedes encontrar instrucciones para habilitarlos en la documentación de Google de BigQuery o Composer.

Crear instancia de GCP Composer para ejecutar Airflow​

Las instrucciones para desplegar una instancia de GCP Composer para ejecutar Hubble se pueden encontrar en la sección de Instalación y configuración en el repositorio de stellar-etl-airflow.

nota

Los requisitos de hardware pueden variar significativamente dependiendo de los datos de la red Stellar que requieras. La configuración predeterminada de GCP puede ser más alta/baja de lo que realmente se necesita.

Configurando GCP Composer Airflow​

Se requieren dos cosas para la configuración e instalación de GCP Composer Airflow:

  • Subir DAGs al bucket de Composer Airflow
  • Configurar las variables de Airflow para tu configuración de GCP

Para obtener instrucciones más detalladas, consulta la documentación de Instalación y configuración de stellar-etl-airflow.

Subiendo DAGs​

Dentro del repositorio de stellar-etl-airflow hay un script shell upload_static_to_gcs.sh que subirá todos los DAGs y esquemas a tu bucket de Composer Airflow.

Esto también se puede hacer utilizando el gcloud CLI o consola y seleccionando manualmente los DAGs y esquemas que deseas subir.

Configurando variables de Airflow​

Consulte la documentación de Explicación de Variables de Airflow para más información sobre lo que debería y necesita ser configurado.

Ejecutando los DAGs​

Para ejecutar un DAG, solo tienes que activar/desactivar el DAG como se ve a continuación

Activar DAGs

Más información sobre cada DAG se puede encontrar en la documentación de Diagramas de DAG.

DAGs disponibles​

Más información se puede encontrar aquí

DAG de Exportación de Tabla de Historia​

Este DAG:

  • Exporta parte de las fuentes: ledgers, operations, transactions, trades, effects y assets de Stellar utilizando el lago de datos de archivos LedgerCloseMeta
    • Opcionalmente, esto puede ingerir datos utilizando captive-core, pero eso no es ideal ni recomendable para su uso con Airflow
  • Inserts into BigQuery

DAG de Exportación de Tabla de Estado​

Este DAG

  • Exporta accounts, account_signers, offers, claimable_balances, Fondos de Liquidez, trustlines, contract_data, contract_code, config_settings y ttl.
  • Inserts into BigQuery

DAG de Tablas Base Enriquecidas de DBT​

Este DAG

  • Crear las vistas de preparación de DBT para los modelos
  • Actualiza la tabla enriched_history_operations
  • Actualiza las tablas de estado actuales
  • (Opcional) advertencias y errores se envían a Slack.