Connectez AWS Lambda et Google BigQuery pour libérer la puissance de l’automatisation

Pour trigger une fonction AWS Lambda lorsque de nouvelles data sont insérées dans Google BigQuery, nous pouvons utiliser une combinaison de Google Cloud Functions et de Pub/Sub. Tout d’abord, configurez un ensemble de données BigQuery pour exporter les journaux vers Pub/Sub. Ensuite, nous créons une Function Cloud qui écoute cette rubrique Pub/Sub pour les nouveaux événements de données et déclenche ensuite AWS Lambda via une demande HTTP à l’aide d’API Gateway.

AWS Lambda n’écrit pas directement dans Google BigQuery. Nous pouvons plutôt interagir avec BigQuery en utilisant les bibliothèques clientes Cloud pour Python ou Node.js dans notre fonction Lambda. Cela nécessite la configuration d’informations d’identification de compte de service avec les autorisations appropriées que AWS Lambda peut utiliser via des variables d’environnement.

Pour autoriser AWS Lambda à accéder à Google BigQuery, nous avons besoin d’un fichier de clé de compte de service avec des rôles tels que « BigQuery données Viewer » et « BigQuery Job User ». Ces autorisations permettent d'exécuter des requêtes et de consulter des ensembles de données. Le fichier clé doit être stocké en toute sécurité dans AWS Secrets Manager ou crypté avec KMS, afin de permettre à la fonction lambda d'y accéder au moment de l'exécution.

La communication sécurisée entre AWS Lambda et Google BigQuery est assurée par l’utilisation des endpoints HTTPS via API Gateway lors d’appels depuis l’extérieur du réseau de Google. Dans le code de notre application fonctionnant en Lambda, en utilisant OAuth 2.0 l’authentification avec les bibliothèques clientes API Google permet de gérer les jetons sécurisés sans intervention constante de l’utilisateur.

Le trigger direct d’une AWS Lambda en fonction des modifications apportées à des tables spécifiques dans BigQuery n’est pas pris en charge en mode natif. Cependant, la configuration d’alertes ou de journaux de modifications qui produisent des sorties via Pub/Sub permet notre configuration avec des fonctions cloud ou des scripts externes (dans les environnements VM) qui communiquent et appellent des actions sur des modifications spécifiques, facilitant ainsi les triggers indirectement.

Oui, il est possible de diffuser des données à partir de divers services AWS tels que S3 ou DynamoDB dans Google BigQuery à l’aide de fonctions lambda en tant qu’intermédiaires. Notre approche consiste à extraire des événements ou des enregistrements de ces services dans un contexte d’exécution lambda, puis à les envoyer via des requêtes HTTP POST directement ou via des canaux sécurisés facilités par API Gateway vers les API d’ingestion de données Google.

La surveillance des erreurs dans de telles intégrations peut impliquer la vérification des journaux générés par les deux systèmes. L’utilisation d’Amazon CloudWatch nous permet de suivre les exécutions dans l’environnement lambda, tandis que la journalisation Stackdriver (qui fait désormais partie d’Operations Suite) donne des aperçus sur les demandes atteignant et traitées par l’infrastructure de Google pour la détection des anomalies.