In diesem Beitrag berichtet Jonas Braun von der am weitesten verbreiteten Form Kubernetes zu nutzen: mit Cloud Anbietern wie Google GCP, Amazon AWS oder Microsoft Azure. Im Beitrag beschäftigt er sich damit, wie man diese Container (sprich Anwendungen oder Modelle) verlässlich und skalierbar für Kunden, andere Anwendungen, interne Dienste oder Berechnungen mit Kubernetes bereitstellen kann. Letztlich gibt der Beitrag noch einen Ausblick über Tools und Weiterentwicklungen.
Management Summary Die digitale Transformation ist für Unternehmen aller Branchen und Größen eine Herausforderung. Basierend auf aktuellen Umfragen, werden als größte Hindernisse einer erfolgreichen Digitalisierung die Anforderungen an Datenschutz und -sicherheit sowie fehlende IT-Kompetenzen in Unternehmen identifiziert. Damit Unternehmen in einem digitalen, software- und datengetriebenen Zeitalter weiter erfolgreich sein können, müssen die notwendigen technischen Voraussetzungen etabliert werden. Als wichtiger Baustein …
In diesem Beitrag sollen fünf Technologien vorgestellt werden, die jeder Data Engineer für seine tägliche Arbeit kennen und beherrschen sollte. Aufgeführt werden Spark als Data Processing Tool im Big Data Umfeld, Kafka als Streaming Platform, Airflow und Serverless-Architektur zur Koordinierung bzw. Orchestrierung. Zuvor werden Stellenwert und Rolle von SQL (Structured Query Language) und relationalen Datenbanken besprochen.
In this blog post, Andre explains two approaches on how to secure a REST API: One works with nginx and the sub-request feature, the other implements the verification part in the API itself.
As a REST API, Livy provides Spark interaction without any need of a Spark configuration on your client. Once being able to communicate with the API Spark code can be submitted from everywhere.