Schnellstart mit Apache Spark unter macOS

von Tobias Vetter
erstellt am 30. Mai 2023, zuletzt aktualisiert am 01. Juni 2023
  1. Öffne dein Terminal.

  2. Installiere Homebrew mit folgendem Befehl und folge den Anweisungen: /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

  3. Installiere Apache Spark mit folgendem Befehl: brew install apache-spark

  4. Starte Spark mit folgendem Befehl: spark-shell

  5. Die Funktionalität von Spark kann nun zum Beispiel mit dem Laden einer CSV-Datei getestet werden. Gegeben, dass die Datei /Users/username/Downloads/hdi.csv (username anpassen, die CSV bekommst du hier bei Kaggle) existiert, valide ist und mit Headern ausgestattet ist, lässt diese sich dann mit folgendem Befehl laden: val df = spark.read.csv("/Users/username/Downloads/hdi.csv", header=True) Und dann mit folgendem Befehl ausgeben: df.show()

  6. Mehr Beispiele findet man auf GitHub.