Microsoft a .NET Foundation vydali verziu 1.0 .NET pre Apache Spark, balík open source, ktorý prináša vývoj .NET do analytického nástroja Spark na rozsiahle spracovanie údajov.
.NET for Apache Spark 1.0, oznámený 27. októbra, podporuje aplikácie .NET zamerané na .NET Standard 2.0 alebo novší. Používatelia môžu pristupovať k rozhraniam Spark DataFrame API, písať kód Spark SQL a vytvárať používateľom definované funkcie UDF).
Rámec .NET for Apache Spark je k dispozícii na stránke GitHub .NET Foundation alebo na serveri NuGet. Medzi ďalšie možnosti .NET pre Apache Spark 1.0 patria:
- Rámec rozšírenia API na pridanie podpory pre ďalšie knižnice Spark vrátane funkcií Linux Foundation Delta Lake, Microsoft OSS Hyperspace, ML.NET a Apache Spark MLlib.
- Programy .NET pre Apache Spark, ktoré nie sú UDF, vykazujú rovnakú rýchlosť ako aplikácie iné ako UDF založené na Scale a PySpark. Ak aplikácie zahŕňajú UDF, sú programy .NET pre Apache Spark minimálne také rýchle ako programy PySpark alebo môžu byť rýchlejšie.
- .NET pre Apache Spark je zabudovaný do Azure Synapse a Azure HDInsight. Môže sa tiež použiť v iných cloudových ponukách Apache Spark vrátane Azure Databricks.
Prvá verejná verzia projektu bola oznámená v apríli 2019. Podnetom na vývoj .NET pre Apache Spark bol zvýšený dopyt po ľahšom spôsobe vytvárania aplikácií pre veľké dáta namiesto toho, aby ste sa museli učiť Scalu alebo Python. Projekt je prevádzkovaný v rámci nadácie .NET Foundation a bol podaný ako návrh na vylepšenie projektu Spark, ktorý sa má priamo zahrnúť do projektu Apache Spark.
Do budúcnosti sa spoločnosť Microsoft zameriava na prekážky vrátane nastavenia predpokladov a závislostí a hľadania kvalitnej dokumentácie. Príklady ako napríklad Docker „ready-to-run“ obrázky prispievané komunitou a aktualizácie .NET pre dokumentáciu Apache Spark. Ďalšou prioritou je podpora možností nasadenia vrátane integrácie s kanálmi devops CI / CD a publikačných úloh priamo z Visual Studio.
