本文是 InfoWorld 2021 年公布的《最佳开源软件榜单》翻译稿。InfoWorld 是一家信息技术媒体公司，成立于 1978 年目前隶属于 IDG。每年 InfoWorld 都会根据软件对开源界的贡献，以及在业界的影响力评选出当年的“最佳开源软件” (BOSSIE)，该奖项评选已经延续了十多年。本次获奖的 29 个开源项目包括：软件开发、开发、云原生计算、机器学习等类型，下面我们一起来看看，有没有熟悉的面孔！1、Svelte 和 SvelteKit
在众多创新的、开源的、前端的 JavaScript 框架中，Svelte 及其全栈对应的 SvelteKit 可能是最有野心和远见的。Svelte 一开始就通过采用编译时策略来颠覆现状，并以出色的性能、持续的发展和卓越的开发者体验向前迈进。SvelteKit 现已进入公测阶段，它延续了 Svelte 的传统，通过采用最新的工具，并将部署到无服务器环境作为一项内置功能来实现飞跃。地址：https://github.com/sveltejs/svelte
2、Minikube
Minikube 是一个易于在本地运行 Kubernetes 的工具，可在你的笔记本电脑上的虚拟机内轻松创建单机版 Kubernetes 集群。便于尝试 Kubernetes 或使用 Kubernetes 日常开发。地址：https://github.com/kubernetes/minikube
3、Pixie
Pixie 是 Kubernetes 应用的可观察性工具，它可以查看集群的高级状态，如服务地图、集群资源和应用流量；还可以深入到更详细的视图，如 pod 状态、火焰图和单个 full-body 应用请求。Pixie 使用 eBPF 自动收集遥测数据，它在集群本地收集、存储和查询所有的遥测数据，使用不到 5% 的集群 CPU。Pixie的用例包括集群内的网络监控、基础设施健康、服务性能和数据库查询剖析。地址：https://github.com/pixie-io/pixie
4、FastAPI
FastAPI 是一个高性能 Web 框架，用于构建 API。主要特性：
快速：非常高的性能，与 NodeJS 和 Go 相当
快速编码：将功能开发速度提高约 200％ 至 300％
更少的错误：减少约 40％ 的人为错误
直观：强大的编辑器支持，自动补全无处不在，调试时间更少
简易：旨在易于使用和学习，减少阅读文档的时间。
简短：减少代码重复。
稳健：获取可用于生产环境的代码，具有自动交互式文档
基于标准：基于并完全兼容 API 的开放标准 OpenAPI 和 JSON Schema
地址：https://github.com/tiangolo/fastapi
5、Crystal
作为一个提供具有 C 语言的速度和 Ruby 语言的表现力的编程语言的项目，Crystal 已经开发了好几年了。随着今年年初 Crystal 1.0 的发布，该语言现在已经足够稳定到可以用于一般工作负载。Crystal 使用静态类型和 LLVM 编译器来实现高速度，并避免在运行时出现空引用等常见问题。Crystal 可以与现有的 C 代码接口，以进一步提高速度和便利性，它还可以使用编译时宏来扩展基础语言的语法。地址：https://github.com/crystal-lang/crystal
6、Windows Terminal
Windows Terminal 是一个全新的、流行的、功能强大的命令行终端工具。包含很多来社区呼声很高的特性，例如：多 Tab 支持、富文本、多语言支持、可配置、主题和样式，支持 emoji 和基于 GPU 运算的文本渲染等等。同时该终端依然符合我们的目标和要求，以确保它保持快速、高效，并且不会消耗大量内存和电源。关注Linux中文社区地址：https://github.com/Microsoft/Terminal
7、OBS Studio
OBS Studio 是一款用于实时流媒体和屏幕录制的软件，为高效捕获，合成，编码，记录和流传输视频内容而设计，支持所有流媒体平台。
- 高性能实时视频/音频捕获和混合。创建由多种来源组成的场景，包括窗口捕获、图像、文本、浏览器窗口、网络摄像头、捕获卡等。
- 设置无限数量的场景，用户可以通过自定义过渡无缝切换。
- 带有每个源滤波器的直观音频混合器，例如噪声门，噪声抑制和增益。全面控制VST插件支持。
- 强大且易于使用的配置选项。添加新源，复制现有源，并轻松调整其属性。
- 精简的设置面板使用户可以访问各种配置选项，以调整广播或录制的各个方面。
- 模块化的“Dock” UI允许用户完全根据需要重新排列布局。用户甚至可以将每个单独的 Dock 弹出到自己的窗口中。
地址：https://github.com/obsproject/obs-studio
8、Shotcut
Shotcut 是一款跨平台的视频编辑工具，允许人们在应用效果和分层的同时，对音频和视频轨道进行所有的标准修正。Shotcut 有一个非常活跃的社区，并提供大量的操作视频和指导，以帮助新手和高级摄像师。它可以在 Mac、Linux、BSD 和 Windows 上运行--尽管是跨平台的，但与同类工具相比，它的界面很敏捷，使用起来也相对简单。地址：https://github.com/mltframework/shotcut
9、Weave GitOps Core
Weave GitOps 支持有效的 GitOps 工作流，以将应用程序持续交付到 Kubernetes 集群中。它基于领先的 GitOps 引擎 CNCF Flux。地址：https://github.com/weaveworks/weave-gitops
10、Apache Solr
Apache Solr 是基于 Lucene 的全文搜索服务器，也是最流行的企业级搜索引擎。Apache Lucene 是你所使用的大部分软件的搜索功能背后的基础搜索技术--包括其他搜索引擎，如 Elasticsearch。与 Elasticsearch 不同的是，Solr 放弃了它的开源许可，不过它仍然是免费的。Solr 是可集群的、可在云端部署的，并且强大到足以建立云端级的搜索服务。它甚至包括 LTR 算法，以帮助自动调整和加权结果。地址：https://github.com/apache/solr
11、MLflow
MLflow 由 Databricks 创建，并由 Linux 基金会托管，是一个 MLOps 平台，可以让人跟踪、管理和维护各种机器学习模型、实验及其部署。它为你提供了记录和查询实验（代码、数据、配置、结果）的工具，将数据科学代码打包成项目，并将这些项目链入工作流程。地址：https://github.com/mlflow/mlflow
12、Orange
Orange 旨在使将数据挖掘"富有成效且有趣"。Orange 允许用户创建一个数据分析工作流程，执行各种机器学习和分析功能以及可视化。与 R Studio 和 Jupyter等程序化或文本工具相比，Orange 是非常直观的。你可以将小部件拖到画布上以加载文件，用模型分析数据并将结果可视化。地址：https://github.com/biolab/orange3
13、Flutter
Flutter 由 Google 的工程师团队打造，用于创建高性能、跨平台的移动应用。Flutter 针对当下以及未来的移动设备进行优化，专注于 Android and iOS 低延迟的输入和高帧率。它可以给开发者提供简单、高效的方式来构建和部署跨平台、高性能移动应用；给用户提供漂亮、快速、jitter-free 的 app 体验。地址：https://github.com/flutter
14、Apache Superset
Apache Superset 是 Airbnb （知名在线房屋短租公司）开源的数据探查与可视化平台（曾用名 Panoramix、Caravel ），该工具在可视化、易用性和交互性上非常有特色，用户可以轻松对数据进行可视化分析。Apache Superset 也是一款企业级商业智能 Web 应用程序。地址：https://github.com/apache/superset
15、Presto
Presto 是一个开源的分布式 SQL 引擎，用于在线分析处理，在集群中运行。Presto 可以查询各种各样的数据源，从文件到数据库，并将结果返回到许多商业智能和分析环境。更重要的是，Presto 允许查询数据所在的地方，包括 Hive、Cassandra、关系型数据库和专有数据存储。一个 Presto 查询可以结合多个来源的数据。Facebook 使用 Presto 对几个内部数据存储进行互动查询，包括他们的 300PB 数据仓库。地址：https://github.com/prestodb/presto
16、Apache Arrow
Apache Arrow 为平面和分层数据定义了一种独立于语言的柱状内存格式，为现代 CPU 和 GPU 上的高效分析操作而组织。Arrow 内存格式还支持零拷贝读取，以便在没有序列化开销的情况下进行闪电式的数据访问。Arrow 库可用于 C、C++、C#、Go、Java、JavaScript、Julia、MATLAB、Python、R、Ruby 和 Rust。
地址：https://github.com/apache/arrow
17, InterpretML
InterpretML ist ein Open-Source-Paket für erklärbare KI (XAI), das mehrere hochmoderne Interpretierbarkeitstechnologien für maschinelles Lernen enthält. Mit InterpretML können Sie interpretierbare „Glasbox“-Modelle trainieren und Black-Box-Systeme interpretieren. InterpretML kann Ihnen helfen, das globale Verhalten Ihres Modells oder die Gründe für einzelne Vorhersagen zu verstehen. Zu den zahlreichen Funktionen von InterpretML gehört ein „Glass-Box“-Modell von Microsoft Research namens „Explainable Boosting Machine“, das Lime für die Post-hoc-Interpretation mit einer Annäherung an das Black-Box-Modell unterstützt. Adresse: https://github.com/interpretml/interpret18, Lime Ergebnisse maschineller Vorhersage. Lime ist in der Lage, jeden Black-Box-Klassifikator mit zwei oder mehr Klassen zu interpretieren, was
sowohl für Text- als auch für Bilddomänen gilt. Lime ist auch in InterpretML enthalten.
Adresse: https://github.com/marcotcr/lime19, Dask
Dask ist eine Open-Source-Bibliothek für paralleles Rechnen, die Python-Pakete auf mehrere Maschinen erweitern kann. Dask kann Daten und Berechnungen auf mehrere GPUs verteilen, entweder innerhalb desselben Systems oder in einem Cluster mit mehreren Knoten. Dask lässt sich mit Rapids cuDF, XGBoost und Rapids cuML für GPU-beschleunigte Datenanalyse und maschinelles Lernen integrieren. Es lässt sich auch in NumPy, Pandas und Scikit-learn integrieren, um seinen Workflow zu parallelisieren
Adresse: https://github.com/dask/dask
20, BlazingSQL
BlazingSQL ist eine GPU-beschleunigte SQL-Engine, die auf dem RAPIDS-Ökosystem basiert. RAPIDS basiert auf dem spaltenorientierten Speicherformat „Apache Arrow“; cuDF ist eine GPU-DataFrame-Bibliothek zum Laden, Zusammenführen, Aggregieren, Filtern und Bearbeiten von Daten. Es ist die SQL-Schnittstelle zu cuDF mit verschiedenen Funktionen zur Unterstützung umfangreicher Data-Science-Workflows und Unternehmensdatensätze. Adresse: https://github.com/BlazingDB/blazingsql21, Rapids
Nvidias Rapids-Suite aus Open-Source-Softwarebibliotheken und APIs gibt Ihnen die Möglichkeit, End-to-End-Datenwissenschafts- und Analysepipelines vollständig auf GPUs auszuführen. Rapids verwendet Nvidia CUDA-Grundelemente für Rechenoptimierungen auf niedriger Ebene und stellt die Parallelität und Speichergeschwindigkeiten von GPUs mit hoher Bandbreite über eine benutzerfreundliche Python-Schnittstelle zur Verfügung. Rapids basiert auf dem spaltenorientierten Speicherformat Apache Arrow, einschließlich cuDF, einer Pandas-ähnlichen DataFrame-Bibliothek; cuML, einer Sammlung von Bibliotheken für maschinelles Lernen, die GPU-Versionen der meisten Algorithmen in Scikit-learn bereitstellen; und cuGraph, eine beschleunigte Graphanalysebibliothek ähnlich wie NetworkX
Adresse: https://github.com/rapidsai/cudf
22, PostHog
PostHog ist eine Open-Source-Produktanalyseplattform für Entwickler. Erfassen Sie automatisch jedes Ereignis auf Ihrer Website oder App, ohne Daten an Dritte zu senden. Es bietet ereignisbasierte Analysen auf Benutzerebene und erfasst Nutzungsdaten für Ihr Produkt, um zu sehen, welche Benutzer welche Aktionen in Ihrer Anwendung ausgeführt haben. Es erfasst automatisch Klicks und Seitenaufrufe, um zu analysieren, was Ihre Benutzer tun, ohne dass Ereignisse manuell übertragen werden müssen. Adresse: https://github.com/PostHog/posthog
23, LakeFS
LakeFS bietet eine Möglichkeit, „Ihren Data Lake auf die gleiche Weise zu verwalten, wie Sie Code verwalten“, und fügt dem Objektspeicher eine Ebene der Git-ähnlichen Versionskontrolle hinzu. Diese Anwendung der Git-Semantik ermöglicht es Benutzern, ihre eigenen isolierten, kopierfreien Datenzweige zu erstellen, an denen sie arbeiten, experimentieren und Modellanalysen durchführen können, ohne dass das Risiko besteht, gemeinsam genutzte Objekte zu beschädigen. LakeFS bietet nützliche Festschreibungshinweise, Metadatenfelder und Rollback-Optionen für Ihre Daten sowie Validierungs-Hooks, um die Datenintegrität und -qualität aufrechtzuerhalten – bevor ein nicht festgeschriebener Zweig versehentlich wieder in die Produktion eingebunden wird, führen Sie Format- und Schemaprüfungen durch. Mit LakeFS können bekannte Techniken zur Verwaltung und Sicherung von Codebasen auf moderne Datenbanken wie Amazon S3 und Azure Blob Storage ausgeweitet werden. Adresse: https://github.com/treeverse/lakeFS
24.09.2020, Meltano Das Data Warehousing-Framework von Meltano erleichtert das Modellieren, Extrahieren und Transformieren von Daten für Ihre Projekte und ergänzt Integrations- und Transformationspipelines durch integrierte Analysetools und Dashboards, die die Berichterstellung vereinfachen. Meltano bietet eine zuverlässige Extraktor- und Loader-Bibliothek sowie Unterstützung für Singers standardmäßige Datenextraktions-Taps und Datenladeziele und ist bereits ein Kraftpaket für die Datenorchestrierung.
25, Trino
Trino (früher bekannt als PrestoSQL) ist eine verteilte SQL-Analyse-Engine, die extrem schnelle Abfragen für große verteilte Datenquellen ausführen kann. Mit Trino können Sie Abfragen für einen Data Lake, einen relationalen Speicher oder mehrere unterschiedliche Quellen gleichzeitig ausführen, ohne Daten zur Verarbeitung kopieren oder verschieben zu müssen.Und Trino funktioniert gut mit allen Business-Intelligence- und Analysetools, die Ihre Datenwissenschaftler verwenden, egal ob interaktiv oder Ad-hoc, wodurch die Lernkurve minimiert wird. Da Dateningenieure bestrebt sind, komplexe Analysen über eine zunehmende Anzahl von Datenquellen hinweg zu unterstützen, bietet Trino eine Möglichkeit, die Abfrageausführung zu optimieren und Ergebnisse aus unterschiedlichen Quellen zu beschleunigen.
Address: https://github.com/trinodb/trino
26, Streamnative
Streamnative ist eine hochskalierbare Botschafts- und Ereignis -Streaming -Plattform, die die Real erheblich vereinfacht, -Time Reporting- und Analysetools und Datenpipelines für Unternehmensanwendungsflüsse. StreamNative kombiniert die leistungsstarke verteilte Stream-Verarbeitungsarchitektur von Apache Pulsar mit Enterprise-Extras wie Kubernetes- und Hybrid-Cloud-Unterstützung, einer großen Bibliothek von Datenkonnektoren, einfacher Authentifizierung und Autorisierung sowie speziellen Tools für die Gesundheits- und Leistungsüberwachung, um die Pulsar-basierte Entwicklung zu vereinfachen -Zeitanwendungen und vereinfacht die Bereitstellung und Verwaltung großer Messaging-Backplanes. Adresse: https://github.com/streamnative
27, Hugging Face
Hugging Face bietet die wichtigste Open-Source-Deep-Learning-Ressourcenbibliothek, die an sich kein Deep-Learning-Framework ist. Das Ziel von Hugging Face besteht darin, über den Text hinauszugehen und Bilder, Audio, Video, Objekterkennung usw. zu unterstützen. Infoworld weist darauf hin, dass Deep-Learning-Praktiker diesem Repo in den kommenden Jahren große Aufmerksamkeit schenken sollten. Adresse: https://github.com/huggingface/transformers
28, EleutherAI
EleutherAI ist eine verteilte Gruppe von Forschern für maschinelles Lernen mit dem Ziel, GPT-3 jedem zugänglich zu machen. Anfang 2021 veröffentlichte EleutherAI The Pile, einen 825 GB großen, vielfältigen Textdatensatz für das Training, und kündigte im Juni GPT-J an, ein 6-Milliarden-Parameter-Modell, das in etwa der GPT-3-Curie-Variante von OpenAI entspricht. Mit der Einführung von GPT-NeoX plant EleutherAI, die Parameter auf bis zu 175 Milliarden zu erhöhen, um mit dem derzeit am weitesten verbreiteten GPT-3-Modell zu konkurrieren. Adresse: https://github.com/EleutherAI/gpt-neo
29, Colab-Notizbücher für generative Kunst
An erster Stelle steht das CLIP-Modell (Contrastive Language-Image Pre-trained) von OpenAI, ein multimodales Modell zum Generieren von Text- und Bildvektoreinbettungen. Während CLIP vollständig Open Source ist, ist dies beim generativen neuronalen Netzwerk DALL-E von OpenAI nicht der Fall. Um diese Lücke zu schließen, haben Ryan Murdoch und Katherine Crowson Colab-Notizbücher entwickelt, die CLIP mit anderen Open-Source-Modellen wie BigGAN und VQGAN kombinieren, um aufforderungsbasierte generative Kunst zu produzieren. Diese unter der MIT-Lizenz lizenzierten Notizbücher wurden in den letzten Jahrzehnten weit verbreitet im Internet verbreitet, neu abgemischt, verändert, übersetzt und zur Schaffung atemberaubender Kunstwerke verwendet.
