首页 >后端开发 >Golang >Wasm 组件模型和惯用的代码生成

Wasm 组件模型和惯用的代码生成

DDD
DDD原创
2024-12-22 14:39:12828浏览

The Wasm Component Model and idiomatic codegen

Arcjet 将 WebAssembly 与我们的安全即代码 SDK 捆绑在一起。这有助于开发人员直接在代码中实现常见的安全功能,例如 PII 检测和机器人检测。大部分逻辑都嵌入到 Wasm 中,它为我们提供了一个具有接近本机性能的安全沙箱,并且是我们关于本地优先安全的理念的一部分。

跨平台运行相同代码的能力也很有帮助,因为我们构建了从 JavaScript 到其他技术堆栈的支持,但它需要一个重要的抽象来在语言之间进行翻译(我们的 Wasm 是从 Rust 编译的)。

WebAssembly 组件模型 是实现这一点的强大构造,但构造只能与它周围的实现和工具一样好。对于组件模型,这在主机(执行 WebAssembly 组件模型的环境)和来宾(以任何语言编写并编译到组件模型的 WebAssembly 模块;在我们的例子中为 Rust)的代码生成中最为明显。

组件模型定义了主机和来宾之间通信的语言,主要由类型、函数、导入和导出组成。它试图定义一种广泛的语言,但某些类型,例如变体、元组和资源,可能不存在于给定的通用编程语言中。

当工具尝试为其中一种语言生成代码时,作者通常需要发挥创意,将组件模型类型映射到该通用语言。例如,我们使用 jco 来生成 JS 绑定,并使用 { tag: string, value: string } 形式的 JavaScript 对象实现变体。它甚至有结果<_ _> 的特殊情况。类型,其中错误变体将转换为错误并抛出。

这篇文章探讨了 Wasm 组件模型如何实现跨语言集成、主机和来宾代码生成的复杂性,以及我们为用 Go 等语言实现惯用代码所做的权衡。

Go 的主机代码生成

在 Arcjet,我们必须构建一个工具来为用 Go 编程语言编写的主机生成代码。尽管我们的 SDK 尝试在本地分析所有内容,但这并不总是可行,因此我们有用 Go 编写的 API,它通过附加元数据增强本地决策。

Go 在设计上有一个非常小的语法和类型系统。他们直到最近才推出仿制药,而且仍然有很大的局限性。这使得从组件模型到 Go 的代码生成在各个方面都变得复杂。

例如,我们可以生成结果<_ _>;如:

type Result[V any] struct {
    value V
    err error
}

但是,这限制了错误位置可以提供的类型。所以我们需要将其编码为:

type Result[V any] struct {
    value V
    err error
}

这可以工作,但与其他惯用的 Go 一起使用会变得很麻烦,后者通常使用 val, err := doSomething() 约定来指示与我们上面定义的 Result 类型相同的语义。

此外,构造这个 Result 很麻烦:Result[int, string]{value: 1, err: ""}。我们可能希望匹配惯用模式,而不是提供 Result 类型,以便 Go 用户能够自然地使用我们生成的绑定。

惯用映射与直接映射

可以生成使语言感觉更自然的代码,也可以更直接地映射到组件模型类型。这两个选项都不适合 100% 的用例,因此由工具作者来决定哪个最有意义。

对于 Arcjet 工具,我们为选项选择了惯用的 Go 方法<_>;结果<_,_>类型,分别映射到 val, ok := doSomething() 和 val, err := doSomething()。对于变体,我们创建每个变体需要实现的接口,例如:

type Result[V any, E any] struct {
    value V
    err E
}

这在类型安全和不必要的包装之间取得了良好的平衡。当然,也有需要包裹的情况,但这些可以作为边缘情况处理。

开发人员可能会遇到非惯用的模式,从而导致代码冗长且难以维护。使用既定约定使代码感觉更熟悉,但确实需要一些额外的努力来实现。

我们决定采取惯用的方式来最大程度地减少摩擦,让我们的团队更轻松,这样我们就知道在代码库中移动时会发生什么。

调用约定

工具作者需要做出的最大决定之一是绑定的调用约定。这包括决定如何/何时编译导入、是否在设置或实例化期间编译 Wasm 模块以及清理。

在Arcjet代码库中,我们选择工厂/实例模式来优化性能。编译 WebAssembly 模块的成本很高,因此我们在 NewBotFactory() 构造函数中执行一次。随后的 Instantiate() 调用既快速又便宜,从而在生产工作负载中实现高吞吐量。

type BotConfig interface {
    isBotConfig()
}

func (AllowedBotConfig) isBotConfig() {}

func (DeniedBotConfig) isBotConfig() {}

消费者通过调用 NewBotFactory(ctx) 构造此 BotFactory 一次,并使用它通过 Instantiate 方法创建多个实例。

func NewBotFactory(
    ctx context.Context,
) (*BotFactory, error) {
    runtime := wazero.NewRuntime(ctx)

    // ... Imports are compiled here if there are any

    // Compiling the module takes a LONG time, so we want to do it once and hold
    // onto it with the Runtime
    module, err := runtime.CompileModule(ctx, wasmFileBot)
    if err != nil {
            return nil, err
    }

    return &BotFactory{runtime, module}, nil
}

如果模块已经编译过,实例化会非常快,就像我们在构造工厂时使用runtime.CompileModule() 所做的那样。

BotInstance 具有从组件模型定义导出的函数。

func (f *BotFactory) Instantiate(ctx context.Context) (*BotInstance, error) {
    if module, err := f.runtime.InstantiateModule(ctx, f.module, wazero.NewModuleConfig()); err != nil {
            return nil, err
    } else {
            return &BotInstance{module}, nil
    }
}

通常,在使用 BotInstance 后,我们希望清理它以确保不会泄漏内存。为此,我们提供了关闭函数。

func (i *BotInstance) Detect(
    ctx context.Context,
    request string,
    options BotConfig,
) (BotResult, error) {
   // ... Lots of generated code for binding to Wazero
}

如果你想清理整个BotFactory,也可以关闭它:

type Result[V any] struct {
    value V
    err error
}

我们可以将所有这些 API 放在一起来调用此 WebAssembly 模块上的函数:

type Result[V any, E any] struct {
    value V
    err E
}

这种工厂和实例构建模式需要使用更多代码,但选择它是为了在 Arcjet 服务的热路径中实现尽可能多的性能。

通过预先加载编译成本,我们确保在 Arcjet 服务的热路径中(延迟最重要)请求处理尽可能高效。这种权衡确实增加了初始化代码的复杂性,但它的回报是每个请求的开销大大降低 - 请参阅我们对权衡的讨论

权衡

任何时候我们需要集成两种或多种语言,都需要做出权衡——无论是使用原生 FFI 还是组件模型。

这篇文章讨论了我们在 Arcjet 遇到的一些挑战以及我们决定背后的原因。如果我们都基于同一组原语(例如组件模型和 WIT)进行构建,那么我们都可以利用同一组高质量原语,例如 wit-bindgenwit-component ,并构建适合每个用例的工具。这就是为什么制定标准对每个人都有帮助。

WebAssembly 组件模型为跨语言集成提供了强大的抽象,但将其类型转换为 Go 等语言会带来微妙的设计挑战。通过选择惯用的模式并有选择地优化性能(例如使用工厂/实例模式),我们可以在保持效率的同时提供自然的开发人员体验。

随着组件模型工具的发展,我们可以期待更精细的代码生成方法来进一步简化这些集成。

以上是Wasm 组件模型和惯用的代码生成的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn