Apache Beam ParDo-Filter in Go

Frageninhalt

Ich bin ein Python-Entwickler, sollte aber Go verwenden, um eine Datenfluss-Pipeline zu erstellen. Ich kann nicht so viele Apache-Beam-Beispiele finden, die Go im Vergleich zu Python oder Java verwenden.

Ich habe den folgenden Code, der eine Struktur aus Benutzername und Alter hat. Die Aufgabe besteht darin, das Alter hinzuzufügen und dann nach Alter zu filtern. Ich habe eine Möglichkeit gefunden, das Alter zu erhöhen, stecke aber beim Filterteil fest.

package main

import (
    "context"
    "flag"
    "fmt"

    "github.com/apache/beam/sdks/v2/go/pkg/beam"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/log"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/x/beamx"
)

func init() {
    beam.registerfunction(incrementage)
}

type user struct {
    name string
    age  int
}

func printrow(ctx context.context, list user) {
    fmt.println(list)
}

func incrementage(list user) user {
    list.age++
    return list
}

func main() {

    flag.parse()
    beam.init()

    ctx := context.background()

    p := beam.newpipeline()
    s := p.root()

    var userlist = []user{
        {"bob", 40},
        {"adam", 50},
        {"john", 35},
        {"ben", 8},
    }
    initial := beam.createlist(s, userlist)

    pc := beam.pardo(s, incrementage, initial)

    pc1 := beam.pardo(s, func(row user, emit func(user)) {
        emit(row)
    }, pc)

    beam.pardo0(s, printrow, pc1)

    if err := beamx.run(ctx, p); err != nil {
        log.exitf(ctx, "failed to execute job: %v", err)
    }

}

Ich habe versucht, eine Funktion wie unten zu erstellen, aber diese gibt einen booleschen Wert anstelle des Benutzerobjekts zurück. Ich weiß, dass mir etwas Einfaches fehlt, aber ich kann es nicht herausfinden.

func filterage(list user) user {
    return list.age > 40    
}

In Python kann ich eine Funktion wie unten schreiben.

beam.Filter(lambda line: line["Age"] >= 40))

Richtige Antwort

Sie müssen der Funktion einen Emitter hinzufügen, um den Benutzer zu starten:

func filterAge(list user, emit func(user)) {
    if list.Age > 40 {
        emit(list)
    }
}

Wie in Ihrem aktuellen Code geschrieben, 返回 list.age > 40 list.age > 40 Zuerst wird „true“ (ein boolescher Wert) ausgewertet und dieser boolesche Wert zurückgegeben.

Das obige ist der detaillierte Inhalt vonApache Beam ParDo-Filter in Go. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!