Codeshift aufbauen

Diese Woche habe ich an einem Befehlszeilentool namens codeshift gearbeitet, mit dem Benutzer Quellcodedateien eingeben, eine Programmiersprache auswählen und diese in die von ihnen gewählte Sprache übersetzen können.

Unter der Haube passiert nichts Besonderes – es wird lediglich ein KI-Anbieter namens Groq für die Übersetzung verwendet – aber ich wollte in den Entwicklungsprozess eintauchen, wie es verwendet wird und welche Funktionen es bietet.

uday-rana / Codeverschiebung

Codeverschiebung

Befehlszeilentool, das Quellcodedateien in eine beliebige Sprache umwandelt.

Funktionen

• Akzeptiert mehrere Eingabedateien
• Streamt die Ausgabe an stdout
• Kann die Ausgabesprache auswählen
• Kann den Dateipfad angeben, um die Ausgabe in eine Datei zu schreiben
• Kann einen benutzerdefinierten API-Schlüssel in .env verwenden

Installation

• Installieren Sie Node.js
• Holen Sie sich einen Groq-API-Schlüssel
• Repo mit Git klonen oder als .zip herunterladen
• Führen Sie im Repo-Verzeichnis, das package.json enthält, npm install aus
  • (Optional) Führen Sie npm install -g aus. um das Paket global zu installieren (damit Sie es ohne Präfix „node“ ausführen können)
• Erstellen Sie eine Datei mit dem Namen .env und fügen Sie Ihren Groq-API-Schlüssel hinzu: GROQ_API_KEY=API_KEY_HERE

Verwendung

Codeshift [-o ]

Beispiel

codeshift -o index.go go examples/index.js

Optionen

• -o, --output: Geben Sie den Dateinamen an, in den die Ausgabe geschrieben werden soll
• -h, --help: Hilfe für einen Befehl anzeigen
• -v, --version: Versionsnummer ausgeben

Argumente

• : Die gewünschte Sprache, in die Quelldateien konvertiert werden sollen
• : Pfade…

Auf GitHub ansehen

Merkmale

• Akzeptiert mehrere Eingabedateien
• Kann die Ausgabesprache auswählen
• Streamt die Ausgabe an stdout
• Kann den Dateipfad angeben, um die Ausgabe in eine Datei zu schreiben
• Kann einen benutzerdefinierten API-Schlüssel in .env verwenden

Verwendung

Codeshift [-o ]

Zum Beispiel, um die Datei „examples/index.js“ in „Go“ zu übersetzen und die Ausgabe in „index.go“ zu speichern:

codeshift -o index.go go examples/index.js

Optionen

• -o, --output: Geben Sie den Dateinamen an, in den die Ausgabe geschrieben werden soll
• -h, --help: Hilfe für einen Befehl anzeigen
• -v, --version: Versionsnummer ausgeben

Argumente

• : Die gewünschte Sprache, in die Quelldateien konvertiert werden sollen
• : Pfade zu den Quelldateien, getrennt durch Leerzeichen

Entwicklung

Ich habe an diesem Projekt im Rahmen des Kurses „Topics in Open Source Development“ am Seneca Polytechnic in Toronto, Ontario, gearbeitet. Anfangs wollte ich bei Technologien bleiben, mit denen ich vertraut war, aber die Anweisungen für das Projekt ermutigten uns, etwas Neues zu lernen, wie eine neue Programmiersprache oder eine neue Laufzeitumgebung.

Obwohl ich schon immer Java lernen wollte, schien es nach einigen Online-Recherchen keine gute Wahl für die Entwicklung eines CLI-Tools oder die Schnittstelle zu KI-Modellen zu sein. Es wird von OpenAI nicht offiziell unterstützt und die in ihren Dokumenten enthaltene Community-Bibliothek ist veraltet.

Ich habe immer an den beliebten Technologien festgehalten – sie sind in der Regel zuverlässig und verfügen über eine vollständige Dokumentation und jede Menge Informationen, die online verfügbar sind. Aber dieses Mal habe ich beschlossen, die Dinge anders zu machen. Ich habe mich für Bun entschieden, eine coole neue Laufzeit für JavaScript, die Node ersetzen soll.

Es stellte sich heraus, dass ich bei meinem Bauchgefühl hätte bleiben sollen. Ich hatte Probleme beim Kompilieren meines Projekts und konnte nur hoffen, dass die Entwickler das Problem beheben würden.

OpenAI SDK kann nicht mit Sentry Node Agent verwendet werden: TypeError: getDefaultAgent ist keine Funktion #1010

Keithwhor veröffentlicht am 25. August 2024

Bestätigen Sie, dass es sich hierbei um ein Knotenbibliotheksproblem und nicht um ein zugrunde liegendes OpenAI-API-Problem handelt

• [X] Dies ist ein Problem mit der Node-Bibliothek

Beschreiben Sie den Fehler

Zuvor hier erwähnt, ohne Lösung geschlossen: https://github.com/openai/openai-node/issues/903

Dies ist ein ziemlich großes Problem, da es die Verwendung des SDK bei Verwendung des neuesten Sentry-Überwachungspakets verhindert.

Zum Reproduzieren

1. Installieren Sie Sentry Node SDK über npm i @sentry/node --save
2. Geben Sie den folgenden Code ein;

import * as Sentry from '@sentry/node';

// Start Sentry
  Sentry.init({
    dsn: "https://your-sentry-url",
    environment: "your-env",
    tracesSampleRate: 1.0, //  Capture 100% of the transactions
  });

3. Try to create a completion somewhere in the process after Sentry has been initialized:

const params = {
  model: model,
  stream: true,
  stream_options: {
    include_usage: true
  },
  messages
};
const completion = await openai.chat.completions.create(params);

Results in error:

TypeError: getDefaultAgent is not a function
    at OpenAI.buildRequest (file:///my-project/node_modules/openai/core.mjs:208:66)
    at OpenAI.makeRequest (file:///my-project/node_modules/openai/core.mjs:279:44)

Code snippets

(Included)

OS

All operating systems (macOS, Linux)

Node version

v20.10.0

Library version

v4.56.0

View on GitHub

This turned me away from Bun. I'd found out from our professor we were going to compile an executable later in the course, and I did not want to deal with Bun's problems down the line.

So, I switched to Node. It was painful going from Bun's easy-to-use built-in APIs to having to learn how to use commander for Node. But at least it wouldn't crash.

I had previous experience working with AI models through code thanks to my co-op, but I was unfamiliar with creating a command-line tool. Configuring the options and arguments turned out to be the most time-consuming aspect of the project.

Apart from the core feature we chose for each of our projects - mine being code translation - we were asked to implement any two additional features. One of the features I chose to implement was to save output to a specified file. Currently, I'm not sure this feature is that useful, since you could just redirect the output to a file, but in the future I want to use it to extract the code from the response to the file, and include the AI's rationale behind the translation in the full response to stdout. Writing this feature also helped me learn about global and command-based options using commander.js. Since there was only one command (run) and it was the default, I wanted the option to show up in the default help menu, not when you specifically typed codeshift help run, so I had to learn to implement it as a global option.

I also ended up "accidentally" implementing the feature for streaming the response to stdout. I was at first scared away from streaming, because it sounded too difficult. But later, when I was trying to read the input files, I figured reading large files in chunks would be more efficient. I realized I'd already implemented streaming in my previous C++ courses, and figuring it wouldn't be too bad, I got to work.

Then, halfway through my implementation I realized I'd have to send the whole file at once to the AI regardless.

But this encouraged me to try streaming the output from the AI. So I hopped on MDN and started reading about ReadableStreams and messing around with ReadableStreamDefaultReader.read() for what felt like an hour - only to scroll down the AI provider's documentation and realize all I had to do was add stream: true to my request.

Either way, I may have taken the scenic route but I ended up implementing streaming.

Planned Features

Right now, the program parses each source file individually, with no shared context. So if a file references another, it wouldn't be reflected in the output. I'd like to enable it to have that context eventually. Like I mentioned, another feature I want to add is writing the AI's reasoning behind the translation to stdout but leaving it out of the output file. I'd also like to add some of the other optional features, like options to specify the AI model to use, the API key to use, and reading that data from a .env file in the same directory.

That's about it for this post. I'll be writing more in the coming weeks.

Das obige ist der detaillierte Inhalt vonCodeshift aufbauen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!