こんにちは、
小さな LLM プログラムをテストしたいので、tensorflow を使用して実行することにしました。
私のソース コードは https://github.com/victordalet/first_llm で入手できます
tensorflow と numpy をインストールする必要があります
pip install 'numpy<2' pip install tensorflow
小さなデータセットをカウントするにはデータ文字列配列を作成する必要があります。たとえば、次のように作成します。
data = [ "Salut comment ca va", "Je suis en train de coder", "Le machine learning est une branche de l'intelligence artificielle", "Le deep learning est une branche du machine learning", ]
興味がなければ、kaggle でデータセットを見つけることができます。
これを行うために、さまざまなメソッドを備えた小さな LLM クラスを作成します。
class LLM: def __init__(self): self.model = None self.max_sequence_length = None self.input_sequences = None self.total_words = None self.tokenizer = None self.tokenize() self.create_input_sequences() self.create_model() self.train() test_sentence = "Pour moi le machine learning est" print(self.test(test_sentence, 10)) def tokenize(self): self.tokenizer = Tokenizer() self.tokenizer.fit_on_texts(data) self.total_words = len(self.tokenizer.word_index) + 1 def create_input_sequences(self): self.input_sequences = [] for line in data: token_list = self.tokenizer.texts_to_sequences([line])[0] for i in range(1, len(token_list)): n_gram_sequence = token_list[:i + 1] self.input_sequences.append(n_gram_sequence) self.max_sequence_length = max([len(x) for x in self.input_sequences]) self.input_sequences = pad_sequences(self.input_sequences, maxlen=self.max_sequence_length, padding='pre') def create_model(self): self.model = Sequential() self.model.add(Embedding(self.total_words, 100, input_length=self.max_sequence_length - 1)) self.model.add(LSTM(150, return_sequences=True)) self.model.add(Dropout(0.2)) self.model.add(LSTM(100)) self.model.add(Dense(self.total_words, activation='softmax')) def train(self): self.model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) X, y = self.input_sequences[:, :-1], self.input_sequences[:, -1] y = tf.keras.utils.to_categorical(y, num_classes=self.total_words) self.model.fit(X, y, epochs=200, verbose=1)
最後に、クラスのコンストラクターで呼び出されるテスト メソッドを使用してモデルをテストします。
警告: 生成された単語が前の単語と同一である場合、このテスト関数での生成をブロックします。
def test(self, sentence: str, nb_word_to_generate: int): last_word = "" for _ in range(nb_word_to_generate): token_list = self.tokenizer.texts_to_sequences([sentence])[0] token_list = pad_sequences([token_list], maxlen=self.max_sequence_length - 1, padding='pre') predicted = np.argmax(self.model.predict(token_list), axis=-1) output_word = "" for word, index in self.tokenizer.word_index.items(): if index == predicted: output_word = word break if last_word == output_word: return sentence sentence += " " + output_word last_word = output_word return sentence
以上がPython で tensorflow を使用してテストするための LLM を作成するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。