Python에서 tensorflow를 사용하여 테스트하기 위한 LLM 만들기

안녕하세요

작은 LLM 프로그램을 테스트하고 싶어서 tensorflow를 사용하기로 결정했습니다.

내 소스 코드는 https://github.com/victordalet/first_llm에서 확인할 수 있습니다

---

I - 요구사항

텐서플로우와 numpy를 설치해야 합니다

pip install 'numpy<2'
pip install tensorflow

---

II - 데이터세트 생성

작은 데이터 세트를 계산하려면 데이터 문자열 배열을 만들어야 합니다. 예를 들어 저는 다음과 같이 만듭니다.

data = [
    "Salut comment ca va",
    "Je suis en train de coder",
    "Le machine learning est une branche de l'intelligence artificielle",
    "Le deep learning est une branche du machine learning",
]

별 감흥이 없다면 Kaggle에서 데이터세트를 찾아보세요.

---

III - 모델 구축 및 학습

이를 위해 다양한 방법으로 소규모 LLM 클래스를 만듭니다.

class LLM:

    def __init__(self):
        self.model = None
        self.max_sequence_length = None
        self.input_sequences = None
        self.total_words = None
        self.tokenizer = None
        self.tokenize()
        self.create_input_sequences()
        self.create_model()
        self.train()
        test_sentence = "Pour moi le machine learning est"
        print(self.test(test_sentence, 10))

    def tokenize(self):
        self.tokenizer = Tokenizer()
        self.tokenizer.fit_on_texts(data)
        self.total_words = len(self.tokenizer.word_index) + 1

    def create_input_sequences(self):
        self.input_sequences = []
        for line in data:
            token_list = self.tokenizer.texts_to_sequences([line])[0]
            for i in range(1, len(token_list)):
                n_gram_sequence = token_list[:i + 1]
                self.input_sequences.append(n_gram_sequence)

        self.max_sequence_length = max([len(x) for x in self.input_sequences])
        self.input_sequences = pad_sequences(self.input_sequences, maxlen=self.max_sequence_length, padding='pre')

    def create_model(self):
        self.model = Sequential()
        self.model.add(Embedding(self.total_words, 100, input_length=self.max_sequence_length - 1))
        self.model.add(LSTM(150, return_sequences=True))
        self.model.add(Dropout(0.2))
        self.model.add(LSTM(100))
        self.model.add(Dense(self.total_words, activation='softmax'))

    def train(self):
        self.model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

        X, y = self.input_sequences[:, :-1], self.input_sequences[:, -1]
        y = tf.keras.utils.to_categorical(y, num_classes=self.total_words)

        self.model.fit(X, y, epochs=200, verbose=1)

IV - 테스트

마지막으로 클래스 생성자에서 호출되는 테스트 메서드를 사용하여 모델을 테스트합니다.

경고: 생성된 단어가 이전 단어와 동일하면 이 테스트 함수에서 생성을 차단합니다.

    def test(self, sentence: str, nb_word_to_generate: int):
        last_word = ""
        for _ in range(nb_word_to_generate):

            token_list = self.tokenizer.texts_to_sequences([sentence])[0]
            token_list = pad_sequences([token_list], maxlen=self.max_sequence_length - 1, padding='pre')
            predicted = np.argmax(self.model.predict(token_list), axis=-1)
            output_word = ""
            for word, index in self.tokenizer.word_index.items():
                if index == predicted:
                    output_word = word
                    break

            if last_word == output_word:
                return sentence

            sentence += " " + output_word
            last_word = output_word

        return sentence

위 내용은 Python에서 tensorflow를 사용하여 테스트하기 위한 LLM 만들기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!