lol text
This commit is contained in:
@@ -37,7 +37,7 @@ void test_prompt_encoding(Tokenizer* tokenizer, char* prompt, int* expected_toke
|
|||||||
free(prompt_tokens);
|
free(prompt_tokens);
|
||||||
}
|
}
|
||||||
|
|
||||||
void text_prompt_encodings() {
|
void test_prompt_encodings() {
|
||||||
// let's verify that the Tokenizer works as expected
|
// let's verify that the Tokenizer works as expected
|
||||||
|
|
||||||
char *tokenizer_path = "tokenizer.bin";
|
char *tokenizer_path = "tokenizer.bin";
|
||||||
@@ -76,6 +76,6 @@ void text_prompt_encodings() {
|
|||||||
}
|
}
|
||||||
|
|
||||||
int main(int argc, char *argv[]) {
|
int main(int argc, char *argv[]) {
|
||||||
text_prompt_encodings();
|
test_prompt_encodings();
|
||||||
printf("ALL OK\n");
|
printf("ALL OK\n");
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user