LLM & Quiz avec Ollama, Quarkus & LangChain4j

• 📅 12 avril 2024
• 🏷️ Java
• 🏷️ LLM
• 🏷️ Quarkus
• 🏷️ LangChain4j
• 🏷️ Ollama

Bien que je ne sois pas vraiment convaincu par les usages actuels de l’IA générative, ma curiosité m’a poussé à tester quelques modèles et à regarder comment ce nouvel outil pouvait être intégré à une application.

Dans cet article, nous allons décrire la manière dont nous pouvons exécuter un LLM (Large Language Model) en local et l’utiliser au sein d’une application Quarkus. Cette application aura pour objectif de fournir des questions & réponses de quiz. Ces données seront fournies par le LLM.

Installation du LLM local avec Ollama #

Pour exécuter un LLM en local, nous allons nous appuyer sur Ollama. L’installation est très simple et je vous invite à vous rendre sur le site officiel pour le faire.

A l’heure où j’écris ces lignes, Ollama est dispo sur Linux, MacOS et en preview sur Windows. Mes tests ont été réalisés sur un Macbook Pro M1 14” de 2021 avec 16Go de RAM. Ceci a été suffisant pour exécuter sans difficulté des modèles tels que llama2 ou mistral.

Une fois l’installation réalisée, il suffit de lancer la commande suivante dans un terminal:

ollama run llama2

L’outil va ainsi lancer le téléchargement du modèle choisi (ici llama2). Une fois le téléchargement terminé, vous pourrez saisir votre premier prompt. Par exemple:

>>> Can you tell me what Quarkus is in one sentence?

Quarkus is an open-source, reactive application platform for Java that provides a lightweight and efficient way to build microservices
and serverless applications with a focus on performance, scalability, and ease of development.

Si vous souhaitez consulter la liste des modèles disponibles dans Ollama, le site officiel dispose d’une page dédiée.

Pour quitter la session Ollama en cours, saisissez le prompt “/bye”.

Initialisation du projet Quarkus #

Maintenant que nous avons un LLM local à disposition, nous allons initialiser notre projet Quarkus. Pour ce faire, nous allons utiliser les extensions suivantes:

• quarkus-rest-jackson pour créer un endpoint retournant une question et ses réponses
• quarkus-langchain4j-ollama pour interagir avec le LLM:
  • LangChain4j est un projet qui vise à simplifier les interactions avec les LLM en proposant une API unifiée et des outils couvrant les besoins les plus courants. Ainsi, il est possible de basculer entre les services LLM sans pour autant réapprendre à chaque fois leur API spécifique.
  • L’extension Quarkus LangChain4j permet l’intégration simple et rapide de LangChain4j dans un projet Quarkus.

quarkus create app dlemontagner.jquiz:jquiz-ai-poc --extensions=quarkus-rest-jackson,quarkus-langchain4j-ollama --no-code
cd jquiz-ai-poc
quarkus dev

Nous allons ensuite définir les clés suivantes dans application.properties:

# Activation des logs
quarkus.log.console.enable = true
quarkus.log.file.enable = false
quarkus.langchain4j.ollama.log-responses=true
quarkus.langchain4j.ollama.log-requests=true
# Configuration du modèle ollama
quarkus.langchain4j.ollama.chat-model.model-id=llama2:latest
quarkus.langchain4j.ollama.chat-model.num-predict=-1

Nous aurons ainsi la possibilité de voir les requêtes en entrée et sortie de Ollama. Pour cet exemple, nous allons utiliser le modèle llama2 dans sa dernière version. La clé “num-predict” permet de ne pas se limiter dans la taille des réponses renvoyées par le LLM.

Dans cet article, nous allons exclusivement utiliser Ollama. Mais, comme je l’ai indiqué, LangChain4j vise à basculer facilement vers d’autres services. Pour utiliser un autre LLM, il suffit donc de remplacer les clés Ollama par les clés spécifiques au service que vous souhaitez utiliser (par exemple Open AI). Le code en tant que tel restera le même.

Génération des questions/réponses par le LLM #

L’objectif de cet exemple est de générer des questions et réponses pour un quizz. Nous allons partir sur le format JSON suivant pour décrire une question et ses réponses:

{
    "question": "Which planet is known as the Red Planet?",
    "answers": [
        {
            "text": "Jupiter",
            "correct": false
        },
        {
            "text": "Mars",
            "correct": true
        },
        {
            "text": "Saturn",
            "correct": false
        },
        {
            "text": "Venus",
            "correct": false
        }
    ]
}

Ceci se traduit par les records Java suivants:

package dlemontagner.jquiz;

import java.util.List;

public record QuizAIQuestion(String question, List<QuizAIAnswer> answers) {
}

package dlemontagner.jquiz;

public record QuizAIAnswer(String text, boolean correct) {
}

Il faut dorénavant que nous soyons en mesure de décrire notre besoin au LLM. Ainsi, il faut lui expliquer l’objectif de notre demande c’est à dire le rôle du LLM mais également le format dans lequel nous souhaitons obtenir sa réponse.

Voici le prompt qui m’a permis d’obtenir le résultat attendu avec, pour exemple, la fourniture d’une question sur le thème “electric vehicles”:

You are a quiz questions provider.
Provide a question about "electric vehicles".
You will provide one question and four answers about this theme.
The theme should not be the answer as participants will know about the theme.
Only one of these answers is correct.
If you can't understand the theme or if you don't have any questions about it use the theme "general knowledge" instead of the given theme.
Never return the same question twice.
You must respond in a valid JSON format.
You must not wrap JSON response in backticks, markdown, or in any other way, but return it as plain text.
You must answer strictly in the following JSON format: {
    "question": (type: string),
    "answers": (type: array of dlemontagner.jquiz.AIAnswer: {
        "text": (type: string),
        "correct": (type: boolean),
    }),
}

Retranscrire ceci au sein de notre application Quarkus est très simple et se résume aux 5 étapes suivantes:

1. Créer une interface (QuizAIProvider) annotée avec @RegisterAiService. Cette interface sera notre point d’entrée vers le LLM.
2. Créer une méthode (newQuestion) correspondant à notre prompt. Cette méthode a un paramètre String theme qui nous permettra de préciser le thème sur lequel nous souhaitons que la question porte.
3. Annoter la méthode avec @SystemMessage de façon à indiquer au LLM quel sera son rôle
4. Annoter la méthode avec @UserMessage de façon à passer le prompt. A noter que:
   • Le prompt peut contenir la valeur des paramètres comme ici avec ${theme}
   • Le format JSON souhaité n’a pas à être précisé. Ce tour de magie est opéré par Quarkus & LangChain4j qui enrichissent automatiquement le prompt en identifiant que ma méthode retourne un record QuizAIQuestion.
5. Ajouter à la méthode le paramètre int id annoté par @MemoryId. En effet, le LLM est stateless et ceci permet de garder en mémoire l’historique des échanges de la session (identifiée grace à l’id). Ainsi, le LLM saura répondre à l’exigence “Never return the same question twice.”

package dlemontagner.jquiz;

import dev.langchain4j.service.MemoryId;
import dev.langchain4j.service.SystemMessage;
import dev.langchain4j.service.UserMessage;
import io.quarkiverse.langchain4j.RegisterAiService;

@RegisterAiService
public interface QuizAIProvider {
    @SystemMessage("You are a quiz questions provider")
    @UserMessage(
            """
            Provide a question about ${theme}.
            You will provide one question and four answers about this theme.
            The theme should not be the answer as participants will know about the theme.
            Only one of these answers is correct.
            If you can't understand the theme or if you don't have any questions about it use the theme "general knowledge" instead of the given theme.
            Never return the same question twice.
            You must respond in a valid JSON format.
            You must not wrap JSON response in backticks, markdown, or in any other way, but return it as plain text.
            """)
    QuizAIQuestion newQuestion(@MemoryId int id, String theme);
}

Création du endpoint de l’API #

Maintenant que nous avons préparé notre passerelle vers le LLM, il ne nous reste plus qu’à créer le endpoint de l’API de façon à ce que l’utilisateur puisse soumettre un thème puis récupérer une question et ses réponses.

Pour ce faire, il suffit d’injecter notre QuizAIProvider puis d’y faire appel dans la méthode correspondante à notre endpoint:

package dlemontagner.jquiz;

import jakarta.inject.Inject;
import jakarta.ws.rs.POST;
import jakarta.ws.rs.Path;
import jakarta.ws.rs.Produces;
import jakarta.ws.rs.core.MediaType;

@Path("/quiz")
public class QuizResource {
    @Inject
    QuizAIProvider quizAIProvider;

    @POST
    @Produces(MediaType.APPLICATION_JSON)
    public QuizAIQuestion newQuestion(String theme) {
        return quizAIProvider.newQuestion(1, theme);
    }
}

Enfin, nous pouvons tester le tout en réalisant une requête de ce type avec httpie:

http POST :8080/quiz --raw "electric vehicles"

HTTP/1.1 200 OK
Content-Type: application/json;charset=UTF-8
content-length: 253

{
    "answers": [
        {
            "correct": true,
            "text": "Batteries"
        },
        {
            "correct": false,
            "text": "Solar panels"
        },
        {
            "correct": false,
            "text": "Hydrogen fuel cells"
        },
        {
            "correct": false,
            "text": "Gasoline engines"
        }
    ],
    "question": "What is the primary source of energy for electric vehicles?"
}

Code source #

Retrouvez l'intégralité du code source dans ce repository.

Conclusion #

Comme vous avez pu le constater, il est très simple de créer une première application basique utilisant un LLM.

Ceci n’est qu’une brève introduction aux LLM et à l’utilisation de LangChain4j via Quarkus. Il existe d’autres concepts plus avancés qui sont déjà disponibles au sein de ces outils. Pour en avoir un aperçu, vous pouvez jeter un oeil à d’autres exemples sur le repository de l’extension LangChain4j de Quarkus.

A noter que Spring propose également son intégration de LLM avec Spring AI. La documentation comporte notamment une section Ollama.

Pour conclure, nous n’avons pas fait de considérations architecturales pour cet exemple mais nous pouvons considérer le LLM comme un fournisseur de services comme les autres. Ainsi, dans une architecture hexagonale, le LLM se prête parfaitement à une implémentation sous la forme d’un adapteur SPI. Ainsi, vous pourrez facilement remplacer le LLM par une BDD peuplée de questions de meilleur qualité, écrites avec amour par un humain 😉

• Précédent: Utilisation de ArchUnit pour assurer le respect des principes de l’architecture hexagonale