Sélectionnez le modèle IA qui anime vos sessions de débogage
StatusRivet a besoin d'un modèle pour réfléchir, et vous décidez où il réside : un fournisseur cloud via une API standard, un modèle sur votre PC ou le modèle intégré. Cette page explique les trois choix et comment tester une connexion.
Trois emplacements pour exécuter le modèle
Fournisseur d'IA cloud
Un fournisseur d'IA cloud convient aux grands ensembles de code et aux longs journaux. Saisissez un point de terminaison API standard et votre clé. La clé reste locale. Chaque invite est envoyée au fournisseur choisi, y compris le texte de tout fichier ou journal lu par l'agent pour cette étape ; lisez donc la politique du fournisseur avant d'envoyer du code source non public. Limitez le travail aux logiciels que vous avez écrits ou pour lesquels vous êtes autorisé à déboguer. Le fournisseur peut facturer l'utilisation selon ses propres conditions, et StatusRivet est indépendant de tous les fournisseurs. Choisissez-le lorsque vos journaux et fichiers source nécessitent une grande fenêtre de contexte.
Modèle sur votre PC
Un modèle sur votre PC convient au code que vous ne pouvez envoyer nulle part. Votre PC effectue le travail. Pointez StatusRivet vers le point de terminaison local et les invites sont envoyées à votre machine, donc rien ne la quitte. Le compromis est le matériel : la vitesse et la fenêtre de contexte dépendent de ce que votre PC peut exécuter, et un long journal peut ne pas tenir. Utilisez le bouton Tester pour voir la fenêtre avant une longue session. Mettre à jour ou remplacer le modèle est votre responsabilité. Cela convient bien aux machines de laboratoire et aux pilotes non publiés, tant que vous acceptez ces limites.
Modèle intégré
Le modèle intégré est prêt à l'emploi sans votre propre point de terminaison, c'est donc le chemin le plus court de l'installation à une première conversation. Aucun point de terminaison n'est nécessaire. Utilisez-le pour essayer les modes d'approbation, lire un court journal et voir à quoi ressemble une carte de différence avant de configurer autre chose. Lorsqu'une tâche nécessite plus, connectez un fournisseur cloud ou un modèle local et relancez la même conversation pour comparer les réponses. Examinez chaque différence de la même manière, quel que soit le modèle qui l'a générée.
Testez la connexion avant une longue session
Appuyez sur le bouton Tester à côté d'un point de terminaison pour essayer la connexion. Le résultat affiche le temps de réponse et la fenêtre de contexte de ce modèle. Le temps de réponse indique si le point de terminaison répond à un rythme compatible avec votre travail. La fenêtre de contexte indique combien d'un journal ou d'un fichier source tient dans une seule requête, ce qui est important lorsqu'une longue pile d'appels fait partie de l'invite. Relancez le test après avoir modifié le point de terminaison ou le modèle. Un échec de test pointe vers la connexion, pas vers votre code. Corrigez cela en premier.
Choisissez une taille de modèle pour la tâche
Utilisez un modèle plus grand pour un raisonnement complexe, comme tracer une erreur à travers plusieurs modules ou examiner une modification plus large, et un modèle plus petit pour de petites modifications comme ajouter une vérification de nullité. L'outil run_on_model permet à l'agent d'envoyer une étape difficile à un modèle plus grand tandis que le reste de la session reste sur le modèle plus petit. Cela maintient les étapes habituelles sur le modèle plus petit tandis que l'étape difficile bénéficie de plus de capacité. Choisissez par tâche, pas par habitude, et utilisez le bouton Tester pour comparer les fenêtres de contexte avant d'insérer un long journal de plantage. Faites tenir le journal en premier.
La qualité des modèles varie entre les fournisseurs et les versions, donc traitez chaque réponse comme une ébauche. Les ébauches nécessitent une révision. Lisez la différence, reconstruisez avec votre commande de build et exécutez votre commande de test avant de conserver une modification. Ask first (Demander avant) fait une pause avant les actions qui modifient quelque chose, ce qui vous donne un endroit pour vous arrêter et lire. Plan only (Plan uniquement) écrit un plan et n'exécute rien, ce qui aide lorsque vous voulez voir les étapes avant de passer à Auto-run (Exécution automatique) ou Ask first. L'agent fonctionne à partir de la sortie texte, donc un résultat n'est bon que si les journaux que vous lui fournissez le sont.
