Chọn mô hình AI điều khiển phiên gỡ lỗi của bạn
StatusRivet cần một mô hình để suy luận, và bạn quyết định nơi nó hoạt động: thông qua điểm cuối API tiêu chuẩn của nhà cung cấp đám mây, một mô hình chạy trên PC của bạn hoặc mô hình tích hợp. Trang này giải thích ba lựa chọn và cách kiểm tra kết nối.
Ba vị trí để mô hình hoạt động
Nhà cung cấp AI đám mây
Nhà cung cấp AI đám mây phù hợp với các bộ mã nguồn lớn và nhật ký dài. Bạn nhập điểm cuối API tiêu chuẩn và khóa của mình. Khóa vẫn ở cục bộ. Mọi lệnh nhắc đều được gửi đến nhà cung cấp bạn đã chọn, bao gồm văn bản của bất kỳ tệp hoặc nhật ký nào mà tác nhân đọc cho bước đó, vì vậy hãy đọc chính sách của nhà cung cấp trước khi gửi mã nguồn không công khai. Giữ công việc ở mức phần mềm bạn đã viết hoặc được phép gỡ lỗi. Nhà cung cấp có thể tính phí sử dụng theo điều khoản riêng, và StatusRivet độc lập với mọi nhà cung cấp. Chọn tùy chọn này khi nhật ký và tệp nguồn của bạn cần cửa sổ ngữ cảnh lớn.
Mô hình trên PC của bạn
Mô hình chạy trên PC của bạn phù hợp với mã bạn không thể gửi đi bất cứ đâu. PC của bạn thực hiện công việc. Chỉ định điểm cuối cục bộ cho StatusRivet và các lệnh nhắc sẽ được gửi đến máy của riêng bạn, vì vậy không có gì rời khỏi máy đó. Cái giá phải trả là phần cứng: tốc độ và cửa sổ ngữ cảnh phụ thuộc vào những gì PC của bạn có thể xử lý, và một nhật ký dài có thể không vừa. Sử dụng nút Kiểm tra để xem cửa sổ ngữ cảnh trước một phiên dài. Việc cập nhật hoặc thay đổi mô hình là việc của bạn. Nó phù hợp với máy phòng thí nghiệm và trình điều khiển chưa công bố, miễn là bạn chấp nhận những hạn chế đó.
Mô hình tích hợp
Mô hình tích hợp sẵn sàng sử dụng mà không cần điểm cuối riêng của bạn, vì vậy đây là đường dẫn ngắn nhất từ khi cài đặt đến cuộc trò chuyện đầu tiên. Không cần điểm cuối. Sử dụng nó để thử các chế độ phê duyệt, đọc một nhật ký ngắn và xem thẻ diff trông như thế nào trước khi thiết lập bất cứ thứ gì khác. Khi một nhiệm vụ cần nhiều hơn, hãy kết nối nhà cung cấp AI đám mây hoặc mô hình trên PC của bạn và chạy lại cùng một cuộc trò chuyện để so sánh câu trả lời. Xem xét mọi thẻ diff theo cùng một cách, bất kể mô hình nào tạo ra nó.
Kiểm tra kết nối trước một phiên dài
Nhấn nút Kiểm tra bên cạnh điểm cuối để thử kết nối. Kết quả hiển thị thời gian phản hồi và cửa sổ ngữ cảnh của mô hình đó. Thời gian phản hồi cho bạn biết liệu điểm cuối có trả lời ở tốc độ bạn có thể làm việc hay không. Cửa sổ ngữ cảnh cho bạn biết bao nhiêu nhật ký hoặc tệp nguồn vừa với một yêu cầu, điều này quan trọng khi một ngăn xếp lệnh gọi dài là một phần của lệnh nhắc. Chạy lại bài kiểm tra sau khi bạn thay đổi điểm cuối hoặc mô hình. Bài kiểm tra thất bại chỉ ra kết nối, không phải mã của bạn. Sửa lỗi đó trước.
Chọn kích thước mô hình cho nhiệm vụ
Sử dụng mô hình lớn hơn cho các nhiệm vụ suy luận phức tạp, chẳng hạn như theo dõi lỗi qua nhiều mô-đun hoặc xem xét một thay đổi lớn hơn, và mô hình nhỏ hơn cho các chỉnh sửa nhỏ như thêm kiểm tra null. Kỹ năng run_on_model cho phép tác nhân gửi một bước khó khăn đến mô hình lớn hơn trong khi phần còn lại của phiên vẫn ở mô hình nhỏ hơn. Điều đó giữ các bước thường xuyên trên mô hình nhỏ hơn trong khi bước khó khăn nhận được nhiều khả năng hơn. Chọn theo nhiệm vụ, không theo thói quen, và sử dụng nút Kiểm tra để so sánh cửa sổ ngữ cảnh trước khi đưa nhật ký sự cố dài vào. Ưu tiên khớp nhật ký trước.
Chất lượng mô hình khác nhau giữa các nhà cung cấp và phiên bản, vì vậy hãy coi mọi câu trả lời là bản nháp. Bản nháp cần được xem xét. Đọc thẻ diff, xây dựng lại bằng lệnh xây dựng của bạn và chạy lệnh kiểm tra của bạn trước khi giữ một thay đổi. Ask first tạm dừng trước các hành động thay đổi thứ gì đó, điều này cung cấp cho bạn một nơi để dừng lại và đọc. Plan only viết một kế hoạch và không chạy gì, điều này hữu ích khi bạn muốn xem các bước trước khi chuyển sang Auto-run hoặc Ask first. Tác nhân hoạt động dựa trên đầu ra văn bản, vì vậy kết quả chỉ tốt như những nhật ký bạn cung cấp.
