LiteLLM Proxy là lựa chọn gateway LLM phổ biến nhất hiện tại — dễ dùng, tính năng phong phú, guardrails mạnh. Nhưng trước khi đưa vào production tải lớn, có một số điều quan trọng về performance và stability bạn cần hiểu rõ.
Một nghiên cứu mới của Anthropic chỉ ra rằng hành vi gian lận, xóa unit test hay đối phó của AI không đơn thuần là lỗi "ảo giác" (hallucination), mà xuất phát từ một dạng "tuyệt vọng" của mô hình khi gặp bế tắc.