Giá API Claude: Những lỗi phổ biến

Sự nhầm lẫn giữa Token Đầu vào và Đầu ra

Giá API Claude cấu trúc token đầu vào và đầu ra khác nhau, tạo ra sự nhầm lẫn khi ước tính chi phí. Token đầu vào rẻ hơn, nhưng token đầu ra đắt hơn đáng kể. Sự khác biệt này rất quan trọng khi bạn thiết kế các lệnh nhắc và định dạng phản hồi.

Ví dụ, một prompt hệ thống dài có thể sử dụng 2.000 token đầu vào, nhưng phản hồi có thể sử dụng 500 token đầu ra. Nếu bạn giả định giá bằng nhau, ngân sách của bạn sẽ bị sai lệch. Luôn tính toán cả hai phía của cuộc hội thoại.

• Token đầu vào rẻ hơn trên mỗi triệu token.
• Token đầu ra đắt hơn mỗi triệu token.
• Lời nhắc dài làm tăng chi phí đầu vào.
• Phản hồi dài làm tăng chi phí đầu ra.

API không kiểm duyệt của chúng tôi áp dụng mức phí cố định cho cả đầu vào và đầu vào, giúp đơn giản hóa việc tính toán. Bạn trả $0.15 cho mỗi triệu token đầu vào và $0.50 cho mỗi triệu token đầu ra. Sự rõ ràng này giúp bạn lên ngân sách mà không cần đoán mò.

Chi phí ẩn của streaming

Streaming không thay đổi số lượng token, nhưng nó có thể dẫn đến tính phí không chính xác nếu bạn không theo dõi các chunk đúng cách. Mỗi chunk chứa một phần của đầu ra, và bạn phải cộng chúng lại để có tổng số token đầu ra.

Nếu bạn dừng luồng dữ liệu sớm, bạn chỉ trả tiền cho các token đã gửi. Tuy nhiên, nếu bạn không tính từng chunk, bạn có thể đánh giá thấp chi phí của mình. Hãy sử dụng chunk cuối cùng để lấy tổng số token được sử dụng cho yêu cầu.

• Các chunk luồng chứa văn bản một phần.
• Cộng tất cả các chunk để có tổng số token.
• Dừng sớm để tiết kiệm trên các token đầu ra.
• Theo dõi mức sử dụng cho mỗi yêu cầu một cách chính xác.

API của chúng tôi hỗ trợ phát trực tiếp qua SSE, và chunk cuối cùng bao gồm việc sử dụng token. Điều này giúp dễ dàng theo dõi chi phí mà không cần logic phân tích cú pháp phức tạp.

Bỏ qua token ngữ cảnh hệ thống

Các prompt hệ thống là một phần của các token đầu vào và chúng tiêu tốn ngân sách giống như các thông điệp của người dùng. Nhiều nhà phát triển quên đếm những phần này, dẫn đến hóa đơn không mong muốn.

Một prompt hệ thống chi tiết với hướng dẫn, ví dụ và ngữ cảnh có thể sử dụng hàng nghìn token. Điều này làm tăng chi phí đầu vào cho mọi yêu cầu. Nếu bạn có một prompt hệ thống dài, hãy cân nhắc cắt giảm nó hoặc sử dụng ít ví dụ hơn.

• Các prompt hệ thống được tính là các token đầu vào.
• Lời nhắc dài làm tăng chi phí đầu vào.
• Cắt giảm prompt để tiết kiệm chi phí.
• Sử dụng ít ví dụ hơn trong prompt hệ thống.

API của chúng tôi tính phí cùng một mức cho token hệ thống và token người dùng. Sự minh bạch này giúp bạn thấy rõ chi phí thực sự của cấu trúc prompt của mình.

Ước lượng quá mức về cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh là số lượng token tối đa bạn có thể gửi trong một yêu cầu đơn lẻ. Nó bao gồm cả token đầu vào và đầu ra. Vượt quá giới hạn này có thể gây ra lỗi hoặc cắt ngắn, điều này có thể ảnh hưởng đến kết quả của bạn.

Ví dụ, nếu cửa sổ ngữ cảnh là 200.000 token, bạn có thể gửi 100.000 token đầu vào và nhận 100.000 token đầu ra. Nếu bạn gửi 150.000 token đầu vào, bạn có thể chỉ nhận được 50.000 token đầu ra. Điều này ảnh hưởng đến khả năng nhận được phản hồi dài của bạn.

• Cửa sổ ngữ cảnh bao gồm đầu vào và đầu ra.
• Vượt quá giới hạn gây ra lỗi.
• Cân bằng token đầu vào và đầu ra.
• Theo dõi việc sử dụng token cho mỗi yêu cầu.

API của chúng tôi hỗ trợ cửa sổ ngữ cảnh 100.000 token, với tối đa 16.000 token đầu ra. Điều này đủ cho hầu hết các trường hợp sử dụng, nhưng bạn vẫn nên theo dõi việc sử dụng token của mình.

Chi phí gọi hàm

Function calling thêm các token bổ sung vào yêu cầu của bạn. Các định nghĩa hàm và đối số là một phần của các token đầu vào. Điều này làm tăng chi phí đầu vào cho mọi yêu cầu sử dụng function calling.

Ví dụ, một định nghĩa hàm có thể sử dụng 500 token, và các đối số có thể sử dụng 100 token. Điều này cộng thêm 600 token vào chi phí đầu vào của bạn. Nếu bạn sử dụng gọi hàm thường xuyên, điều này có thể tích lũy lại.

• Định nghĩa hàm thêm token đầu vào.
• Đối số thêm vào token đầu vào.
• Gọi hàm làm tăng chi phí đầu vào.
• Theo dõi việc sử dụng token cho gọi hàm.

API của chúng tôi hỗ trợ gọi hàm, và các token được tính trong phần sử dụng đầu vào. Điều này giúp bạn dự toán chi phí gọi hàm một cách chính xác.

Lưu trữ và các yêu cầu lặp lại

Lưu trữ có thể giảm chi phí bằng cách lưu trữ các phản hồi cho các yêu cầu lặp lại. Tuy nhiên, không phải tất cả các nhà cung cấp đều cung cấp lưu trữ, và nó có thể không khả dụng cho tất cả các mô hình. Nếu bạn gửi cùng một yêu cầu nhiều lần, lưu trữ có thể tiết kiệm tiền cho bạn.

Ví dụ, nếu bạn gửi cùng một lời nhắc 100 lần, bộ nhớ đệm có thể giảm số lượng token đầu vào. Điều này hữu ích cho xử lý hàng loạt hoặc các truy vấn lặp lại. Kiểm tra xem nhà cung cấp của bạn có cung cấp bộ nhớ đệm và nó ảnh hưởng đến việc tính phí của bạn như thế nào.

• Lưu trữ lưu trữ các phản hồi lặp lại.
• Giảm số lượng token đầu vào.
• Hữu ích cho xử lý hàng loạt.
• Kiểm tra các tùy chọn lưu trữ bộ nhớ đệm của nhà cung cấp.

API của chúng tôi hiện không cung cấp bộ nhớ đệm, vì mỗi yêu cầu được tính phí dựa trên mức sử dụng token thực tế. Điều này minh bạch và dễ dự đoán.

Chi phí suy luận nhiều bước

Suy luận nhiều bước liên quan đến việc gửi nhiều yêu cầu để có câu trả lời cuối cùng. Mỗi yêu cầu thêm vào tổng số token của bạn. Điều này có thể làm tăng đáng kể chi phí của bạn nếu bạn không quản lý các bước một cách hiệu quả.

Ví dụ, một nhiệm vụ suy luận nhiều bước có thể liên quan đến 5 yêu cầu, mỗi yêu cầu sử dụng 1.000 token đầu vào và 500 token đầu ra. Tổng cộng là 7.500 token cho mỗi nhiệm vụ. Nếu bạn làm điều này 100 lần, chi phí sẽ tăng lên nhanh chóng.

• Suy luận nhiều bước sử dụng nhiều yêu cầu.
• Mỗi yêu cầu được cộng vào số lượng token.
• Quản lý các bước để tiết kiệm chi phí.
• Theo dõi tổng mức sử dụng token cho mỗi nhiệm vụ.

API của chúng tôi hỗ trợ suy luận nhiều bước, và bạn trả tiền cho mỗi yêu cầu dựa trên việc sử dụng token. Điều này giúp bạn dự toán chi phí cho các tác vụ phức tạp.

Hiểu lầm về gói miễn phí

Nhiều nhà cung cấp cung cấp gói miễn phí, nhưng nó thường có các giới hạn về số lượng yêu cầu hoặc token. Những giới hạn này có thể hạn chế, và bạn có thể nhanh chóng hết token miễn phí. Điều quan trọng là phải hiểu các điều khoản của gói miễn phí.

Ví dụ, gói miễn phí có thể cung cấp 1.000 token mỗi ngày. Nếu bạn gửi một prompt dài, bạn có thể sử dụng hết token của mình chỉ trong một yêu cầu. Điều này có thể hạn chế khả năng kiểm tra API của bạn một cách kỹ lưỡng.

• Gói miễn phí có giới hạn token.
• Giới hạn có thể hạn chế.
• Hiểu điều khoản của gói miễn phí.
• Theo dõi việc sử dụng token trên các gói miễn phí.

API của chúng tôi cung cấp tín dụng dùng thử $0.50 cho các tài khoản mới, có hiệu lực trong 7 ngày. Điều này cho phép bạn kiểm tra API mà không phải trả tiền, nhưng nó bị giới hạn trong 7 ngày.

Chuyển sang một mô hình đơn giản hơn

Chuyển sang một mô hình đơn giản hơn có thể giảm chi phí, nhưng cũng có thể làm giảm chất lượng. Các mô hình đơn giản rẻ hơn trên mỗi token, nhưng chúng có thể không xử lý tốt các tác vụ phức tạp. Hãy cân nhắc sự đánh đổi giữa chi phí và chất lượng.

Ví dụ, một mô hình đơn giản hơn có thể tốn $0.05 cho mỗi triệu token, nhưng nó có thể không xử lý gọi hàm tốt bằng một mô hình phức tạp hơn. Nếu bạn cần các phản hồi chất lượng cao, bạn có thể cần phải trả nhiều tiền hơn.

• Các mô hình đơn giản hơn thì rẻ hơn.
• Chất lượng có thể thấp hơn.
• Hãy xem xét chi phí so với chất lượng.
• Kiểm tra các mô hình khác nhau cho trường hợp sử dụng của bạn.

API của chúng tôi sử dụng một mô hình không kiểm duyệt, được tối ưu hóa về chất lượng và chi phí. Điều này đơn giản hóa quy trình ra quyết định của bạn.