اشتباهات رایج در قیمت‌گذاری API کلود

اشتباه رایج بین توکن‌های ورودی و خروجی

قیمت‌گذاری API کلاود توکن‌های ورودی و خروجی را به صورت متفاوت ساختار می‌دهد که هنگام برآورد هزینه‌ها باعث سردرگمی می‌شود. توکن‌های ورودی ارزان‌تر هستند، اما توکن‌های خروجی به طور قابل توجهی گران‌ترند. این تفاوت زمانی مهم است که پرامپت‌ها و فرمت‌های پاسخ خود را طراحی می‌کنید.

برای مثال، یک پرامپت سیستم طولانی ممکن است ۲,۰۰۰ توکن ورودی مصرف کند، اما پاسخ ممکن است ۵۰۰ توکن خروجی مصرف کند. اگر فرض کنید قیمت‌ها برابر است، بودجه شما اشتباه خواهد بود. همیشه هر دو طرف مکالمه را محاسبه کنید.

• توکن‌های ورودی ارزان‌تر هستند.
• توکن‌های خروجی به ازای هر میلیون گران‌تر هستند.
• پرامپت‌های طولانی هزینه ورودی را افزایش می‌دهند.
• پاسخ‌های طولانی هزینه خروجی را افزایش می‌دهند.

API بدون سانسور ما از نرخ ثابت برای ورودی و خروجی استفاده می‌کند که این محاسبه را ساده می‌سازد. شما $0.15 به ازای هر میلیون توکن ورودی و $0.50 به ازای هر میلیون توکن خروجی پرداخت می‌کنید. این وضوح به شما کمک می‌کند بدون حدس و گمان بودجه‌بندی کنید.

هزینه پنهان استریم

استریم‌دهی تعداد توکن‌ها را تغییر نمی‌دهد، اما اگر قطعات را به درستی ردیابی نکنید می‌تواند منجر به صورت‌حساب نادرم شود. هر قطعه شامل بخشی از خروجی است و شما باید آن‌ها را با هم جمع کنید تا کل توکن‌های خروجی را دریافت نمایید.

اگر یک جریان را زودتر متوقف کنید، فقط برای توکن‌های ارسال شده هزینه پرداخت می‌کنید. با این حال، اگر هر قطعه را شمارش نکنید، ممکن است هزینه‌های خود را کمتر از حد واقعی تخمین بزنید. از قطعه آخر برای دریافت مجموع استفاده از توکن برای درخواست استفاده کنید.

• قطعات جریان حاوی متن ناقص هستند.
• همه قطعه‌ها را برای محاسبه کل توکن‌ها جمع کنید.
• برای صرفه‌جویی در توکن‌های خروجی، زودتر متوقف شوید.
• مصرف را به دقت به ازای هر درخواست ردیابی کنید.

API ما از پخش از طریق SSE پشتیبانی می‌کند و قطعه آخر شامل مصرف توکن است. این ردیابی هزینه‌ها را بدون منطق پردازش پیچیده آسان می‌سازد.

نادیده گرفتن توکن‌های دستورالعمل سیستم

System prompt ها بخشی از توکن‌های ورودی هستند و همان بودجه را که پیام‌های کاربر مصرف می‌کنند، مصرف می‌کنند. بسیاری از توسعه‌دهندگان فراموش می‌کنند این‌ها را بشمارند که منجر به صورت‌حساب‌های غیرمنتظره می‌شود.

یک پرامپت سیستم دقیق با دستورالعمل‌ها، مثال‌ها و زمینه می‌تواند هزاران توکن مصرف کند. این هزینه ورودی را برای هر درخواست افزایش می‌دهد. اگر پرامپت سیستم بلندی دارید، در نظر بگیرید که آن را خلاصه کنید یا از مثال‌های کمتری استفاده کنید.

• System prompt ها به عنوان توکن‌های ورودی شمرده می‌شوند.
• پرامپت‌های طولانی هزینه ورودی را افزایش می‌دهند.
• پراپمت‌ها را برای صرفه‌جویی در هزینه حذف کنید.
• از مثال‌های کمتر در دستورات سیستم استفاده کنید.

API ما نرخ یکسانی برای توکن‌های سیستم و کاربر دریافت می‌کند. این شفافیت به شما کمک می‌کند هزینه واقعی ساختار پرامپت خود را ببینید.

برآورد بیش‌ازحد پنجره زمینه

پنجره زمینه حداکثر تعداد توکن‌هایی است که می‌توانید در یک درخواست ارسال کنید. این شامل توکن‌های ورودی و خروجی است. تجاوز از این محدودیت می‌تواند باعث خطا یا بریده شدن شود که ممکن است بر نتایج شما تأثیر بگذارد.

برای مثال، اگر پنجره زمینه ۲۰۰,۰۰۰ توکن باشد، می‌توانید ۱۰۰,۰۰۰ توکن ورودی ارسال کنید و ۱۰۰,۰۰۰ توکن خروجی دریافت کنید. اگر ۱۵۰,۰۰۰ توکن ورودی ارسال کنید، ممکن است تنها ۵۰,۰۰۰ توکن خروجی دریافت کنید. این موضوع بر توانایی شما برای دریافت پاسخ‌های طولانی تأثیر می‌گذارد.

• پنجره زمینه شامل ورودی و خروجی است.
• عبور از محدودیت‌ها باعث خطا می‌شود.
• توکن‌های ورودی و خروجی را متوازن کنید.
• مصرف توکن‌ها را به ازای هر درخواست پایش کنید.

API ما از پنجره زمینه ۱۰۰,۰۰۰ توکنی پشتیبانی می‌کند، با حداکثر خروجی ۱۶,۰۰۰ توکن. این مقدار برای بیشتر موارد استفاده کافی است، اما همچنان باید مصرف توکن‌های خود را پایش کنید.

اضافه بار فراخوانی تابع

فراخوانی تابع توکن‌های اضافی به درخواست شما اضافه می‌کند. تعریف‌های تابع و آرگومان‌ها بخشی از توکن‌های ورودی هستند. این هزینه ورودی را برای هر درخواستی که از فراخوانی تابع استفاده می‌کند افزایش می‌دهد.

برای مثال، یک تعریف تابع ممکن است ۵۰۰ توکن مصرف کند و آرگومان‌ها ممکن است ۱۰۰ توکن مصرف کنند. این ۶۰۰ توکن به هزینه ورودی شما اضافه می‌کند. اگر از فراخوانی تابع به‌طور مکرر استفاده کنید، این مبلغ می‌تواند جمع شود.

• تعریف‌های تابع توکن‌های ورودی اضافه می‌کنند.
• آرگومان‌ها توکن‌های ورودی را افزایش می‌دهند.
• فراخوانی تابع هزینه‌های ورودی را افزایش می‌دهد.
• مصرف توکن‌های فراخوانی تابع را پایش کنید.

API ما از فراخوانی تابع پشتیبانی می‌کند و توکن‌ها در مصرف ورودی شمرده می‌شوند. این به شما کمک می‌کند تا بودجه‌بندی هزینه‌های فراخوانی تابع را به دقت انجام دهید.

Caching and repeated requests

Caching can reduce costs by storing responses for repeated requests. However, not all providers offer caching, and it might not be available for all models. If you send the same request multiple times, caching can save you money.

برای مثال، اگر همان پرامپت را ۱۰۰ بار ارسال کنید، پنهان‌سازی (Caching) می‌تواند تعداد توکن‌های ورودی را کاهش دهد. این برای پردازش دسته‌ای یا پرس‌وجوهای تکراری مفید است. بررسی کنید که آیا ارائه‌دهنده شما پنهان‌سازی را ارائه می‌دهد و چگونه بر صورتحساب شما تأثیر می‌گذارد.

• Caching stores repeated responses.
• کاهش تعداد توکن‌های ورودی.
• برای پردازش دسته‌ای مفید است.
• گزینه‌های کش ارائه‌دهنده را بررسی کنید.

API ما در حال حاضر کش ارائه نمی‌دهد، بنابراین هر درخواست بر اساس استفاده واقعی توکن هزینه دریافت می‌کند. این شفاف و قابل پیش‌بینی است.

هزینه استدلال چند مرحله‌ای

استدلال چند مرحله‌ای شامل ارسال درخواست‌های متعدد برای دریافت پاسخ نهایی است. هر درخواست به تعداد کل توکن‌های شما اضافه می‌کند. این می‌تواند هزینه‌های شما را به طور قابل توجهی افزایش دهد اگر مراحل را به طور کارآمد مدیریت نکنید.

برای مثال، یک وظیفه استدلال چندمرحله‌ای ممکن است شامل ۵ درخواست باشد که هر کدام ۱,۰۰۰ توکن ورودی و ۵۰۰ توکن خروجی مصرف می‌کنند. این مجموعاً ۷,۵۰۰ توکن در هر وظیفه می‌شود. اگر این کار را ۱۰۰ بار انجام دهید، هزینه‌ها به سرعت جمع می‌شوند.

• استدلال چند مرحله‌ای از چندین درخواست استفاده می‌کند.
• هر درخواست به تعداد توکن‌ها اضافه می‌کند.
• مراحل صرفه‌جویی در هزینه‌ها.
• مصرف کل توکن‌ها را به ازای هر وظیفه پایش کنید.

API ما از استدلال چندمرحله‌ای پشتیبانی می‌کند و شما بابت هر درخواست بر اساس مصرف توکن پرداخت می‌کنید. این به شما کمک می‌کند تا بودجه‌بندی برای وظایف پیچیده را انجام دهید.

باورهای نادرست درباره پلن‌های رایگان

بسیاری از ارائه‌دهندگان یک لایه رایگان ارائه می‌دهند، اما اغلب محدودیت‌هایی در تعداد درخواست‌ها یا توکن‌ها دارد. این محدودیت‌ها می‌توانند محدودکننده باشند و ممکن است به سرعت توکن‌های رایگان خود را تمام کنید. درک شرایط لایه رایگان مهم است.

برای مثال، یک لایه رایگان ممکن است ۱,۰۰۰ توکن در روز ارائه دهد. اگر یک پرامپت طولانی ارسال کنید، ممکن است تمام توکن‌های خود را در یک درخواست مصرف کنید. این می‌تواند توانایی شما را برای آزمایش دقیق API محدود کند.

• پلن‌های رایگان محدودیت توکن دارند.
• Limits can be restrictive.
• شرایط لایه رایگان را درک کنید.
• مصرف توکن‌ها را در پلن‌های رایگان پایش کنید.

API ما اعتبار آزمایشی $0.50 برای حساب‌های جدید ارائه می‌دهد که به مدت 7 days معتبر است. این به شما امکان می‌دهد API را بدون پرداخت تست کنید، اما به 7 days محدود است.

تغییر به یک مدل ساده‌تر

تغییر به یک مدل ساده‌تر می‌تواند هزینه‌ها را کاهش دهد، اما ممکن است کیفیت را نیز کاهش دهد. مدل‌های ساده‌تر به ازای هر توکن ارزان‌تر هستند، اما ممکن است وظایف پیچیده را به خوبی مدیریت نکنند. تعادل بین هزینه و کیفیت را در نظر بگیرید.

برای مثال، یک مدل ساده‌تر ممکن است ۰.۰۵ دلار به ازای هر میلیون توکن هزینه داشته باشد، اما ممکن است فراخوانی تابع را به خوبی یک مدل پیچیده‌تر مدیریت نکند. اگر به پاسخ‌های باکیفیت بالا نیاز دارید، ممکن است مجبور شوید هزینه بیشتری پرداخت کنید.

• مدل‌های ساده‌تر ارزان‌تر هستند.
• کیفیت ممکن است پایین‌تر باشد.
• در نظر بگیرید هزینه را در برابر کیفیت.
• مدل‌های مختلف را برای مورد استفاده خود تست کنید.

API ما از یک مدل بدون سانسور واحد استفاده می‌کند که برای کیفیت و هزینه بهینه‌سازی شده است. این فرآیند تصمیم‌گیری شما را ساده می‌کند.