Nowa wersja GPT-4o jest ewidentnie tańsza i tak samo wydajna

Firma OpenAI ogłosiła, iż od 2 października 2024, domyślna wersja ich najbardziej zaawansowanego modelu GPT-4o (2024-05-13) zostanie zaktualizowana do najnowszej wersji GPT-4o, czyli gpt-4o-2024-08-06.

Jeśli korzystasz z modelu GPT-4o, to nic nie stoi na przeszkodzie, ale już teraz ustawić w kodzie parametr:

i zacząć używać najnowszego wydania LLMa. Być może poniższe, krótkie testy będą wystarczającym argumentem aby dokonać tej zmiany.

GPT-4o – zmiany w wersji 2024-08-06

Zgodnie z tym co podaje OpenAI, najnowszy model GPT-4o jest o 50% tańszy dla tokenów wejściowych, o 33% tańszy dla tokenów wyjściowych. Zmiany są widoczne również na poziomie maksymalnej liczby tokenów wyjściowych. Wartość została zwiększona z 4096 do 16384.

Ponadto; najnowsza wersja wspiera obsługę funkcji Structured Outputs (w tym przypadku model „zawsze” będzie generował odpowiedzi zgodne z dostarczonym schematem JSON).

Szybkie testy deweloperskie GPT-4o

Postanowiłem przeprowadzić krótkie i bardzo ogólne testy kosztowe. Pierwszy dotyczył analizy pliku CSV, drugi miał na celu stworzenie treningu oraz diety w określonej sytuacji, a trzeci dotyczył napisania planu zwiedzania Tokio jesienią. Nie rozpisując się za bardzo; przejdźmy do testu. dla wszystkich przypadku ustawione zostały następujące parametry:

Analiza pliku .CSV

• Obecna wersja: model=”gpt-4o-2024-05-13” nie ukończył analizy. Koszt: ok. 0,02$
• Nowa wersja: model=”gpt-4o-2024-08-06” odpowiedź satysfakcjonująca. Koszt: ok. 0,01$

Suma: 0,03$

Stworzenie planu treningowego i diety

• Obecna wersja: model=”gpt-4o-2024-05-13” odpowiedź satysfakcjonująca. Koszt: ok. 0,02$
• Nowa wersja: model=”gpt-4o-2024-08-06” odpowiedź satysfakcjonująca. Koszt: ok. 0,01$

Suma narastająco: ok. 0,06$

Plan zwiedzania Tokio jesienią

• Obecna wersja: model=”gpt-4o-2024-05-13” odpowiedź satysfakcjonująca. Koszt: ok. 0,02$
• Nowa wersja: model=”gpt-4o-2024-08-06” odpowiedź satysfakcjonująca. Koszt: ok. 0,01$

Suma narastająco: ok. 0,09$

Ten szybki eksperyment potwierdza znaczne obniżenie kosztów bez spadku jakości otrzymywanych wyników. Oczywiście trzeba brać pod uwagę, to iż zaprezentowana próba jest mała, ale na wstępie już widać, iż OpenAI wydał wersję, która powinna przypaść do gustu deweloperom.

Jeżeli używasz parametru (model=”gpt-4o”) to dopiero od 2 października, będzie on kierował na najnowszą wersję, czyli z dnia 2024-08-06. jeżeli z jakiegoś powodu w przyszłości będziesz chciał zostać przy starszym wydaniu, to bez problemu możesz ustawić jako parametr „gpt-4o-2024-05-13„.

Źródło: OpenAI