Mivel több online chatbot is elérhető, rendkívül nehéz lehet kiválasztani az igényeinek megfelelőt. Bár bármelyik két chatbotot összehasonlíthatja manuálisan, ez jelentős időt és erőfeszítést igényel.
Egy jobb és egyszerűbb módszer a Chatbot Arena használata a népszerű chatbotokat működtető különböző LLM-ek összehasonlítására. Néhány módot kínál a különböző modellek összehasonlítására, amelyeket alább ismertetünk.
Tartalomjegyzék
Mi az a Chatbot Arena?
Az LMSYS Org által létrehozott Chatbot Arena platform a különböző LLM-ek összehasonlítására. Az Elo Rating rendszert használja a különböző modellek rangsorolására.
A Chatbot Arena néhány módszert kínál a felhasználóknak az LLM-ek összehasonlítására és értékelésére. A beküldött visszajelzések alapján a Chatbot Arena rangsorolja a különböző LLM-eket a nyilvános ranglistán. A projektet a HuggingFace támogatja, amely a ChatGPT nyílt forráskódú alternatívája.
Hogyan hasonlítsuk össze az Anonymous LLM-eket a Chatbot Arénával
A Chatbot Arena harci módja lehetővé teszi az LLM-ek névtelen összehasonlítását. Például összehasonlíthatja a ChatGPT-t (GPT 3.5) és a Claude-ot. Ez azt jelenti, hogy a Chatbot Arena maga választ ki két nyelvi modellt, és anélkül, hogy felfedné a nevüket, lehetővé teszi az összehasonlítást.
Amikor belép az első promptba, a Chatbot Arena lekéri a válaszokat mindkét modelltől, és egymás mellett mutatja be őket. A platform lehetővé teszi a válaszok újragenerálását (mindkét LLM számára) és az előzmények törlését egy másik beszélgetés elindításához. Addig is tehet fel további kérdéseket, amíg ki nem választja az egyértelmű győztest.
Ezután kiválaszthatja, hogy az A modell jobb vagy B. A győztes kiválasztásakor a Chatbot Arena felfedi mindkét bot nevét. Ez a mód nagyszerűen működik, mivel döntését nem befolyásolja a modellek korábbi megítélése vagy népszerűsége. A Chatbot Arena olyan paraméterek beállítását is lehetővé teszi, mint a hőmérséklet, a Top P és a maximális kimeneti tokenek.
A kiválasztott LLM-ek összehasonlítása a Chatbot Arénával
Ha két konkrét LLM-et szeretne összehasonlítani, válthat a Chatbot Arena egymás melletti üzemmódjára. Azon a tényen kívül, hogy saját maga választhatja ki az LLM-eket, ez a mód szinte ugyanúgy működik, mint a harci mód. Beállíthatja a paramétereket, újragenerálhatja a válaszokat, törölheti az előzményeket, és végül kiválaszthatja a győztest.
Az ebben a módban elérhető LLM-ek száma azonban korlátozott. Kiválaszthatja a Llama 2, a Vicuna és a ChatGLM különböző verzióit. Bár a népszerű LLM-ek, mint például a GPT-4, GPT-3.5, Claude 1, Claude 2 stb., jelenleg nem érhetők el ebben a módban, a Chatbot Arena tervezi hozzáadni őket.
Hasonlítsa össze az LLM-eket a Chatbot Arena használatával
Akár az igényeinek megfelelő chatbotot keres, akár csak különböző LLM-eket szeretne tesztelni, a Chatbot Arena nagyszerű platform.
Egyszerűsített módot biztosít a különböző nyelvi modellek egymás melletti összehasonlítására. És mivel a felhasználók visszajelzései alapján vezet ranglistát, közvetlenül megtekintheti a különböző modellek rangsorát anélkül, hogy saját maga futtatná le a teszteket.