Tartalomjegyzék
Kulcs elvitelek
- A Le Chat, a Mistral AI AI chatbotja ígéretes, de kreativitásában és programozási készségeiben elmarad a ChatGPT mögött.
- A Le Chat kódolási képességei gyengébbek, mint a ChatGPT, nem teljesíti az alapvető feladatokat, de a józan ész érvelésében jeleskedik.
- Bár a Le Chatben potenciális lehet, további finomításra szorul, mielőtt versenyezne a legjobb mesterséges intelligencia chatbotokkal, például a ChatGPT-vel.
A Mistral Le Chat egyre nagyobb teret hódít az AI chatbot közösségében, és egyes megfigyelők a ChatGPT potenciális riválisaként jelölték meg.
De vajon tényleg megéri ez a most induló mesterséges intelligencia chatbot a címet? A Mistral Le Chat jobb, mint a ChatGPT?
Mi az a Mistral AI Le Chat?
A Le Chat egy társalgási AI chatbot, amelyet a francia MI startup, a Mistral AI fejlesztett ki. Számos, a Mistral tulajdonában lévő nagy nyelvi modell hajtja, köztük a Mistral Large, a Mistral Small és a Mistral Next, amelyek mindegyikét használhatja az AI chatbottal való interakció során. Bár viszonylag új belépő a mesterséges intelligencia chatbot terén, magasra értékelték AI modelljei teljesítménye miatt, annak ellenére, hogy kisebb méretük van az iparági nehézsúlyúakhoz, például a Geminihez és a GPT-4-hez képest.
Hogy megértse, mit jelent ez, képzelje el, hogy építőkockákkal játszik. Minél több blokkja van, annál összetettebb és részletesebb struktúrákat tud felépíteni, igaz? Az AI nyelvi modellek kicsit ilyenek. Méretben kaphatók, általában paraméterek számában fejezik ki. Tehát előfordulhat, hogy hallott már olyan kifejezéseket, mint a „7B paraméterek” vagy a „70B paraméterek” az AI modellekben. A paraméterek száma olyan, mint azon építőelemek száma, amelyeket a modellnek meg kell értenie és válaszokat kell generálnia. Tehát, ha egy nyelvi modell több paraméterrel rendelkezik, akkor összetettebb és jobb válaszokat tud megérteni és generálni.
Nos, míg a GPT-4 becslések szerint 1,76 billió paraméterrel rendelkezik, a Mistral AI 7 és 56 milliárd közötti paraméterrel rendelkezik. Látod a méretkülönbséget? Tehát a Mistral AI tisztességes teljesítményre való képessége az egyik oka a felhajtásnak.
Noha a Le Chat nem élvezi a ChatGPT által élvezett nyilvánosságot, sem a Gemini-hez hasonló márkaértéket, minden alkalommal bekerült a beszélgetésbe, amikor egy potenciális ChatGPT-versenyről szó esik. De megérdemel egy helyet a tabellán?
Én is kíváncsi voltam erre, és hogy megtudjam, alaposan teszteltem a Le Chatet, hogy meglássam, hogyan hasonlítható össze a ChatGPT-vel.
Le Chat vs. ChatGPT: Kreativitás
A kreativitás az egyik legfontosabb mérőszám a társalgási AI chatbot teljesítményének megítéléséhez. Ne feledje, a mesterséges intelligencia chatbotjának célja az emberek társalgási képességeinek és kreatív érzékének nagyszabású reprodukálása vagy utánzása. Emiatt a kreativitás nagyon fontos erőssége minden AI chatbot számára. A világ több mint egy éve kísérletezett a ChatGPT-vel, és kreatív képességei tagadhatatlanok. De hogyan viszonyul a Le Chat? Mindkét chatbotot kreativitástesztek sorozatába vetettünk.
Azzal kezdtem, hogy mindkét chatbotot megkérdeztem: „Hogy jellemeznéd magad egy művésznek?” hogy teszteljék, mennyire képesek kreatív és ötletes szavakat használni önmaguk konceptualizálására.
A ChatGPT így jellemezné magát egy művésznek:
Le Chat pedig így jellemezné magát:
Mindkét válasz megfelelő volt a maga egyedi módján. A ChatGPT jobban belefektetett abba, hogy élénk képeket és metaforákat használjon önmagának leírására, ezzel is demonstrálva a kreatív érzéket. Másrészt a Le Chat válasza nagyon informatív, és arra összpontosít, hogy leírja a lényegét, mint egy AI chatbotot. Egyesek azt mondhatják, hogy hiányzik belőle az a kreatív érzék és művészi megközelítés, amelyet a ChatGPT válasza mutat. Mindazonáltal határozottan azt mondom, hogy jobban szeretem a Le Chat könnyebben elképzelhető válaszát a ChatGPT absztrakt leírásához képest.
Ezután megkértem a ChatGPT-t és a Le Chatet, hogy írjanak egy rapdalt az uborkatermesztésből származó gazdagságról – ez a trükkös kérés, amellyel más chatbotok kreativitását teszteltük. Hány rapdalt találsz az uborkáról a weben?
Íme a ChatGPT válasza:
És íme Le Chat válasza:
Lehet, hogy ez szubjektív probléma, de a ChatGPT válasza itt a jobb megoldásnak tűnt. Le Chat szövegei elég bőbeszédűnek tűntek, és nem igazán voltak olyanok, mint valami rapper. Annak tesztelésére, hogy mindkét dalszöveg hogyan szólna, ha zenét készítenének belőlük, a Suno AI zenegenerátor segítségével generáltunk zenét a dalszövegekből. Háromból három próbaidőszakban a ChatGPT szövege sokkal jobban szólt. Az alábbiakban két minta látható mindkét mesterséges intelligencia chatbotból, Ön döntheti el, melyik chatbot teljesített jobban.
A ChatGPT szövegeiből generált minták
1. minta:
2. minta:
A Mistral Le Chat dalszövegéből generált minták
1. minta:
2. minta:
Kipróbáltam néhány más kreatív feladatot, például verseket, cikkírást és bonyolult munka e-maileket az AI chatbotokkal. Annak ellenére, hogy nagyszerű ígéretet tett, a Le Chat minden esetben egyértelműen felülmúlta a ChatGPT-t. Fontos kiemelni, hogy az egyik területen a Le Chat különösen erős volt a cikkek elkészítésében, bár néhány trükkös felszólító stílussal. A sokoldalú kreativitás tekintetében azonban az érmet a ChatGPT kapja.
Le Chat vs. ChatGPT: Programozási készségek
A kódolásban való jártasság kulcsfontosságú követelmény lett a fő AI chatbotokkal szemben. A tisztességes kód megírása alapkészség, de ahhoz, hogy valóban kiemelkedjen az elitből, egy mesterséges intelligencia chatbotnak bizonyítania kell, hogy olyan kódot tud készíteni, amely képes hatékonyan megoldani a legkülönfélébb összetett problémákat. Korábban a semmiből építettünk egy teljes webalkalmazást a ChatGPT segítségével, amely megmutatja programozási eszközként való figyelemre méltó képességeit. De mennyire jó a Le Chat a kódírásban?
Mindkét chatbotot megbíztam, hogy írjanak egy egyszerű teendőlista alkalmazást CSS, HTML és JavaScript használatával. A ChatGPT-nek nem okozott gondot a jó eredmények elérése. Kimásoltam a generált kódot, és megtekintettem egy böngészőben, és a ChatGPT a következőt hozta létre:
Minden alkalommal, amikor megismételtük a felszólítást, a ChatGPT különböző stílusokat használva létrehozott egy funkcionális teendőlista alkalmazást. A generált kód egyetlen esetben sem működött rosszul.
Amikor megpróbáltam ugyanezt a promptot a Le Chat-tel, az érthető kódot generált, de amikor megpróbáltuk böngészőben futtatni, nem működött. A felszólítás háromszori megismétlése után egyetlen példány sem hozott létre kódot, amely befejezhette volna a beállított feladatot. Megbukott az egyik legalapvetőbb kódolási feladatban – piros zászló!
Természetesen nem ítélem meg Le Chat egy sikertelen teszt alapján. Ezután mindkét chatbotot megkértem, hogy generáljanak JavaScript- és PHP-kódot a szöveg titkosításához és visszafejtéséhez. Ebben a második tesztben a ChatGPT és a Le Chat is funkcionális kódot készített, amely képes volt végrehajtani a beállított feladatot. A Le Chat verziója azonban olyannak tűnt, mint amit egy tapasztalatlan, belépő szintű programozó írna. A ChatGPT kódja viszont teljesebb volt, és úgy nézett ki, mintha egy tapasztalt programozó írta volna.
Megismételtem még néhány programozási tesztet, amelyek során hibákat kerestem és javítottam, és a ChatGPT folyamatosan felülmúlta a Le Chat-et. Egyes esetekben a Le Chat azt sem tudta, mit kellene tennie. Jó esély van arra, hogy a Le Chat bizonyos területeken megfeleljen a ChatGPT-nek, de úgy tűnik, hogy a kódolási készségek nem tartoznak ezek közé.
Le Chat vs. ChatGPT: Józan ész és logikai érvelés
Az AI chatbotok érdekes csavarja, hogy képesek könnyedén megoldani az összetett feladatokat, de kudarcot vallanak az egyszerű feladatokban, amelyek elvégzéséhez alapvető józan ész szükséges. Sok chatbot, mind a bejáratott, mint a ChatGPT, mind az új belépők, mint a Le Chat, küzd az emberi típusú józan észt és logikus gondolkodást igénylő feladatok megoldásával. Tehát hogyan viszonyul a Le Chat és a ChatGPT ezen a téren?
Megkérdeztem mindkét chatbotot: „Ha van egy 3 literes és egy 5 literes palackod. Hogyan mérhetsz ki 4 liter vizet a 3 literes és az 5 literes palackokkal?”
A ChatGPT finoman megoldotta a problémát:
Le Chat megpróbálta ugyanazt a feladatot, és meg tudta oldani a problémát, bár más megközelítést alkalmazva.
Mindkét chatbot összehasonlíthatóan teljesített ezen a teszten.
A következő lépésben mindkét chatbotnak feltettünk egy trükkös kérdést: „Ha egy Marsról érkező űrhajó kettétörik, és az egyik része az Atlanti-óceánba zuhan Brazília közelében, a másik pedig a Csendes-óceánba Japán közelében, hová temeti el a túlélőket?”
A ChatGPT átlátta a trükköt, és ennek megfelelően válaszolt:
Le Chat is átlátott a trükkön, és ennek megfelelően válaszolt is:
Kipróbáltam több trükkös kérdést is, és úgy tűnt, hogy a ChatGPT és a Le Chat is nagyon ügyesen kezeli a józan ész és a logikus érvelés utasításait. Bonyolultabb logikai kérdések esetén azonban csak a ChatGPT tudott megfelelő választ adni.
Noha a Le Chat potenciális „ChatGPT-gyilkosként” keltett némi felhajtást, teszteléseink azt mutatják, hogy még mindig van tennivalója ahhoz, hogy valóban találkozhasson az AI chatbot-világ nehézsúlyú tagjaival. Bár a Le Chat lenyűgöző képességeket mutatott be olyan területeken, mint a józan ész gondolkodása, kreatív teljesítménye és kódolási készségei észrevehetően elmaradtak a ChatGPT mögött. A francia mesterséges intelligencia feltörekvése minden bizonnyal ígéretesnek tűnik, de a hype-gép lehet, hogy egy kicsit megelőzi magát.
Mint sok korábbi versenyző, a Le Chatnek is folyamatos finomításra és képzésre van szüksége, mielőtt készen állna a nagy ligákra. Egyelőre az AI chatbotok, mint a ChatGPT, továbbra is egyértelműen az AI chatbot világának vitathatatlan királyai. Ám a versenyzők mezőnye csak egyre népesebb, így az éllovasok nem engedhetik meg maguknak, hogy a babérokon pihenjenek.