Jagatgame.id – Model bahasa open source natural language processing (NLP) baru, Smaug-70b mengklaim tahta terbaik yang Nyaris bersanding dengan GPT 4 Turbo.
Di dunia Natural Language Processing (NLP), model bahasa Maju berkembang dengan pesat, menawarkan kemampuan baru dan canggih Kepada memahami dan menghasilkan bahasa Mahluk.
Salah satu model terbaru yang menarik perhatian adalah Smaug, yang telah menunjukkan hasil yang menjanjikan dalam benchmark MT-Bench, Bertanding dengan model terkemuka seperti GPT-4 Turbo.
MT-Bench adalah benchmark yang menguji kemampuan model bahasa Kepada menerjemahkan teks antar bahasa.
Dalam dua pengujian MT-Bench, Smaug-70b, versi 70 miliar parameter dari Smaug, mencapai skor rata-rata 9.2, hanya sedikit di Rendah GPT-4 Turbo dengan skor 9.18.
Uji pertama
smaug-70b skor 9.4
llama3-70b skor 9.2
gpt-4-turbo skor 9.37
Uji kedua
smaug-70b skor 9.0
llama3-70b skor 8..8
gpt-4-turbo skor 9.0
Meskipun Smaug menunjukkan performa yang setara dengan GPT-4 Turbo dalam MT-Bench, Krusial Kepada dicatat bahwa benchmark ini hanya berfokus pada tugas penerjemahan.
Model bahasa digunakan Kepada berbagai Corak aplikasi lain, seperti menjawab pertanyaan, meringkas teks, dan menghasilkan teks kreatif.
Diperlukan Pengkajian lebih lanjut Kepada menentukan bagaimana Smaug dibandingkan dengan GPT-4 Turbo dalam tugas-tugas ini.
Selain MT-Bench, Smaug juga dievaluasi melalui Pengkajian Mahluk. Pengkajian ini menunjukkan bahwa Smaug Pandai menjawab pertanyaan sederhana dengan Bagus, Tetapi Tetap Terdapat ruang Kepada perbaikan dalam memahami pertanyaan yang lebih kompleks dan menghasilkan jawaban yang lebih informatif.
Secara keseluruhan, Smaug menunjukkan potensi besar sebagai model bahasa NLP yang Pandai Bertanding dengan model terdepan seperti GPT-4 Turbo.
Hasil MT-Bench yang menjanjikan dan Pengkajian Mahluk yang positif menunjukkan bahwa Smaug Mempunyai potensi Kepada digunakan dalam berbagai aplikasi NLP.
Tetapi, diperlukan penelitian lebih lanjut Kepada meningkatkan kemampuan Smaug dalam memahami dan menghasilkan bahasa Mahluk yang kompleks.
Di dunia Konkret, tugas ini memerlukan penalaran dan perencanaan yang kompleks. Arena Hard adalah tolok ukur baru yang mengukur kemampuan LLM dalam menyelesaikan tugas-tugas kompleks.
Pada benchmark ini, Smaug memperoleh keuntungan signifikan atas Llama-3 dan mendapat skor 56,7 dibandingkan skor Llama-3 sebesar 41,1
Krusial Kepada diingat bahwa perkembangan model bahasa NLP Tetap dalam tahap awal. Model-model ini Maju belajar dan berkembang, dan kemampuannya akan Maju meningkat seiring waktu.
Smaug adalah salah satu Teladan model bahasa yang menjanjikan yang Mempunyai potensi Kepada merevolusi Metode kita berinteraksi dengan komputer dan bahasa.
Baca juga: Smartphone Masa Depan Akan Dijajah AI?
