Llama 3 проти GPT-4: що краще?

Llama 3 і GPT-4 є двома найдосконалішими моделями великих мов (LLM), доступними для громадськості. Давайте подивимось, яка LLM краща, порівнявши обидві моделі з точки зору мультимодальності, довжини контексту, продуктивності та вартості.

Що таке GPT-4?

GPT-4 — остання модель великої мови (LLM), розроблена OpenAI. Він базується на основі старих моделей GPT-3, використовуючи різні методи навчання та оптимізації з використанням набагато більшого набору даних. Це значно збільшило розмір параметрів GPT-4, який, за чутками, має 1,7 трильйона параметрів менших експертних моделей. Завдяки новому навчанню, оптимізації та більшій кількості параметрів GPT-4 забезпечує покращення міркувань, вирішення проблем, розуміння контексту та кращу обробку нюансованих інструкцій.

На даний момент існує три варіанти моделі:

• GPT-4: еволюція GPT-3 зі значними покращеннями швидкості, точності та бази знань.
• GPT-4 Turbo: оптимізована версія GPT-4, розроблена для забезпечення швидшої продуктивності та зниження експлуатаційних витрат.
• GPT-4o (Omni): розширює можливості GPT-4 шляхом інтеграції мультимодальних входів і виходів, включаючи текст, зображення та аудіо.

Тепер ви можете отримати доступ до всіх трьох моделей GPT-4, підписавшись на служби API OpenAI, взаємодіючи з ChatGPT або через такі служби, як Descript, Perplexity AI та різноманітні копілоти від Microsoft .

Що таке Llama 3?

Llama 3 — це LLM з відкритим вихідним кодом, розроблений Meta AI (материнською компанією Facebook, Instagram і WhatsApp), навчений за допомогою комбінації контрольованого тонкого налаштування, вибірки відхилень і оптимізації політики з різноманітним набором даних, включаючи мільйони анотованих людьми приклади. Його навчання було зосереджено на високоякісних підказках і рейтингах уподобань, щоб створити універсальну та потужну модель ШІ.

Зараз доступні дві моделі Llama 3: Llama 3 8B і Llama 3 70B. Буква «B» означає мільярд, що вказує на розмір параметра моделі. Meta також тренує модель Llama 3 400B, запуск якої очікується наприкінці 2024 року.

Ви можете отримати доступ до Llama 3 через Meta AI , його генеративний чат-бот AI. Крім того, ви можете запустити LLM локально на своєму комп’ютері, завантаживши моделі Llama 3 і завантаживши їх через Ollama, Open WebUI або LM Studio.

Мультимодальність

Випуск GPT-4o нарешті забезпечив початковий маркетинг GPT-4, який має мультимодальні можливості. Тепер доступ до цих мультимодальних функцій можна отримати, взаємодіючи з ChatGPT за допомогою моделі GPT-4o. Станом на червень 2024 року GPT-4o не має інтегрованого способу генерування відео та аудіо. Однак він має можливості генерувати текст і зображення на основі вхідних відео та аудіо.

Llama 3 також планує надати мультимодальну модель для майбутнього Llama 3 400B. Він, швидше за все, інтегруватиме подібні технології до CLIP (Contrast Language-Imager Pre-Training) для створення зображень за допомогою методів нульового навчання . Але оскільки Llama 400B все ще навчається, єдиний спосіб для моделей 8B і 70B генерувати зображення — це використовувати розширення, такі як LLaVa, Visual-LLaMA та LLaMA-VID. На даний момент Llama 3 — це суто мовна модель, яка може приймати текст, зображення та аудіо як вхідні дані для створення тексту.

Довжина контексту

Довжина контексту означає кількість тексту, який модель може обробити одночасно. Це важливий фактор при розгляді можливостей LLM, оскільки він визначає обсяг контексту, з яким модель може працювати під час взаємодії з користувачами. Загалом більша довжина контексту робить LLM кращим, оскільки забезпечує вищий рівень узгодженості, безперервності та може зменшити кількість повторів помилок під час взаємодії.

Модель	Опис навчальних даних	Параметри	Довжина контексту	GQA	Підрахунок жетонів	Відсічення знань
Лама 3	Суміш загальнодоступних онлайн-даних	8B	8 тис	Так	15Т+	березень 2023 р
Лама 3	Суміш загальнодоступних онлайн-даних	70B	8 тис	Так	15Т+	Грудень 2023 р

Моделі Llama 3 мають довжину контексту фактично 8000 токенів (приблизно 6400 слів). Це означає, що модель Llama 3 матиме контекстну пам’ять приблизно на 6400 слів під час вашої взаємодії. Будь-які слова, що перевищують ліміт у 8000 токенів, будуть забуті та не нададуть жодного контексту під час взаємодії.

Модель	опис	Контекстне вікно	Дані навчання
GPT-4o	Флагманська мультимодальна модель, дешевша та швидша, ніж GPT-4 Turbo.	128 000 токенів (API)	До жовтня 2023 року
GPT-4-Турбо	Оптимізована модель GPT-4 Turbo з можливостями зору.	128 000 токенів (API)	До грудня 2023 року
GPT-4	Перша модель GPT-4	8 192 жетони	До вересня 2021 р

Натомість GPT-4 тепер підтримує значно більшу довжину контексту – 32 000 токенів (приблизно 25 600 слів) для користувачів ChatGPT і 128 000 токенів (приблизно 102 400 слів) для тих, хто використовує кінцеві точки API. Це дає моделям GPT-4 перевагу в веденні великих розмов і можливість читати довгі документи або навіть цілу книгу.

Продуктивність

Давайте порівняємо продуктивність, переглянувши Llama 3 від 18 квітня 2024 р., порівняльний звіт від Meta AI та GPT-4 від 14 травня 2024 р., звіт GitHub від OpenAI . Ось результати:

Модель	MMLU	GPQA	МАТЕМАТИКА	HumanEval	КРАПЛЯ
GPT-4o	88.7	53.6	76.6	90.2	83.4
GPT-4 Турбо	86.5	49.1	72.2	87.6	85.4
Лама 3 8B	68.4	34.2	30,0	62.2	58.4
Лама 3 70B	82,0	39.5	50.4	81.7	79.7
Лама 3 400B	86.1	48,0	57.8	84.1	83.5

Ось що оцінює кожен критерій:

• MMLU (Розуміння багатозадачної мови): оцінює здатність моделі розуміти запитання з різних навчальних предметів і відповідати на них.
• GPTQA (відповіді на запитання загального призначення): оцінює вміння моделі відповідати на фактичні запитання відкритого домену
• МАТЕМАТИКА: Перевірте здатність моделі розв’язувати математичні задачі.
• HumanEval: вимірює здатність моделі генерувати правильний код на основі підказок програмування, наданих людьми.
• DROP (Discrete Reasoning Over Paragraphs): оцінює здатність моделі виконувати дискретні міркування та відповідати на запитання на основі уривків тексту.

Останні тести підкреслюють різницю в продуктивності між моделями GPT-4 і Llama 3. Хоча модель Llama 3 8B, здається, значно відстає, моделі 70B і 400B забезпечують нижчі, але схожі результати з моделями GPT-4o і GPT-4 Turbo з точки зору академічних і загальних знань, читання та розуміння, міркувань і логіки, а також кодування. Однак жодна модель Llama 3 ще не наблизилася до продуктивності GPT-4 з точки зору чистої математики.

Вартість

Вартість є критичним фактором для багатьох користувачів. Модель OpenAI GPT-4o доступна для всіх користувачів ChatGPT безкоштовно з обмеженням на 16 повідомлень кожні 3 години. Якщо вам потрібно більше, вам доведеться підписатися на ChatGPT Plus, який коштує 20 доларів США на місяць, щоб збільшити ліміт повідомлень GPT-4o до 80, а також мати доступ до інших моделей GPT-4.

З іншого боку, обидві моделі Llama 3 8B і 70B є безкоштовними та мають відкритий код, що може бути значною перевагою для розробників і дослідників, які шукають економічно ефективне рішення без шкоди для продуктивності.

Доступність

Моделі GPT-4 широко доступні через генеративний чат-бот OpenAI ChatGPT AI та через його API. Ви також можете використовувати GPT-4 у Microsoft Copilot, що є одним із способів використання GPT-4 безкоштовно . Ця широка доступність гарантує, що користувачі можуть легко використовувати його можливості в різних випадках використання. На відміну від цього, Llama 3 є проектом з відкритим вихідним кодом, який забезпечує гнучкість моделі та заохочує ширші експерименти та співпрацю в спільноті ШІ. Цей підхід відкритого доступу може демократизувати технологію ШІ, зробивши її доступною для набагато ширшої аудиторії.

Незважаючи на те, що обидві моделі доступні, GPT-4 набагато легше використовувати, оскільки він інтегрований у популярні інструменти та служби підвищення продуктивності. З іншого боку, Llama 3 переважно інтегрована в дослідницькі та бізнес-платформи, такі як Amazon Bedrock, Ollama та DataBricks (за винятком Meta AI chat assist), що не приваблює більшого ринку нетехнічних користувачів.

GPT-4 проти Llama 3: що краще?

Отже, який LLM краще? Ми повинні сказати, що GPT-4 є кращим LLM. GPT-4 вирізняється мультимодальністю завдяки розширеним можливостям обробки тексту, зображень і аудіо, тоді як подібні функції Llama 3 ще знаходяться в розробці. GPT-4 також пропонує значно більшу довжину контексту та кращу продуктивність, а також широко доступний через популярні інструменти та служби, що робить його більш зручним для користувача.

Однак важливо підкреслити, що моделі Llama 3 показали виняткові результати для безкоштовного проекту з відкритим кодом. Як наслідок, Llama 3 залишається видатним LLM, який віддають перевагу дослідникам і компаніям за його безкоштовність і відкритий вихідний код, забезпечуючи при цьому вражаючу продуктивність, гнучкість і надійні функції конфіденційності. Хоча звичайні споживачі можуть не відразу знайти використання Llama 3, він залишається найбільш життєздатним варіантом для багатьох дослідників і компаній.

Підсумовуючи, хоча GPT-4 виділяється розширеними мультимодальними можливостями, більшою довжиною контексту та безперебійною інтеграцією в широко використовувані інструменти, Llama 3 пропонує цінну альтернативу завдяки своїй природі з відкритим вихідним кодом, що дозволяє більше налаштовувати та заощаджувати кошти. Таким чином, з точки зору застосування, GPT-4 ідеально підходить для тих, хто шукає простоту використання та комплексні функції в моделі, тоді як Llama 3 добре підходить для розробників і дослідників, яким потрібна гнучкість і адаптивність.

Країни, у яких доступний Meta AI

Meta AI наразі доступний у кількох країнах, зокрема:

• НАС
• Австралія
• Канада
• Гана
• Ямайка
• Малаві
• Нова Зеландія
• Нігерія
• Пакистан
• Сінгапур
• Південна Африка
• Уганда
• Замбія
• Зімбабве

Однак є деякі країни, де Meta AI ще недоступний. У цьому випадку ви побачите повідомлення «Meta AI ще не доступний у вашій країні»

Це означає, що якщо ви перебуваєте в таких країнах, ви можете страждати від помилки «Meta AI ще не доступний у вашій країні»:

• ЄС, включаючи Німеччину, Францію, Швейцарію, Італію, Іспанію, Польщу, Румунію, Нідерланди, Бельгію, Грецію, Чехію, Португалію, Швецію, Угорщину, Австрію, Болгарію, Данію, Фінляндію, Словаччину, Ірландію, Хорватію
• Україна
• Японія
• Південна Корея
• Китай
• Індонезія
• Таїланд
• В’єтнам
• Бразилія
• Аргентина
• Мексика
• Чилі
• Колумбія
• Перу
• Єгипет
• Південна Африка
• тощо

Якщо перебуваєте в цих країнах, ви можете лише чекати.

Використовуйте VPN як обхідний шлях для помилки «Meta AI ще не доступний у вашій країні»

Хоча використання VPN для доступу до Meta AI із країни, де він недоступний, може здатися швидким рішенням, це не рекомендується з кількох причин:

• VPN можуть бути ненадійними та призводити до зниження швидкості з’єднання, що впливає на продуктивність Meta AI.
• Використання VPN для обходу географічних обмежень може порушити умови обслуговування Meta та призвести до призупинення або блокування облікового запису.
• Навіть якщо ви успішно отримаєте доступ до Meta AI за допомогою VPN, ви все одно можете зіткнутися з проблемами з локалізованим вмістом і функціями, недоступними у вашому регіоні.