Невеличкий лікнеп для тих, хто не встигає у потяг локального ШІ (і дарма). Nvidia майже монополізувала ринок і жирніла спочатку за рахунок того, що «кріпта» фармилася, а тепер — тому що локальні ШІ набагато краще бігають на відеокартах, ніж на процесорах з ОЗП (кому цікаво додатково про локальні ШІ — пишіть у коментарях). AMD і Intel там щось намагалися, але так і не спромоглися. Трошки спромоглися в Apple, бо в них є unified memory + M3.
Ліричний відступ: це просто комбо якесь — щойно крипта почала відходити на другий план, відеокарти почали дешевшати… і на тобі.
Отже, якщо ви хочете вдома зібрати щось потужне під ШІ, вам потрібно якомога більше відеопам’яті, і у вас майже немає вибору, окрім як купувати якісь 4090, 5090 або навіть 6000 Pro (майже півлями за штучку в Україні). Тобто, якщо ви не берете у перекупів, то це десь $6500–8000 за одну. Але якщо ви підберете підходящу материнську плату і підключите 4…
Ну, типу з вас однушка не в столиці. Nvidia задоволена і далі собі на розслабоні чілить, не злазячи з першого місця у світі за капіталізацією.
Трохи картину псують китайці
13 500 юанів — це приблизно $2000 (можна знайти й за $1500), тобто в 3–5 разів дешевше, ніж у «зелених» за 96 GB VRAM.
Звісно, там різні потужності, швидкості пам’яті, софт дуже важливий й усе таке. Нормальних оглядів/порівнянь я ще не бачив, але «Джарвіс вдома» стає все ближчим — і це хоч якась конкуренція, а не оце все.
А хіба не можна умовно купити 2 5090, чим брати одну чисто під AI? (як мені здається умовно потім буде вигідніше продати 2 5090 чи щось там).
@peaceduck звісно можна і навіть треба
@javascript а ще є агенти, коли ви підключаєте (локальну) модель до вашої ОС і вона за вас робить якусь рутину мультипрограмну, типу запостити рандомний кліп перців на юж.
@javascript ні, з картинками, погоджуюся, усі вже набавилися. Припустіть що вам потрібна по роботі пакетна обробка чогось - тексти, зображення, звуки і т.д. Але не просто там щось обрізати\вставити, а вже щось більш "інтелектуальне", типу сортування зображень по люди\тварини\предмети наприклад, або ще глибше - веселі\сумні люди. Ви звісно можете взяти щось готове, розгорнути в хмарі і т.д., але, в залежності від об'ємів, ви можете витрачати сотні доларів на чужі сервіси, а можете вдома. Це якщо ми беремо щось дійсно поверхневе. А скільки нішових проектів? Ви можете зробити "AlphaFold вдома" для своїх досліджень (хто не в курсі https://www.youtube.com/watch?v=P_fHJIYENdI), чи от в мене є на руках результат перевірка на діабет за допомогою ШІ аналізу фотки очного дна.
Для прикладу мені був потрібен поверхневий аналіз текстів, багатьох текстів. Не по кількості символів, а вже трохи глибший, з "розумінням" самого тексту. Невеличка модель вдома + ollama + пайтон скрипт зробили своє діло за нічку.
@javascript ну типу є локальні відеогенератори типу Wan 2.2, які жеруть багато відеопам'яті ну і ще пару інших нейронок...Хоча, зазвичай, 48Гб з головою має вистачити для цього всього, а то й менше, просто генерація буде довша.
Але я не бачу сенсу купувати дорогу відеокарту, для того щоб користуватись цим всім. Будь-який платний ШІ-інструмент буде кращий за його безкоштовний аналог. Навіть якщо є якийсь унікальний робочий процес для того ж ComfyUI, його також можна запустити на хмарному залізі, зараз купа таких сервісів.
Напевно, єдиний плюс всіх цих безкоштовних нейронок з відкритим кодом так це те, що вони дозволяють генерувати NSFW контент. Хоча, знову ж таки, ComfyUI можна розгорнути на хмарному залізі і генерувати порно скільки завгодно.