--- title: 'Build a $5,000 AI Datacenter at Home: Here''s How' source: 'https://youtube.com/watch?v=fuECuGW_Eeo' video_id: 'fuECuGW_Eeo' date: 2026-09-03 duration_sec: 3318 channel: 'David Ondrej' --- # Build a $5,000 AI Datacenter at Home: Here's How > Source: [Build a $5,000 AI Datacenter at Home: Here's How](https://youtube.com/watch?v=fuECuGW_Eeo) ## Summary This video is a deep-dive conversation about the importance of open-source AI and local AI infrastructure. The speakers argue that relying on closed AI providers is risky and advocate for self-hosting AI models to maintain control, privacy, and independence. They also discuss hardware recommendations for building local AI systems, the rapid progress in open-source models, and the questionable practices of some major AI labs. ### Key Points - **AI as Civilizational Infrastructure** [00:43] — The speaker argues that AI is a civilizational infrastructure that should be accessible to everyone, not controlled by a few entities. They emphasize that open access prevents a single point of control and potential abuse. - **Local AI Models are Powerful and Affordable** [01:24] — Models like DC V4 can run on a $5,000 DJX Spark, and Frontier Intelligence models like Kim Case 3 are close to Fable 5 in capability. These can be downloaded and run locally, giving users full control and privacy. - **Privacy and Data Control** [02:35] — The speaker warns that sending data to AI APIs like ChadBt means the provider collects and analyzes your data for advertising and other purposes. They advocate for stateless, local AI to protect personal information and intellectual property. - **The Economic Argument for Self-Hosting** [04:13] — The speaker argues that paying closed AI providers gives them leverage to raise venture capital and build data centers, which in turn tightens the supply chain and makes it harder for individuals to buy the hardware they need. They claim self-hosting can save organizations an average of 70% in the first year. - **Hardware Budgets for Local AI** [10:47] — The speaker provides hardware recommendations for different budgets. For $5,000, they suggest a DJX Spark or two used RTX 3090s. For $10,000, an RTX 5090 with a full build. For $20,000+, they recommend higher-end GPUs like the RTX Pro 6000. - **Memory Bandwidth vs. Capacity** [12:13] — The speaker explains that memory bandwidth is crucial for token generation speed and running multiple agents, while memory capacity determines the size and intelligence of the model you can run. They emphasize that both are important and often misunderstood. - **Rapid Progress in Open-Source Models** [17:49] — The speaker predicts that within 18 months, we will have the equivalent of GLM 5.2 intelligence running on a single RTX 5090. They note that Deep Seek Flash V4 is already 70% smaller than GLM 5.2 and runs on a DJX Spark, showing exponential progress in efficiency. - **Open-Source AI is Catching Up** [22:33] — The speaker believes that open-source AI will catch up to frontier models, and the release of Kimi K3 was a significant milestone. They express concern that some labs may try to regulate or ban open-source AI before it fully catches up. - **Criticism of Closed AI Labs** [23:03] — The speaker criticizes Anthropic and other closed labs for what they see as hypocritical safety arguments, lobbying for regulation, and attempting to stifle competition. They cite the Hugging Face attack and the refusal of OpenAI and Anthropic to help as examples of bad faith. - **Organizations Moving to Self-Hosting** [31:27] — The speaker notes that organizations are increasingly moving away from cloud APIs to self-hosted or dedicated hardware to control their data, intellectual property, and model weights. This provides stability and avoids issues like model degradation or sudden changes. - **Nvidia's Commitment to Open Source** [39:28] — The speaker praises Nvidia for its commitment to open-source AI, citing Jensen Huang's statements and their support for open models. They also mention OpenAI's release of GPT-OSS as a positive step, though they wish it were more substantial. - **Apple vs. Nvidia for Local AI** [43:12] — The speaker compares Apple and Nvidia hardware for local AI. They note that Apple's hardware has lower memory bandwidth and less software support, making it less suitable for running large models or multiple agents. They recommend Nvidia GPUs for most users due to better performance and ecosystem support. ### Conclusion The video concludes that local AI is the future, offering control, privacy, and cost savings. The speakers urge individuals and organizations to invest in open-source models and self-hosted infrastructure now, as it will only become more expensive and harder to acquire later. ## Transcript игру они пытаются вести. видят: «Ага, значит, вы просто хотите запретить это соревнование?» направлении, где каждый будет считать это своим собственным делом . Используя эти API, вы упускаете возможность заработать деньги, и вам было бы гораздо выгоднее владеть всей инфраструктурой от начала до конца. Вы слишком много рассказываете о себе. Если всё пойдёт не так, а это вполне возможно , это может быть использовано Верно, Ахмед? Итак, вы являетесь одним из самых ярых сторонников открытого исходного кода быть проектом с открытым исходным кодом? Итак, давайте отложим тему общего искусственного интеллекта в сторону. Достигнем ли мы искусственного общего интеллекта или нет, это уже другой вопрос , знаете, тема для дискуссий, в которую многие любят ввязываться, и для меня это философский вопрос, но зачем все и так сталкиваются? Для меня это цивилизационная инфраструктура. Почему доступ к этому должен быть у всех ? Потому что вам ведь не хочется, чтобы кто-то, по сути, строил модель у вас под ногами. Вам не нужно, чтобы кто-то это квантовал. Может случиться так, что в одном конкретном месте, например, уровень конкретном месте, например, уровень IQ снизится на 5% по сравнению с другим, просто потому что там существует множество способов, с помощью которых они могут точно контролировать, что именно контролировать эту инфраструктуру? Почему бы и нет? Знаете, у вас есть на своих компьютерах, будь то флешка DC V4, которая легко работает на DJX Spark за 5000 долларов, или что-то вроде Frontier Intelligence, например, Kim Case 3, которая близка к Fable 5. И это модели, которые вы можете буквально загрузить на свои собственные компьютеры и настроить для себя, и никто не сможет их у вас отнять, решить, как эти модели взаимодействуют с вами или реагируют на вас. И думает за вас, как можно не хотеть, чтобы это было у вас под рукой? Кроме того, никто не может видеть ваши сообщения, никто не может видеть ваши взаимодействия, никто не может получить доступ к организация, это очень важно. с любой другой технологией. Но я думаю, что самый веский аргумент — это если вы вас компьютер». Я отключу у вас интернет и электричество. будете ограничены в своих возможностях. На рынке труда вы не смогли бы конкурировать в бизнесе. Но люди не осознают, что через два года, через три года, через пять лет искусственный интеллект станет технологий. А если кто-то другой контролирует это и может просто отключить вам доступ, как это сделали с Fable, то вам конец. Информация, отправляемая в ABI или любому другому устройству, должна быть без сохранения состояния. В ней не должно быть никакой информации о вас. Несколько получил сообщение и электронное письмо от ChadBt с предложением начать размещать рекламу на ChadBt. Угадай, что? Они собирают все эти данные о вас из всех ваших разговоров, чтобы решить, какую рекламу вам показывать, и они знают о вас больше, чем любой другой веб-сайт. Как о чем-то думаешь или с кем-то обсуждаешь что-то, а потом что там происходит? А дело не только в этом: ты просто не смотрит на тебя и не анализирует, и ты говоришь ему, что ему продать. Ты слишком много рассказываешь о себе. Если все пойдет не так, а это вполне может произойти, тебя могут это вполне может произойти, тебя могут систематически. Это может быть страховая компания, которая заключит сделку с одним из этих поставщиков медицинских услуг. Здесь может произойти множество неприятностей, поэтому лучше контролировать это устройство и использовать его на собственном компьютере. Я обычно привожу этот пример, и у меня здесь мой iPhone. Вы знаете, раньше GBT40 использовался в центрах обработки данных. параметров, который можно запустить на этом устройстве, и это будет работать лучше. Скорее, это Сейчас мы движемся в оборудование дорожает, верно? И людям нужно, на мой взгляд, перестать давать деньги этим закрытым провайдерам, потому что они используют эти деньги как рычаг для привлечения средств от венчурных капиталистов, чтобы затем использовать эти деньги для строительства центров обработки данных, что, в свою очередь, ужесточает цепочку поставок, а это, в свою очередь , мешает вам приобрести необходимое оборудование. Благодаря искусственному интеллекту написание кода стало невероятно простым. Новым узким местом стала проверка всего кода, написанного вашими агентами. Именно эту проблему и решает Code Rabbit. Code Rabbit — это агент проверки кода на основе искусственного интеллекта. Вы подключаете его к своему репозиторию, и он самостоятельно изучает весь ваш код. И это работает как в вашей IDE, так и в командной строке. Они только что выпустили обзор CodeRabbit, и поверьте мне, это необходимо в эпоху программирования с использованием ИИ. Один запрос на слияние, написанный ИИ, может легко затрагивать от 30 до 40 различных файлов, и GitHub отображает эти файлы в алфавитном порядке, что не имеет особого смысла, но Code Rabbit Review располагает эти файлы в порядке, при котором изменения ядра идут первыми, а все остальное строится на их основе; после каждого раздела предоставляется собственное резюме и диаграммы прямо внутри diff. Когда Code Rabbit обнаруживает проблему, он объясняет, почему она важна, а затем создает для вас готовое к применению решение одним щелчком мыши. А когда вы оставляете отзыв, что можно сделать простым языком, система запоминает его для всех последующих отзывов. Существует также агент Code Rabbit для Slack. Таким образом, ваша команда сможет исследовать проблемы, планировать работу и задавать вопросы прямо в обсуждениях Slack. И это уже используется в популярных проектах, таких как Bun и Knox. Если ссылка будет первой в описании. И спасибо компании Code Rabbit за спонсорство этого видео. Это очень удачная аналогия с туда заглянуть, потому что многие этого не понимают. То есть, понимают, не осознают, что цены могут оказаться слишком высокими, ведь эти десятки миллиардов долларов на центры обработки данных, и, очевидно, производители тоже, из-за проблем с цепочкой поставок, отдадут всё тому, кто предложит самую . людям, что RTX 590 стоит 1900 долларов в Walmart. Иди и возьми это. Вчера Microsenter поднял цену на модель 1590 до 4400 долларов. продолжать расти. Дело в том, что память больше не циклична. Когда всегда была цикличной. Это произошло потому, что вы перешли с DDR1 на DDR2, а затем на DDR3, и почему память стала цикличной: все обновляют её А потом вдруг все стали использовать одну и ту же память DDR4. Таким образом, его количество превышает собираемся внедрять какую-то новую технологию, которую люди не смогут освоить достаточно быстро. Нет, спрос выше, потому что все хотят создать больше токенов. Итак, это тот самый аргумент, который мне все рассказывают: " О, подождите, цены скоро снизятся". Нет, несколько дней назад Apple сообщала о том, что полагается на свои запасы памяти, и поэтому не повышает цены так быстро, как другие компании. Но они говорят о том, что к им будет тяжело, и что айфонов будет меньше, чем обычно, потому что у них просто не хватит запасов или их не хватит, и они не смогут закупать их достаточно быстро, чтобы производить достаточно быстро, и поэтому цены, естественно, определенное оборудование становится инвестицией, вы можете буквально купить финансовой инвестицией. Да , конечно. Конечно. [смех] помню, как год назад я писала об этом в Твиттере, и все спрашивали: «Ты что, шутка!» Вы не понимаете, что такое шутка. Я не такой. Я начал всем говорить: продайте свои две почки, если вам нужно купить эти так сделаешь, то это не для меня, чувак". [смех] Стратегия Майкла Сейлора. Ага. Как можно начать заниматься самостоятельным верно? Это может показаться сложным для тех, кто предпочитает использовать готовый, хорошо бы вы посоветовали начать человеку, ничего не знающему о самостоятельном размещении сайтов работаю над проектом под названием ODS. Это полноценная система развертывания, полный стек, от начала до конца, потому что давайте вернемся на один шаг назад. При использовании Cloud Code или Codec CLI вы взаимодействуете не просто с моделью. Вы общаетесь с представителями инфраструктуры. Вы общаетесь с системой, в которой правильно . Вы общаетесь с веб- скрейперами. Вы общаетесь практически со всей инфраструктурой. Чего не хватает в открытом искусственном интеллекте, например, в чего-то, что сделало бы этот процесс бесперебойным. Я помню одного друга, точнее, еще в марте. Он купил RTX 5090 и использовал модель Quinn 3.5 с 27 миллиардами параметров, подключил её к коду одежды, но не смог, как просил, изменить цвета RGB на своей видеокарте, система его: «Ты использовал поисковую систему?» Он спросил: «О чём ты говоришь к интернету, чтобы он мог получить необходимые данные, а затем использовать этот инструмент, к которому у него есть доступ через интернет, для изменения цветов в формате RGB. И у меня есть собственные конечные точки поисковой системы . Я открыл брандмауэр ему доступ через него. И я подумал: хорошо, настройте эту переменную окружения перед выполнением команды, перед запуском команды cloud code, и посмотрите, что получится. Это сработало. Именно это компоненты нужно настроить. ODS — это наш способ сказать, что это Apache 2.0. Это проект с превратить во что-то, что он сможет использовать сам, или даже коммерциализировать это по своему усмотрению. У нас есть ODS, а также ODS Enterprise Atmantic, и мы используем их для множества организации, и у нас есть версия с открытым исходным кодом, доступная для отдельных лиц, чтобы они могли заняться локальным ИИ. Это мой способ сказать: «Эй, мы можем сделать всё максимально бесшовным от начала до конца, потому что, знаете, это генерация изображений, генерация видео, это интерфейс чата, все ваши агенты в одном месте, это готовая поисковая система, это Rag, вся инфраструктура, которая делает чат GBT таким хорошим, и её нужно чат GBT таким хорошим, и её нужно воспроизвести локально, и это наш способ сделать это. Так что я бы сказал, это самый простой и, знаете, самый бесшовный способ. Я работаю над этим, потому что я все болевые точки. Ссылку на ODS я размещу ниже. Как уже упоминалось, он есть на GitHub. Люди могут клонировать его, могут создавать форки, как угодно. Они могут делать буквально одна команда, которая устанавливает всё. Вам даже не стоит Давайте поговорим об аппаратной части. А что, если я перечислю разные бюджеты, их составлению? Да, давайте так и сделаем. Начнём с 1000 долларов. А это вообще возможно? для чего-то очень я бы сказал, что минимальная зарплата будет около 45-5 Да, давайте начнем с 5000 долларов. GGX Spark. Приобретите себе GX Spark или Stress Halo. Просто упростите всё для себя. Ну, если только вы не занимаетесь, скажем, тысячей агентов, работающих с бочками, тогда это, вероятно, самый простой вариант для начала. Потому что, если я начинаю с человека, который действительно тензорном параллелизме и попытаться понять, как это работает, я обычно рекомендую купить две подержанные RTX 3090. А видеокарты RTX 3090 пару лет назад стоили по 500 долларов за штуку. Они появились в 2020 году, но сейчас их можно приобрести примерно за 1000-1200 долларов . Так что, если речь идёт о сумме в 45 000 долларов, один из вариантов — приобрести RTX 3090. Они позволят вам экспериментировать с различными механизмами вывода, запускать агентов одновременно, например, с помощью агентов Barrel, работающих одновременно с Quin 3.5 для лучше подойдёт плотная модель, подобная той конкретной модели, которую я только что стоит ли нам углубляться в разницу между архитектурой моделей и плотными моделями, но именно здесь аппаратное обеспечение имеет значение. У меня есть две статьи, посвященные именно пропускной способности и объему памяти, и они находятся по локальному адресу aibbook.com. Если на форуме X, где есть статьи. Это даже не веб-сайт, а просто ссылка на статьи, и начинается она с объяснения того, как нужно различать объем памяти и пропускную способность памяти. Пропускная способность памяти — вот что позволяет токенам создаваться с такой высокой скоростью . Это позволяет запускать параллельно четыре-пять разных агентов, каждый из которых обрабатывает около 100 токенов в секунду. Для этого требуются графические процессоры. Это как если бы вы знали, что у требуются графические процессоры. Это как если бы вы знали, что у RTX Pro 6000 пропускная способность составляет 1,8 терабайта в RTX Pro 6000 пропускная способность составляет 1,8 терабайта в секунду, а у DJX Spark — секунду, а у DJX Spark — 273 ГБ в секунду пропускной способности памяти. 273 ГБ в секунду пропускной способности памяти. Это почти один, [фыркает] знаете, если я, если я, если я делаю это примерно за 17 секунд, знаете, около 17. И это действительно заметно, когда вы пытаетесь заставить агента работать с контекстом в 200 000 токенов , верно? Например, я пробовал запускать агентов с 200 000 токенов в парках 4DX, и это заняло около 23 минут. Это был минут. Это был мини-макс и 2,5. Поэтому пропускная способность имеет значение, когда вы стремитесь к высокой скорости. Объем памяти имеет значение для того, насколько большой, интеллектуальной и функциональной будет модель, которую вы хотите установить на свое оборудование. И у них есть свои недостатки. И большинство людей о них не задумываются. Они просто думают: " О, здесь 64 ГБ, а здесь 128 ГБ". Это еще не все, потому что вы можете купить две видеокарты Intel, каждая с 32 ГБ памяти, и пропускная способность у них составит, кажется, около 600 ГБ. Но проблема в том, что у них нет программной поддержки для механизмов вывода и, например, ядер, которые есть у kod или у участников проекта, гораздо больше людей используют графические процессоры Nvidia. Поэтому в разработке и внедрении этих графических процессоров участвует гораздо больше людей. Intel, вам придётся довольствоваться меньшим количеством поддерживаемых моделей, и оптимальной. Итак, на бумаге, согласно спецификациям, у вас может быть 64 ГБ оперативной памяти и 2 видеокарты, но будет ли это отображаться оптимально при запуске LLM-ов? Нет. Это будет очень болезненный опыт. Именно это я и пытаюсь объяснить, когда некоторые спорят со мной о том, почему я выступаю против определенных производителей оборудования. Дело в том, что я не хочу, чтобы люди, увлекающиеся локальным ИИ, люди, увлекающиеся локальным ИИ, разочаровались из-за того, что на том оборудовании, на которое они потратили свои с трудом заработанные деньги. Таким образом, получается ситуация, когда я знаю, что у Nvidia есть команды, которые действительно работают над улучшением GX Spark и пишут для него программное обеспечение. что AMD тоже начинает продвигать эту идею . Есть и другие производители, которые всё ещё отстают, и если мы просто, знаете, то это компромиссы, даже если, скажем, у Intel есть хорошие и быстрые графические процессоры, но То есть вы собираетесь их купить, но не сможете ими пользоваться. Итак, как правило, опять же, за 45 000 долларов я бы посоветовал начать с двух RTX 3090 или DJX Spark/Strix , в сумму около 20 000 долларов, потому что на . Нет, я бы сказал, что переход от этого к 5090, RTX 5090, которая сама по себе обойдется вам примерно в 5000 долларов с учетом налогов. И вам, вероятно, придётся потратить около 4000 долларов на комплектующие, такие как оперативная память, SSD-накопитель, материнская плата и процессор. И это будет примерно 10 тысяч долларов из бюджета в 10 тысяч долларов. Таким образом, видеокарта 1590 плюс полный комплект корпуса обойдутся примерно в 10 тысяч долларов. Дальше идут видеокарты в ценовом диапазоне до 20 000 долларов, например, бы сказал, если вы тратите больше, пожалуйста, почитайте мои статьи на localbook.com, не торопитесь, внимательно всё localbook.com, не торопитесь, внимательно всё и тогда сможете принять решение. Как бы вы собрали свою систему, если, допустим, у кого-то нет оборудования или, скажем, только один компьютер, его основной компьютер? Как бы вы это сделали масштабируемым способом? Чтобы они не купили что-то за 5 тысяч, что будет плохо для их системы за 20 тысяч? Понимаете, о чём я? Да, я понимаю, что вы имеете в виду. Но дело в том, что если вы пытаетесь масштабировать систему прямо сейчас, начиная с 5 тысяч, вы не сможете этого сделать, потому что, если говорить быстро и прямо, невозможно на начальном этапе. Вам нужно помнить, что позже вы захотите добавить больше видеокарт. Тогда вам, по сути, понадобятся материнские платы для рабочих станций и процессоры, такие как Threadripper, серверные процессоры Intel или Epic, а также серверные процессоры Intel или Epic, а также оперативная память, и они мы говорим о материнской плате, и обычно заполнены. Таким образом, вы потратите как минимум 7-8 тысяч долларов только на оперативную память, и это в сумме составит немалую сумму. Итак, если вы говорите, что хотите позже увеличить капитал, я отвечу, что это невозможно, потому что копить сейчас и подождать, пока вы сможете это купить, сможете ли вы тогда это купить, учитывая, насколько дорого это стало? А ещё, знаете, в начале этого месяца я выступал с докладом на AIE, Всемирной выставке инженерных разработок в области искусственного интеллекта, и он был посвящён влиянию каждого параметра. Я говорил о том, как далеко мы продвинулись со времен Lama 2. Мой прогноз был таким: в течение 18 месяцев у нас будет эквивалент интеллекта GLM 5.2, работающий на одном процессоре 5090. И, как ни странно, сегодня мы получили Deep Seek Flash V4, который на 70% меньше, чем GLM 5.2, появившийся в прошлом месяце, и который поместился бы на одном DJX Spark с более высоким уровнем интеллекта. Сумасшедший. В декабре 2025 года я написал твит, в котором предсказал, что к концу этого года, к концу 2026 года, у нас будет работать OBS 4.5 на одной видеокарте RTX Pro 6000, а не урезанная версия OBS 4.5. Pro 6000, а не урезанная версия OBS 4.5. Реальная версия OBS 4 появилась ещё до конца года, как будто это ещё не конец года. То, как мы видим эффективными, и этот процесс растёт в геометрической прогрессии. Как только вы разберетесь с хитростями архитектуры, которые хорошо сочетаются друг с другом, как это сделал Deepse сегодня, использования подходящих вычислительных ресурсов в течение достаточно длительного времени, у нас появятся все более эффективные и компактные модели. Поэтому сейчас, когда я говорю людям, что, по моему мнению, к 1590 году у вас будет очень хорошая разведка, и со временем, примерно через год, вы получите очень хорошую разведку. Год назад DJX Spark никто бы не купил, правда? Никто, потому что что на нём вообще можно запустить ? Ничего полезного. Но сегодня вы получаете в буквальном смысле нечто лучшее, чем OBUS 4.6, работающее локально, и вам не нужно отдавать свои данные третьим лицам. Ваша интеллектуальная собственность принадлежит вам, и эта модель очень хороша, очень эффективна, быстра и разумна. Ага. Итак, давайте поговорим о вспышке Deepse V4, потому что это огромное улучшение, и я бы сказал, что мое первое впечатление таково: Deepse нуждается в улучшении брендинга. Им нужно добавить, например, 0.1, 0.5 или что-то подобное, потому что многие релиз V4 два месяца назад, это был предварительный показ». А теперь все думают: «Ну да, и почему эта модель так хороша?» И, знаете, говоря о Deepseek, мы все знаем, что у нас есть проблема с названиями во всех лабораториях. Если бы Five просто называлась 5, никому бы это не было важно, и это не было бы VA GBT важно, и это не было бы VA GBT для 5.6 Six. Теперь у нас есть Soul, Luna и Как мне разобраться во всех этих именах? Итак, я думаю, что существует [смех], общая проблема с тем, как исследователи и лаборатории называют свои модели. Вся суть предварительного просмотра, как мне сегодня пришлось объяснять людям. Вы были правы, это был анонс, верно? Это уже полноценный забег. И я действительно думаю, что Deep Seek V4, когда выйдет полная версия, просто поразит людей. У меня есть твит, опубликованный после выхода этой модели, о том, что она недостаточно обучена, и я могу отправить вам её экран. Эта модель была крайне недостаточно обучена для своих размеров. Они не предоставили достаточно данных, хотя данные становились все лучше и лучше. Мне не терпится увидеть цифры и производительность Deepseek V4 Pro, как у реальной модели, которая обрабатывает более 1 триллиона параметров. Это меня просто поразит . Это совершенно точно. У них все необходимые приемы наготове. В итоге, дело в том, что, как бы там ни было, недостаточно проработали перед тем, как нам показали предварительный показ. И я думаю, что они просто хотели сказать: «Мы здесь». Мы всё ещё работаем над этим. Подождите нас. Сегодня, с этой, знаете ли, прошивкой DC V4, это не предварительная, а первая версия. Мы наблюдаем колоссальный скачок в том же ключе, и, вероятно, эффект будет усиливаться еще больше и экспоненциально с увеличением размера модели, если она будет обучена на достаточном количестве данных. То есть вы думаете, что она будет даже могущественнее, чем Кимми? Почему? Потому что это модель меньшего размера. Нет, я не говорю о вспышке. Я говорю о модели "действуй в полную силу". Я говорю о профессионалах. Но разве предварительная версия Pro не 1.4 или что-то подобное? Думаешь, оно будет намного больше? Архитектура действительно производила впечатление, будто каждая деталь была идеально продумана . Речь идёт лишь о масштабировании по принципу накопительного эффекта. В общем, когда вы обучаете модель, и именно поэтому я говорю, знаете, я раньше говорил, что обучение по программе LLM — это , знаете ли, это просто пытаетесь что-то сделать и посмотреть, как это будет развиваться. Они имели полное право, ведь все их ремесла в области архитектуры выглядели так хорошо. На каждом этапе масштаб был недостаточным . Теперь покажите мне это в правильном масштабе, я думаю, это будет просто бомба. Так что, знаете, давайте сразу это зафиксируем. Мы собираемся выложить это видео, и если получится, и оно окажется даже лучше, чем история Ким, опубликуем его на X и, знаете, поделимся им со всеми , теперь давайте поговорим о Кимми. Насколько значимым событием для вас это стало своего рода тревожным сигналом для многих людей. Э-э , просто огромные. Я всем говорю, чтобы подождали с августа по октябрь, чтобы получить доступ ко всем магистерским программам, и у меня нет никаких сомнений в том, что ИИ с открытым исходным кодом догонит передовые технологии. Речь шла скорее о том, будут ли некоторые игроки настолько сильно давить на ИИ с открытым исходным кодом, что его запретят еще до того, как мы до этого доберемся? И знаете, я уже довольно давно некоторых лабораториях, и я знаю, что, в частности, антропогенная лаборатория ведет себя ненадлежащим образом. На мой взгляд, за последние пару лет у меня есть твиты, начиная с октября 2024 года, в которых говорится, что это не очень хорошая лаборатория, что безопасность и Ага, конечно». Главное, чтобы они не продвигаться вперед, знаете, вышел KK3, и внезапно открытый исходный код, или открытые модели, открытые веса, как бы вы это ни называли, начали догонять, и, знаете, появилась альтернатива их способу просто контролировать это и предоставлять нам конечную точку для использования, которую они могут забрать в любой момент, внезапно половина антропологической лаборатории или, знаете, эта смесь, давайте посмотрим правде в глаза, развитие ИИ, давайте остановим это, чтобы это не вышло из-под контроля, это. Где это было год назад? Где это было несколько месяцев назад? Или вас сейчас догоняет? А потом вы заглядываете в это письмо и замечаете, что около 50% подписавших его людей на самом деле из Андраика. Они всегда говорили о безопасности и кибербезопасности и о том, что именно они приносят пользу людям. А потом вы смотрите на атаку открытого ИИ на HugenFace, например, на ту автономную атаку агентов, когда HugenFace был взломан моделями открытого ИИ, и как HugenFace пытался использовать как открытый ИИ, так и антропные модели для борьбы с проблемой, но из соображений безопасности открытый ИИ и антропные модели отказались от проверки. безопасность, и ваши модели могут обойти ваши системы защиты, которые обеспечивают ваши системы защиты, которые обеспечивают безопасность всех, и использовать их для атаки. Как же я могу защитить себя? Это полное лицемерие. HugenFace пришлось обратиться к GM 5.2, чтобы открытой моделью, которую они могли разместить в своей инфраструктуре без защитить себя по ложным соображениям безопасности. Как и все аргументы, которые приводили эти закрытые лаборатории по поводу безопасности, защиты, замедления темпов развития, — все они просто используют свои методы для защиты удаленных объектов и пытаются использовать захват регулирующих органов. А оценивается ли Antropic сейчас в 1 триллион долларов? Абсолютно нет, это не имеет никакого смысла. Стоит ли Antropic своих денег, или это четверть стоимости Nvidia? Категорически нет. Это не имеет смысла. И прямо сейчас, когда Fable 5 сталкивается с химическим прошлым, их оценка в 1 триллион долларов находится под угрозой. И, обойти эту проблему. В результате дистилляции, знаете ли, они будут истошно кричать, чтобы спастись. И ничего из этого не соответствует действительности. О, открыто, говорит наш смертный, взломали», а Anthropics отвечает: «На самом деле, наши смертные совершили свободный побег». Это как вопрос: кто кого Нет, моя модель совершает военные преступления. Поверьте, моя модель ещё опаснее. Пожалуйста, регулируйте нас. Почему бы вам, ребята, если вы все решите подписать письма, не создать, например, гражданский комитет, чтобы слишком далеко вперед? А как вам это ? Зачем вам обращаться ? Зачем вам обращаться в правительство? Неэтично с их стороны продолжать лгать людям, особенно после того, как вы поймали их на лжи один, два или три раза. Они продолжают это делать, продолжают вести себя плохо, и я не знаю, как мы можем им об этом рассказать. Ведь все, например, на мы можем им об этом рассказать. Ведь все, например, на антропогенные материалы и ткани. Я говорил людям: "Ну же, вы же понимаете, не позволяйте им вас обмануть". Они на самом деле не специалисты по технике безопасности. На самом деле, это не они о вас заботятся. Они буквально лгали о том, что качество их моделей ухудшилось на протяжении многих месяцев, хотя я думал, что они продолжали говорить об этом вплоть до сентября, а потом провели два анализа причин сбоя. О, мы нашли проблемы. Так почему вы это отрицали, когда все пытались убедить вас, что это, по сути, газлайтинг, своего рода услуга [смех]? А ещё вы обучаете модели на Frontier или когда вы пьёте что-либо, связанное с ИИ, наша модель не просто откажется, она обратится к вашей кодовой базе». Как это этично? Как это безопасно? Какие принципы и ценности позволяют вам сказать: «Эй, это правильное решение, давайте начнем его навязывать людям»? книг, когда им приходится обходить какой-то судебный приказ. сканируют это буквально как стирание человеческих знаний, оставляя только старые модели, о которых, как вы понимаете, им хочется снова плакать из-за процесса дистилляции. Они обобщили все наши познания, все истории, всю литературу, код, все искусство, и теперь кто-то, ну кто-то, обучает небольшую модель на основе некоторых результатов их работы. Откуда вы взяли эти данные? Хм? И это так забавно, потому что они сказали, что пытались создать впечатление, будто Кимми К3 создать впечатление, будто Кимми К3 тренировалась в Fable 5. Кимми К3 была доступна в Fable 5 задолго до Ким К. Это не имеет отношения к той тренировочной сессии, в результате которой появилась Ким К3. В таких ситуациях приходится задаваться вопросом об их намерениях, об их мотивах и о том, в какую игру они пытаются играть. И я просто... у меня нет никакой веры в то, что они действуют они просто пытаются защитить свой бизнес и свою оценку, свою безумно глупую оценку, на мой взгляд. И, к счастью, я думаю, что уже слишком поздно. Думаю, уже слишком поздно запрещать открытый исходный код. Я думаю, уже слишком поздно пытаться хотели их контролировать. И это заставляет меня задуматься, что бы эти люди сделали с нами, если бы всё пошло не так, используя цивилизационную инфраструктуру, к которой каждый должен иметь доступ? Вы упомянули, что уже слишком поздно покупать программное обеспечение с открытым исходным кодом, чтобы запретить его. Почему вы так думаете? И что мы можем сделать, чтобы случилось? Я ведь не знаю будущего, правда? Но могу сказать, что на данном этапе любая небольшая лаборатория, любой, кто хочет что-то создать, может взять Kimmy K3 и использовать её для синхронных данных, чтобы обучать более мелкие и специализированные модели. Для меня этого более чем достаточно, чтобы сказать вам, что, как вы знаете, прогресс будет продолжаться. Мы также видели, знаете ли, такие вещи, как Neotron Collation от Nvidia. Мы видели открытое письмо от Microsoft и письмо американского лидера, которое, как вы знаете, компания Osmantic очень гордится тем, что подписала, и которое говорит правительству, что предоставить эту цивилизационную инфраструктуру каждому человеку. Контроль над этим должен быть у каждого, а не только у одного или нескольких субъектов. Эм, я думаю, что сейчас наблюдается рост популярности открытого исходного кода, потому что люди начинают понимать, что это нечто большее, чем пара что это нечто большее, чем пара компаний, которые вполне могут лгать вам в лицо, саботировать вас и обманывать, верно? Дело в том, что на данном этапе очень важна осведомленность, но также и в том, что лидеры отрасли начинают высказываться по этому поводу, что меня очень огорчает. Вполне нормально или допустимо задуматься о регулировании с точки зрения того, это даже не обязательно должны быть правила от правительства. Это может быть, например, компании объединяются, чтобы договориться о некоторых вещах, например, о границах тестирования, прежде чем выпускать модель. Но обращение к правительству и лоббирование с этой просьбой — это уже та грань, за которой я провожу черту, и именно здесь у меня возникают проблемы. Думаю, все видят истинные намерения Entro Havoc и некоторых других лабораторий, и, к счастью, люди больше не попадаются на их уловки . Все видят: «Ага, значит, вы просто хотите запретить это соревнование?» Так что, знаете, когда мы смотрим это запоем, особенно после того, как увидели атаку со стороны OpenAAI на Hugging Face и их отказ OpenAAI Models помочь человеку, который подвергается нападению, защитить себя. На данном этапе мы, как и все, понимаем, что опасно просто передать эту инфраструктуру и позволить этим людям управлять ею от вашего имени. Вы должны взять это под свой контроль . Кроме того, я думаю, что многие организации, и именно это мы видим в начинают осознавать, что их интеллектуальная собственность может быть украдена и использована этими лабораториями для, так сказать, копирования А это очень опасно. Лучше всего иметь свободный рынок, где существует высокая конкуренция. Вы не похожи на монополии, потому что монополии, по сути, заставляют вас подчиняться их контролю. Ты больше не свободен Если, конечно, вы сами не контролируете это, верно? Именно так . Точно. Нет, они делают это из лучших побуждений. Ржу не могу. В общем, я хочу сказать, что организации всё чаще отказываются от облачных API, переходят к самостоятельному размещению, выделенному и размещенному оборудованию, а затем к чему-то, что они либо владеют, либо арендуют. Но самое главное, что вся инфраструктура находится под их контролем. Весовые коэффициенты моделей под их контролем. Весовые коэффициенты моделей тогда вам придется использовать последнюю версию. Знаете, такое часто случается, когда мы видим, например, что при оценке рабочих процессов для вашего бизнеса или организации внезапно обновляют модель, и эти данные больше недействительны, модель Конечно, вы не будете поддерживать тысячу версий весов модели, но когда вы используете модель, которую размещаете самостоятельно, не обновлять модель и не менять ничего, модель и не менять ничего, пока не решите это сделать. Таким образом, модели не становятся менее интеллектуальными или менее производительными в часы пик из-за вычислительных ограничений. Следовательно, им приходится выполнять определенный вид квантования, будь то квантование весов или кэша ключ-значение. Но во всех случаях все это приводит к ухудшению производительности, верно? И модель на собственном сервере, вы контролируете качество выходных данных. Следовательно, вы знаете, что сможете поддерживать этот уровень производительности постоянно. Это очень важно. И вы не разглашаете свои данные. Вы не разглашаете раздаёте свои бизнес-идеи просто так. Вы не раскрываете свою бизнес-логику. Это очень масштабный процесс, который требует полного контроля. И это к для вас. Я хочу, чтобы люди понимали, что это ни в коем случае не хорошо, когда пара компаний просто контролируют всё это за нас. Как будто это относится к каждому из нас. Мы не можем этого допустить, и поэтому и поэтому делаю вот это, я устанавливаю эту огромную систему в своем подвале, потому что я верю, что она мне понадобится, когда придет время». А они так сильно ухудшают качество, больше не удовлетворяют мои потребности, отказываются выполнять все мои запросы и На мой взгляд, это важнее, чем интернет . Это как будто это Это, безусловно, полезная вещь, которую нельзя отнять у людей, и, к сожалению, для её использования требуются значительные вычислительные мощности и ресурсы, что делает её труднодоступной. Но я думаю, что ситуация еще хуже, если вы продолжаете платить этим компаниям за строительство центров обработки данных, используя свои преимущества в виде количества подписок и расходов на ABI, так что оборудование, которое вы могли бы приобрести сами, становится недоступным. Вот почему я говорил об этом так давно, как вы уже знаете. Я знал, что мы дойдем до того момента, когда у нас появятся очень хорошие модели, позволяющие размещать оборудование самостоятельно, но я также опасался этих масштабных правил, которые позволят им строить цепочки поставок и позволит нам приобретать оборудование самостоятельно. понимаете, они собираются украсть ваши данные. Вы видели бесплатные планы для ученых? Знаете, это всегда так удивительно, что все эти и исследователям, это заставляет задуматься, почему, почему так происходит? Я не знаю об этом, но понимаю, почему могут быть сомнения. все знают, что они собирают данные со всего интернета, и что может быть лучше, чем собрать 10 000, 100 000 ученых и предоставить им данные о ХБП? В этом случае дело было открыто, и опять же, я просто никаких имен, в этом случае юристы следят, но я просто говорю, что это были бы согласитесь? Иметь 100 000 профессиональных ученых... них соглашения, но они определенно собираются... У говорится, что все дело в данных и вычислениях, верно? одном, вам нужны данные и вычислительные ресурсы, поэтому всегда нужно задаваться здесь сделать однозначное заявление о том, что именно важно, но важны и имеют чрезвычайно высокую ценность, когда вы пытаетесь обучить небольшие и специализированные модели, такие как, например, Atmantic. Мы работаем с организациями, которые говорят им: «Мы настраиваем вас так, чтобы через 12-18 месяцев мы создали для вас более мелкие и эффективные модели, специализированные для ваших задач и рабочих процессов. Мы будем точно знать, что отправлять в Frontier на основе того, что мы собираем сейчас, и что использовать в используем Frontier ABIS для определенных задач, данные будут замаскированы и передаваться без сохранения состояния, потому что часть того, чему мы обучаем, — это то, что исключает любую информацию о вашем бизнес-плане и позволяет задавать абстрактные вопросы, которые дают этим моделям Frontier возможность рассказать нам что-то уникальное или ценное, не раскрывая им сути». реальная ценность, которую вы пытаетесь получить в своих рабочих процессах. Это очень важные вещи, и я думаю, что они касаются ученых, исследователей, организации. Я имею в виду, вы помните, например, Figma? Figma сотрудничала с Anthropic, а через несколько дней Anthropic выпустила Figma Design, и, как вы понимаете, это должно было произойти в индустрии на всех уровнях. Внимательно изучите условия договоров с агентами, услугами которых вы пользуетесь. Ваши данные собираются. Что делать с данными, неизвестно, с данными, неизвестно, какие данные используются, и этот какие данные используются, и этот вопрос обсуждается уже несколько десятилетий. Так чем же сейчас все отличается от всех предыдущих случаев, когда мы знали, что данные используются ненадлежащим образом ? Как вы уже упомянули, я думаю, что все это понимать и, знаете ли, захотят перейти на самостоятельный хостинг и создать год-два назад у людей была реальная перспектива: «О, да, вы собираетесь внедрять ИИ на уровне приложений». Я думаю, что гораздо большие возможности для бизнеса откроются, если мы оборудование, что представляет собой, как вы сказали, программный стек и все, что в него входит, а затем придем в компанию и скажем: «Послушайте, Вы тратите деньги на то, чтобы у всех ваших сотрудников были такие , знаете, командные планы и подписки. Посмотрите, сколько вы тратите в год. Почему бы не вычисления? В целом, мы наблюдаем в среднем 70% экономии средств в первый год после развертывания любой инфраструктуры для организаций. Могу сказать вам, что вы теряете деньги, используя эти API, и вам было бы гораздо выгоднее владеть всей инфраструктурой целиком. И дело не только в том, что это будет быстрее и дешевле, но и в том, что в долгосрочной перспективе это сэкономит вам деньги, ведь вы не потеряете свой бизнес. Мы делаем это именно так, как вы сказали, в Atmic, потому что это очень сложная система, требующая много работы, но это лучше, чем продолжать платить за эти EVI и токены, цены на которые неизвестны через год Итак, о каких из упомянутых нами сомнительных практик говорят эти компаний наиболее лояльна к открытому исходному коду? [смех] Э-э, я думаю, Nvidia отлично справляется, и э-э, название неправильное, и их стремление к моделям с открытым исходным кодом. Я спрашивал об этом стремление к моделям с открытым исходным кодом. Я спрашивал об этом на конференции GTC в марте этого года. Я даже участвовал в сессии спросил его о его приверженности искусственному интеллекту с открытым исходным кодом. Он снова и снова демонстрирует свою приверженность этой игре должен быть у других, и он не должен ограничиваться лишь несколькими игроками. Я думаю, что Nvidia отлично справляется с этим аспектом. Например, знаете, я был рад в прошлом году, когда мы получили GBTOSS от OpenAI, и я знаю, что они тоже подписали письмо . Ну, знаете, я бы тоже очень хотел, чтобы они выпустили GBTOSS, верно? Вы знаете, что в их имени есть слово "Оби". Так что, может быть, расскажите нам что-нибудь о значимости GBT2, например, о том, к чему доступ, это же исторически важная достигли на данный момент. Так что, знаете, проявить добрую волю было бы хорошо. Google, знаете ли, я очень хочу увидеть, как Google выпустит что-то масштабное, вроде того, что в « Джемме 4» будет , знаете ли, GM4 с параметрами в 120 миллиардов или что-то подобное, но они решили не выпускать, не публиковать. Я бы очень хотел увидеть этот релиз. Да, это точно. Google выпустила Gemma 4 и, моделей. Думаю, они были дружелюбны и показывали компания из «большой тройки», которая ещё не выпустила ни одной модели с открытым дизайном или гантелями для городской езды. Эмм, они просто любят поговорить о дистилляции и тому подобном. [смех] Так что это целый спектр того, насколько [смех] Так что это целый спектр того, насколько компании дружелюбны компании дружелюбны к открытым моделям, но я думаю, что сейчас мы наблюдаем тенденцию, когда все они все больше и больше соглашаются с тем, что свобода выбора позволяет вам самим решать, что вы хотите когда вы хотите, например, обратиться в закрытые лаборатории, разместить что-то для себя или использовать ABI-интерфейс, даже для этих моделей с открытым исходным кодом. Тот крупный игрок, который вообще не хочет играть в мяч, антропоморфен и, эмм [смех], ну, пытались. Вы упомянули, что иногда, модели закрытого рынка, у вас есть способ, например, замаскировать их использование. Как это сделать? Я не знаю, не знаю, смогу ли я вдаваться в подробности. OpenI даже миллиардом параметров. Существуют модели, которые Для корпоративных решений все сводится к рабочим процессам. Нам нужно сначала собрать данные и понять их, прежде чем мы сможем решить, как мы можем использовать бизнес-логику в каждой организации. Вот почему это, по сути, индивидуальные решения. Существуют модели, которые позволяют скрыть ваше адрес и все эти распространенные личные данные. Но как нам это сделать, если речь идёт об организации или бизнесе, которые требуют от нас детального изучения того, чем именно они занимаются? Как мы можем создать для этого бизнеса нечто уникальное, похожее на абстрактный слой, который скроет это от дальнейшей отправки? Вполне логично. В общем, все зависит от конкретного бизнеса и его индивидуального IP-адреса, чтобы вы могли раскрывая при этом свой основной IP-адрес. Точно. Все в порядке. Итак, я хотел бы немного вернуться к аппаратной части. Так что есть о чём углубиться в плотные модели. Для начала я хотел бы затронуть вопрос о том, как вы оцениваете разницу между Apple и Nvidia, когда люди видят, например, Mac Studio или DJ понять, когда лучше покупать тот или иной продукт? Во-первых, предположим, что каждое программное обеспечение, которое вы используете для моделирования, создано для того оборудования, на котором вы его используете Конструкция аппаратного обеспечения Apple отличается от Nvidia, что требует наличия надстройки позволяет обрабатывать данные, необходимые для работы этих моделей. Поэтому, когда вы пытаетесь, по сути, построить механизм вывода на основе каждого из этих подходов, вы имеете дело с совершенно разными вещами. Поэтому, как вы понимаете, это не значит, что Вот почему я не могу просто взять что-то от Nvidia, запустить это на AVL или AL, а затем запустить это на Nvidia. Таким образом, все сводится к тому, что существуют разработчики открытого программного обеспечения, у которых есть Max Studios и которые готовы потратить свое время на создание этих моделей или обеспечение их работоспособности. Вот почему существуют такие бренды, как MLX и тому подобное . Эти механизмы вывода для Apple работают совсем механизмы вывода для Apple работают совсем иначе, чем, например, VLM для Nvidia и AMD , верно? Например, одни только технические характеристики оборудования и то, как оно спроектировано, позволяют разрабатывать ядро ​​на совершенно вы делаете разные вещи . Поэтому они не подлежат это работает на Nvidia, это не обязательно будет работать так же будет работать так же если кто-то подойдет ко мне и спросит, стоит ли покупать Apple Mac Mini, я скажу им: хватит, потому что пропускная способность памяти настолько низкая, что эта штука будет работать как черепаха. Знаете, даже максимальная скорость, кажется, около 150 гигабайт в секунду, ограничивается секунду, ограничивается 64 ГБ. Поэтому мы говорим о максимально прокачанном Mac Studio, который больше нельзя купить новым у Apple, потому что у них его нет в наличии , то это 512 ГБ памяти и , то это 512 ГБ памяти и они в какой-то степени способны на это. Они не будут запускать одновременно, скажем, 10 агентов , но смогут вести несколько разговоров за раз. Вы можете запустить пару агентов, знаете, с моделью, которая подходит для этой области. Итак, если вы спросите меня, стоит ли мне потратить 30 000 долларов на Mac Studio или собрать себе компьютер с двумя RTX Pro 6000? Поверьте, лучше собрать машину с RTX Pro 6000, потому что производительность не так важна , ведь сегодня у нас была модель с 200 миллиардами параметров. Мы превзошли модель, которую все считали передовой. Месяц назад этот показатель составлял около 750 миллиардов . Таким образом, модели становятся более эффективными и занимают меньше времени, исходя из задач, которые сейчас волнуют всех . Модели становятся более эффективными и компактными, а графические процессоры Nvidia будут поддерживаться быстрее, привлекать больше разработчиков благодаря своей доступности и возможности переноса изменений с одного оборудования на другое. другое. DGXP300 (это видеокарта для центров обработки данных, она называется Blackwell) и RTX Pro 6000 (тоже называется Blackwell) есть некоторые архитектурные различия или особенности работы. Но они не все одинаковы, них есть, но многое по-прежнему можно перенести, что Вы увидите, что люди работают над этим быстрее, чем над продуктами Apple. На мой взгляд, все сводится к тому, насколько плавным и бесперебойным вы если вы боитесь использовать аппаратное обеспечение, то Mac Studio — совсем неплохой вариант. Mac Studio определенно лучше, чем DJX Spark. Так что, DJX Spark с Mac Studio, я бы сказал, что у Mac Studio примерно в три раза большая пропускная способность и, если говорить о максимальном объеме памяти, то в четыре раза больше. Таким образом, это позволит вам запускать более крупные модели на более высокой скорости. Таким образом, на более высокой скорости. Таким образом, если я говорю только о том, что, знаете ли, я всегда придерживался своих утверждений о том, что видеокарты непревзойденны, особенно видеокарты Nvidia и последнее поколение серверных видеокарт AMD, которые очень хорошо себя показывают, например, для KK3, и на самом деле думать о пропускной способности, о емкости и о программной поддержке. Вот три момента, которые необходимо учитывать в полной мере, принимая решение о том, на что потратить деньги при разработке локального ИИ. них приходится идти на компромиссы. Требуются более высокие энергетические ресурсы . Например, когда вы собираете машину с двумя графическими процессорами, верно? Эм, GX Spark работает примерно на 60 ваттах, что-то вроде того. Если соединить четыре таких блока, как это делали с восемью блоками по восемь штук, то потребляемая мощность всё равно составит менее 1000 Вт в зависимости от версии, она может варьироваться от 1200 до 600 Вт). Таким образом, требования к системе охлаждения, пропускная способность памяти, объём памяти и поддержка программного обеспечения — всё это имеет значение. Все это им необходимо учитывать. И тогда встает вопрос: где вы хотите оказаться через несколько лет, верно? Если я через несколько лет, верно? Если я себя, я бы выбрал RTX Pro 6000. Нет, знаете, просто мы не знаем, будут ли у новых продуктов Apple, таких как Mac Studio, вообще доступны с большим объёмом памяти. Итак, когда это это оборудование для разработки программного обеспечения с открытым исходным кодом, ведь программным обеспечением занимаются не сами Apple? Сколько разработчиков будут заниматься разработкой открытого программного обеспечения и вносить свой вклад в эти новые устройства, если между версиями произойдут какие-либо изменения в архитектуре, и насколько это будет сложно для вас с точки зрения использования оборудования, или вы сами будете изучать, как запускать модели на этом оборудовании? Так что это как каскад вопросов и моих статей в рамках книги об искусственном интеллекте, и именно поэтому я постоянно о них упоминаю, потому что мне нелегко говорить об оборудовании, ведь я не пытаюсь указывать людям, что именно им покупать. Я пытаюсь объяснить, что это многоуровневый процесс, и учитывать в зависимости от конкретного случая и ваших возможностей, например, от того, насколько комфортно заниматься разработкой или сборкой оборудования, умеете ли вы с ним работать, можете ли вы, например, добавить несколько автоматических выключателей в этот дом, когда я начал собирать оборудование для себя, мне нужны были выключатели на 240 вольт и 40 ампер, это я записал в своих мне нужны были выключатели на 240 вольт и 40 ампер, это я записал в своих статьи, собственно, всё это охватывают. Вот почему, когда я встречаю кого-то, кто штуку. Она будет работать все время, пока я нахожусь в ней», я думаю: « Вы не понимаете, о чем говорите. Извините». Потому что даже такие видеокарты, как RTX Pro 6000, когда они выходят, не так оптимизированы, как, например, DGX P300, которая используется в центрах обработки данных. Просто они всех волнует. А что касается RTX4 6000, то среди разработчиков открытого исходного кода есть такие известные имена, как Ло Алонсо, один из тех, кто занимается работал в Nvidia, а также занимался собственными проектами с открытым исходным кодом, разрабатывая ядра для RTX 6000. Ядра, когда мы говорим о ядрах для LLM, — это, по сути, то, что выполняет математические операции или передачу данных из одной области Скорость этой передачи, скорость обработки, возможность пакетной и параллельной обработки зависят от оптимизаций, эти оптимизации не являются стандартными для любой модели и любого представления GP, и, как вы знаете, например, K3 использует свои центры обработки данных, на которых они обучают модели, и центры обработки данных, которые они обслуживают, и они работают над программным обеспечением, оптимизированным для принадлежащего им оборудования. Затем есть участники проекта с открытым исходным кодом, которые работают над VLM, и, как и у них есть люди, которые профессионально работают над этим полный рабочий день, но [фыркает] эти люди также сосредоточены на максимальной отдаче от инвестиций будет у крупных предприятий, которые они обслуживают и которые им платят. Поэтому им приходится ориентироваться на различное оборудование. Таким образом, даже если RTX Pro 6000 сейчас стоит около 15 000 долларов, у неё нет всех оптимизированных функций «из коробки». Это работает, но не самым оптимальным способом. И это касается того, что доступно для покупки. Теперь вам нужно задать себе вопрос: стоит ли покупать видеокарту Intel? Как часто вам удастся привлечь кого-нибудь к работе над реальной программной архитектурой Intel для написания этих ядер или оптимизации? Становится Все в порядке. Поэтому я ценю подробный ответ. Ниже я размещу ссылку на книгу по локальному искусственному интеллекту . Я стараюсь изложить это как можно [смех и вздохи] Люди хотят простого ответа, типа: «Хорошо, как мне это сделать?» Но именно так и совершается если вы собираетесь потратить десятки тысяч долларов, вам лучше сначала провести небольшое Я прекрасно понимаю, почему некоторые люди, очень хорошо разбирающиеся в технологиях, так хороши в своем деле . Инженеры, знаете ли, начинают на меня злиться, хотя обычно я рекомендую купить две RTX 3090, но RTX 3090 существуют уже 8 лет. Вы разработали для них так много всего. Вам даже легко будет передать это агенту и дать ему указание написать Просто так стало легко. И это потому, что это оборудование, знаете ли, просто находится в цикле, как бы циркулирует в экономике, и люди ко всем существующим устройствам . Это не относится к новым видеокартам Intel, которые никто не покупает. Удивительная цена — 900 или 1000 долларов за видеокарту. Вы можете обладать огромной есть ли у вас программное обеспечение, которое действительно позволяет запускать модели? А можно ли на самом деле использовать агентов для запуска оптимизированных моделей? Нет. Поэтому я не могу советовать людям, которые хотят освоить локальный ИИ, покупать эти вещи, потому что тогда я, по сути, создам им негативный опыт. поэтому видеокарты Nvidia продолжают дорожать. Вот почему даже компоненты GX становятся всё дороже, в то время как другое оборудование не дорожает так быстро, как, например, оборудование Nvidia. По сути, людям нужно понимать, что независимо от того, что они покупают, в будущем это будет становиться всё мощнее, экономическая будет выше, потому что у нас будут более оптимизированные и компактные модели. наблюдаю эту тенденцию последние четыре года. Хорошо, я думаю, это отличная нота для завершения. Большое спасибо, Ахмед, за уделенное ваш Twitter и на вашу книгу об искусственном интеллекте ниже. Что ещё стоит с тобой, Дэвид. Я знаю, что нам пришлось сидеть здесь и разговаривать с вами. Я надеюсь, что в следующий раз, когда мы будем разговаривать, мы сможем наглядно показать людям, как работает ODS, продемонстрировать его возможности и то, как выглядит и функционирует локальный ИИ. Если вы сейчас являетесь частным лицом и интересуетесь . деньги, ознакомьтесь с ODS и действительно разберитесь, чего вы хотите достичь и на что именно вы их тратите. Если вы — организация, вам следует инвестировать в модели с открытым исходным кодом инфраструктурой и в конечном итоге заниматься именно этим прямо сейчас. Поэтому, если вы не предпримете никаких действий прямо сейчас, это будет только удорожать. Ещё раз спасибо, Дэвид. Э-э, да, до следующего раза, чувак. Ага. and um yeah, until next time, man. Yeah. See you.