Без $100 ярдов в ИИ теперь делать нечего. В гонке ИИ-лидеров могут выиграть лишь большие батальоны.
Только за последние недели было объявлено, что по $100 ярдов инвестируют в железо для ИИ Microsoft, Intel, SoftBank и MGX (новый инвестфонд в Абу-Даби).
А на этой неделе, наконец, сказал свое слово и Google. Причем было сказано не просто о вступлении в ИИ-гонку ценой в $100 ярдов, а о намерении ее выиграть, собрав еще бОльшие батальоны — инвестировав больше $100 ярдов.
Гендир Google DeepMind Демис Хассабис сказал:
• «… я думаю, что со временем мы инвестируем больше»
• «Alphabet Inc. обладает превосходной вычислительной мощностью по сравнению с конкурентами, включая Microsoft»
• «… у Google было и остается больше всего компьютеров»
Так что в «железе» Google не собирается уступать никому, а в алгоритмах, — тем более.
Что тут же получило подтверждение в опубликованном Google алгоритме «Бесконечного внимания», позволяющего трансформерным LLM на «железе» c ограниченной производительностью и размером памяти эффективно обрабатывать контекст бесконечного размера.
Такое масштабирование может в ближней перспективе дать ИИ возможность стать воистину всезнающим. Т.е. способным анализировать и обобщать контекст просто немеряного размера.
Так и видится кейс, когда на вход модели подадут все накопленные человечеством знания, например, по физике и попросят ее сказать, чего в этих знаниях не хватает.
Vkontakte
Twitter
Одноклассники
