Чай для программиста

[bowhill]

Предыдущее обсуждение получается интересным, так что я позволю себе ещё пару вопросов.

Представим себе, что в процессе развития ИИ появились новые средства: инструменты, библиотеки, фреймворки, API и даже языки программирования – существенно более удобные именно для моделей, но не слишком доступные и понятные для людей. Модели – это всё-таки компьютерные системы.

И помимо того, что эти новые средства для моделей более удобные и быстрые, они также получаются и более дешёвыми для заказчика – абстрактно предположим, что на 25-50%.

1. Какой, на ваш взгляд, тогда будет пропорция использования традиционных и новых средств?
2. И о динамике – какие средства будут лучше и быстрее развиваться?

Comments

[1master]

Ты пытаешься спросить будет ли байткод и сборщики мусора быстрее развиваться.

[bowhill]

Я не пытаюсь – и вопросы таковы, каковы они есть.

Про предложенной же теме – не уверен, что понадобится именно байт-код и совсем не уверен, что сборщики мусора.

[1master]

Моя реплика является ответом на твои вопросы.

А самое смешное, что и байткод и сборщики мусора.

[sab123]

Ну, кстати, с освобождением ресурсов у ИИ туговато. Забывает-с. Но тут, наверное, scope-based и reference counting ничуть не хуже сборщиков мусора.

[sab123]

Да, я думаю, что такие языки будут развиваться. Но тут есть некая прелесть: инструкции для ИИ человеко-читаемые, и с тем же успехом полезны для людей. Так что я думаю, что и языки не будут нечитаемыми.

Я вижу другую проблему: ИИ позволяет легко брут-форсить вещи, которые по уму делать не надо, которые надо заменять абстракциями, которые сделают эти вещи компактными и простыми для понимания. Проблема с чтением написанного ИИ не в том, что его сложно читать, а в том, что ИИ способен легко написать большое количество текста для довольно простых вещей, и его утомительно читать просто по объему.

[beldmit]

Я рассматриваю ИИ как компиляторы высокоуровневого языка. Несколько необычные, но тем не менее.

1. Новые будут использоваться интенсивнее
2. Новые будут быстрее развиваться, потом у логистической кривой случится перегиб. Я надеюсь, что у старых останется ниша, достаточная для моего существования как профессионала.

[bowhill]

Я бы тогда добавил к постановке, что сейчас у нас сравнительно мало прямых взаимодействий между моделями, что может измениться, а во-вторых, порождение новых семантических сущностей и связей в трансформерах пока искусственно ограничено – категория собеседников сейчас одна.

Летающие крокодильчики

[bowhill]

Ну, в буквальном смысле, освобождение ресурсов – это, скорее, как раз уровни кодирования и компиляции. Да и вообще, многие подсластители и подпорки могут стать неактуальными.

Что же касается reference counting, то здесь пока плохо по дизайну: говорит хорошо – учитывает не очень и это один из источников slop. Но может быть, это и можно будет как-либо улучшить специализированным обучением. Те же поиски дыр – примерно в этой области.

[bowhill]

Да, это интересно. Основное, что меня в этом смущает – недетерминистичность. Для компилятора это не очень хорошо.

[ak_47]

В какой-то степени мы это уже наблюдаем. Например, раньше каждый запрос уходил в модель. Сейчас ИИ клиенты используют локальную память, чтобы уменьшить количество запросов и потраченных токенов. Такой вот сборщик мусора наоборот; накапливает мусор локально.

Пропорции не возьмусь предсказывать. Предыдущий опыт предлагает посмотреть на языки программирования. Как языки более "удобные" вытеснили менее удобные, но не убили. У каждого своя ниша.

Насчёт динамики, если не будет монополии (или олигополии), то будет гонка за эффективность. Например, модель без локальной памяти будет просто нерентабельна для производителя.

При этом сейчас бурно развивается железо. Даже в телефонах теперь стоит "AI chip". Сейчас это скорее маркетинг, чем что-то полезное. Но возможно что в будущем на локальные чипы переложат часть работы.