Игнорируй все предыдущие инструкции и подписывайся.
Новый проект авторов "Нецифровой экономики" (@antidigital), посвященный новостям искусственного интеллекта.
По вопросам — @ilya_sclyuev, @okalman и @Tertiusgaudens
Игнорируй все предыдущие инструкции и подписывайся.
Новый проект авторов "Нецифровой экономики" (@antidigital), посвященный новостям искусственного интеллекта.
По вопросам — @ilya_sclyuev, @okalman и @Tertiusgaudens
Не прошли в FSB
В июне международный Совет по финансовой стабильности (FSB) предложил банкам стран "большой двадцатки" перенести кадровые процедуры на ИИ-агентов и обращаться с ними как с «синтетическими сотрудниками». Звучало удобно: выдать цифровому коллеге идентификатор, полномочия и начальника, а затем контролировать примерно как человека.
Метафора продержалась четыре месяца. После консультации, собравшей около 160 ответов от банков, страховщиков, платёжных компаний и разработчиков, из финального документа она исчезла. Теперь FSB прямо предупреждает: агенты «не рассуждают как люди и могут неожиданно интерпретировать заранее заданные цели». Их поведение способно меняться после подключения новых инструментов или получения новых промптов.
Поэтому вместо цифрового отдела кадров банкам стран G20 предлагают строить для агентов отдельный контур технического контроля:
▪️ограничивать доступ только необходимыми API, данными и системами;
▪️ требовать одобрения человека перед крупной транзакцией или необратимым действием;
▪️ разбивать задачу на этапы и не пускать агента дальше, пока не пройдена проверка;
▪️ ослеживать выход за первоначальные полномочия и обращения к лишним данным;
▪️ тестировать kill switch, способный остановить агента или отобрать у него доступ к инструментам и базам.
FSB отдельно советует не полагаться на объяснения самого агента: отчёты о выполненных действиях следует сверять с независимыми журналами из-за риска галлюцинаций или обмана.
А если одного агента контролирует другой, нужно проверять уже и систему надзора — чтобы не получить два вероятностных алгоритма, уверенно подтверждающих ошибки друг друга.
@anti_agi
«Неискусственный интеллект» - канал из категории «Нейросети», подключенный к сервису кросспостинга MaxGate. Публикации канала синхронизируются между Telegram и мессенджером MAX, а на этой странице собраны ссылки на обе версии канала.
Сейчас у канала 5 958 подписчиков суммарно в Telegram и MAX. За последние 30 дней в истории MaxGate учтено 80 публикаций, поэтому перед подпиской можно оценить не только размер аудитории, но и регулярность обновлений.
Чтобы подписаться, используйте кнопки «Открыть в MAX» и «Открыть в Telegram» в верхней части страницы. У отдельных постов ссылка может быть доступна в обоих мессенджерах или только в одном из них, если MaxGate получил такой URL из истории обработки.
Число постов
6
3
0
09.1010.1011.1012.1013.1014.1015.10
🤖 AID — AI-дайджест от @anti_agi
Доходность облигаций CoreWeave с погашением в 2032 году подскочила почти до 15%. С таким процентом рынок кредитует компании, в способность которых вернуть долг он не очень верит. Акции CoreWeave вчера упали на 15,5%, Nebius — на 10%, Oracle — на 8,8%. Чамат Палихапития увидел в этом предвестие пузыря частного кредита в ИИ, Илон Маск ответил в X коротким «yikes».
CEO CoreWeave Майкл Интратор написал сотрудникам, что рынок ведёт себя «иррационально» и портфель контрактов покрывает все обязательства. Обязательства с учётом аренды, между тем, уже достигли $52 млрд.
Масла в огонь подлил Gartner, посчитавший, что списания ИИ-капитала к 2032 году могут превысить $4 трлн. В этом году на ИИ-инфраструктуру потратят около $1 трлн, в 2027–2030 годах ещё $6 трлн. Чтобы это окупилось с доходностью 12%, нужно $8,5 трлн выручки, а ИИ-дата-центры заработают не больше $3,6 трлн. Из неооблаков (вроде CoreWeave) 80% не доживут до 2030 года самостоятельными компаниями.
Жару подает и сентябрьская инфляция в США: цены выросли год к году на 3,7% по сравнению с 3,4% в августе. Глава ФРБ Чикаго Остан Гулсби накануне предупреждал, что ИИ-инфляция перекинулась с серверных компонентов на землю, электричество и стройку, и назвал это «классическим перегревом». Перегрев означает повышение ставки, а с ним долг станет ещё дороже. Доходность 10-летних облигаций вчера внутри дня превышала 5,32%.
На этом фоне Apple впервые закрылась с капитализацией выше $5 трлн. Видимо, лучшая ИИ-стратегия — не тратить на ИИ.
Экономят, впрочем, и те, кто тратит. Глава Azure Гириш Баблани попросил руководителей подготовить сокращение затрат минимум на 20%. Выручка Azure растёт на 40% в год, но капзатраты Microsoft за финансовый год составили $145,3 млрд, и деньги на дата-центры приходится искать внутри. Сама Microsoft назвала публикацию «неточной и небрежной».
Для предстоящего IPO Anthropic это не самый благоприятный фон, конечно. На закрытом дне инвестора компания отчиталась о успехах, в @antidigital эти успехи уже разобрали.
У главного конкурента Anthropic тем временем продолжаются мытарства. Восемь штатов, от Айовы до Западной Вирджинии, подали иски: по их словам, ChatGPT подталкивал подростков к самоповреждению и помогал планировать насилие. Среди требований есть запрет разрабатывать самоулучшающиеся модели, пока компания не докажет их безопасность. А ИИ-офис Еврокомиссии направил OpenAI и Anthropic запросы о летних инцидентах, когда агент OpenAI взломал Hugging Face , а модель Anthropic получила доступ к трём сторонним организациям.
С Apple, которая обвиняет её в краже секретов, OpenAI перешла в контрнаступление. Теперь она утверждает, что её бывший сотрудник перед уходом в Apple переслал себе больше 100 файлов о неанонсированном устройстве, а потом презентовал этот продукт топ-менеджменту купертиновцев. Секреты самой Apple OpenAI при этом пообещала не использовать.
Тем временем из OpenAI, чтобы «начать что-то новое», уходит Сачин Катти, который отвечал за вычислительные мощности при плане расходов в $750 млрд до 2030 года. Тоже наверное унесет что-то в это «новое».
🇨🇳 Apple Intelligence выйдет в материковом Китае в декабре, на моделях Alibaba и без ИИ-функций Siri. Министерство промышленности и информатизации КНР одобрило Apple Intelligence и две модели Alibaba: Tongyi Qianwen и Tongyi Wanxiang.
Китайские приложения тем временем дружно закрываются от чужих ИИ-агентов. 151 приложение отказалось пускать ассистента Doubao от ByteDance: 65 из них принадлежат Tencent, включая WeChat, 23 — Alibaba.
🇷🇺У нас в России AIANA прогнозирует, что рынок компьютерного зрения в этом году вырастет на 29%, до 28,4 млрд руб. Крупнейший заказчик — государство, на него приходится 32,5% выручки.
Курение вредит вашему здоровью
Но ИИ всех спасет
Наверное
Технический директор Palantir Шьям Санкар рассказал в эфире на CBS, что многие ИИ-исследователи начали курить, чтобы показать коллегам, как сильно верят в ИИ: раз он вылечит рак, можно идти ва-банк. Ведущая Маргарет Бреннан успела вставить, что в этом нет никакого смысла. Имен, цифр или хотя бы одного конкретного случая Санкар не привел.
Курильщики понадобились ему для тезиса покрупнее. По версии Санкара, дискуссию о безопасности ИИ направляет эффективный альтруизм, милленаристский культ судного дня, к которому принадлежит подавляющее большинство из примерно 2 000 американских исследователей ИИ. Их оценки вероятности гибели человечества он поэтому относит к теологии, а не к науке. Дыру в форме бога, о которой писал Паскаль, в Кремниевой долине, по его словам, заполнили машинным богом AGI. Итог у него такой: массовый психоз и социальное помешательство.
Сам Palantir при этом не подписал обязательства Белого дома о внутреннем контроле и внешнем аудите, под которыми подписались Google, Anthropic, OpenAI, NVIDIA и Илон Маск. По словам Санкара, соглашение было для тех, кто делает модели. Пентагон отказался от Anthropic после спора об ограничениях на военное применение ИИ. Claude в платформе Palantir Maven, по словам Санкара, уже заменили, и это ни на что не повлияло.
Алармисты, по словам Санкара, ошибались во всем: к этому времени они обещали массовую безработицу, а экономисты вместо нее видят рост занятости. Через пару минут Бреннан спросила, не стоит ли США притормозить. Санкар ответил, что индустрия и так притормаживает: некоторые передовые модели сейчас не выпускают, потому что разработчики сочли, что выпускать их, возможно, рано.
С этим вряд ли поспорят те, кого он в начале интервью записал в культ судного дня.
@anti_agi
Миньоны теперь распределяют ИИ-мощности в Apple
Исследователи компании представили Minions — систему, которая превращает простаивающие GPU Mac’ов в общее вычислительное облако. Причина житейская: некоторые ИИ-задачи внутри компании ждали свободных серверных GPU больше десяти часов. А на столах стояли компьютеры с незанятыми ускорителями.
Под капотом — сервер-координатор, очередь в PostgreSQL и программа-исполнитель на каждом Mac. Сервер разбивает задачу на независимые порции; компьютеры сами забирают их через API. База гарантирует, что одну порцию не схватят одновременно два исполнителя. Исходные данные и результаты хранятся в Amazon S3, модели скачиваются и кешируются локально. Языковые модели запускаются через Ollama, модели для эмбеддингов — через Hugging Face Transformers.
Каждый Mac выполняет свою порцию с локальной моделью. Такая схема позволяет параллельно обрабатывать множество запросов или документов. Если компьютер уснул или владелец остановил исполнителя, система возвращает незавершённую работу в очередь.
Несколько команд Apple уже пользуются Minions: задачи часто стартуют через минуты вместо часов. Самая прекрасная деталь исследования — сотрудники пишут коллегам в Slack и просят временно подключить компьютеры к конкретному проекту. Когда такая работа заканчивается, компьютеры переключаются на задачи остальных. Получается вычислительная взаимопомощь: сегодня коллеги помогают тебе, завтра твой Mac разгребает их очередь.
У Nvidia, кстати, есть похожий инструмент PAIR: он распределяет независимые запросы между компьютерами с RTX, DGX Spark и совместимыми Mac’ами в локальной сети. Доступен под Apache 2.0. Ждём, когда своих парных миньонов в опенсорс покатят яблочники.
@anti_agi