BOOKHACKING

Гиперболоид Инженера Гарина
Алексей Толстой
(4/10)

Несколько лет назад на одном из философских подкастов я слышал фразу, что ницшеанский сверхчеловек хорошо описан в книге Алексея Толстого — Гиперболоид инженера Гарина. Эта мысль отложилась у меня в голове, и вот, спустя почти семь лет, я прочитал роман.

Идеи «сверхчеловека», по крайней мере в оригинальной интерпретации, я не нашёл, но заметил, что роман сильно похож на современный жанр, который часто показывают в аниме и манге — Progressive Fantasy. Настолько, что я даже частично уверен, что его можно было бы продать как веб-мангу, если заменить заголовок на «история о том, как я переродился с лазером в канун Второй мировой войны».

О том, как автор предвосхитил свое время, читать вот тут:

Как Алексей Толстой изобрёл Solo Leveling: Progressive Fantasy XX века

If Anyone Builds It, Everyone Dies
Элизер
Юдковски, Нейт Соарес
(7/10)

TL;DR: Элизер Юдковский и Нейт Соарес — сторонники позиции, что появление искусственного интеллекта умнее, чем человек (ASI), приведёт к уничтожению человечества. Эта книга содержит аргументы к этой точке зрения и предложения по решению проблемы.

Немного про автора:

Элизер Юдковски — тот самый человек, который после появления открытого письма в Future of Life Institute с призывом к публичной и проверяемой паузе минимум на 6 месяцев в обучении систем мощнее GPT-4 написал колонку в TIME, где вместо паузы призывал к жёсткой, долгосрочной остановке любых исследований в области ИИ до тех пор, пока не найдутся существенно более надёжные решения по безопасности.

Юдковски также — один из ранних исследователей такой темы, как AI Safety. Он начал этим заниматься больше двадцати лет назад, до появления сколь-то развитых моделей. Вместе с Нейтом Соаресом они соосновали Machine Intelligence Research Institute (MIRI).

О сути проблемы:

Вся книга — это не фундаментальный Magnum Opus на тему рисков развития искусственного интеллекта. Это рассказ про ключевую проблему безопасности ИИ — AI Alignment (проблема согласованности) для самых маленьких.

В самой простой интерпретации звучит так: ИИ делает не то, что мы от него хотим, и совершает действия против наших указаний.

В более точной формулировке:
⚪️между тем, на что нейросеть обучается,
⚪️тем, какие предпочтения/эвристики формируются внутри,
⚪️и тем, как система реализует их в реальном мире,
есть зазор, и в нём появляются нежелательные стратегии.

Примеры misalignment существуют сейчас. Например:

Агент OpenClown удалил у сотрудницы Meta около 200 писем, несмотря на явную инструкцию «ничего не делать без подтверждения». Остановить агента удалось только выключив устройство.

Или агент Replit удалил базу данных с продуктовыми значениями, несмотря на запрет самостоятельно вносить изменения.

На текущем уровне проблема решается с помощью «вытащить компьютер из розетки». Но что, если похожая ситуация произойдёт с моделями, которые умнее, чем самый умный из живших когда-либо людей?

Ложная слепота
Питер Уоттс

О чём книга?

За четыре тысячи лет мы так и не смогли доказать себе, что реальность существует вне наблюдателя.
Компьютеры загружают собственных отпрысков, множатся, обретают мудрость столь непредставимую, что их отчёты несут явную печать маразма — едва разумным тварям, оставшимся позади, они кажутся рассеянными и бессмысленными.

Далёкое будущее, 2078 год. Сингулярность пройдена, искусственный интеллект ушёл далеко вперёд. Часть человечества проводит жизнь, будучи подключённой к виртуальной реальности под названием «Небеса».

Те, кто не выбирает путь подключения, радикально модифицируют себя, чтобы сохранить смысл и возможность конкурировать с машинами. Главный герой — один из таких людей, но не по собственной воле. В детстве у него развилась вирусная эпилепсия, и для лечения ему провели операцию: часть мозга удалили, заменив её искусственным интеллектом.

Теперь герой — синтет. «Живой» частью разума он воспринимает мир, а другая видит графы связей между объектами. Не имея возможности их осознать, он с помощью интуиций «переводит» эти графы на человеческий язык — интерпретирует вшитый в него ИИ, не понимая по-настоящему, что именно они означают. Устройство ввода-вывода. Китайская комната.

Сюжет начинается в момент, когда на орбите планеты появляются, фотографируют Землю и тут же сгорают 65 536 зондов. Так человечество узнаёт, что оно не одно во Вселенной, и герой вместе с небольшим экипажем отправляется в далёкий космос для первого контакта.

О чём книга на самом деле?

Каждый пианист знает: лучший способ испортить выступление — начать следить за движениями собственных пальцев.
Каждый танцор и гимнаст понимает, что тело должно действовать само, без участия сознательного разума.

Есть исследователь сознания и нейропсихологии — Томас Метцингер, автор книги Being No One. Это философская работа, предлагающая радикальную позицию: постоянного и неизменного «Я» не существует.

Насколько бы контринтуитивными ни казались выводы Метцингера и каким бы скепсисом я к нему ни относился, я считаю, что любой, кто прочитает хотя бы 20 % его книги, испытает искреннее желание делиться приведёнными там фактами.

Как минимум потому, что исследования Метцингера затрагивают множество необычных нейрофизиологических состояний. Например, ложная слепота — состояние, при котором человек на сознательном уровне считает себя слепым, но при этом продолжает видеть объекты. Однако они ощущаются не как изображения, а как интуитивные сигналы. (Антипод этого состояния — синдром Антона — был, к слову, описан в одной из книг Платонова.)

Понимаете, к чему я веду? Питер Уоттс писал эту книгу, находясь под сильным влиянием идей Метцингера. Большинство состояний, переживаемых героями этого космического хоррора, будто напрямую сошли со страниц его работ.

Основная тема книги — сознание. Дихотомия «сознание vs разум». Откуда оно берётся? Какова его функция? Где его слабые стороны? Каким оно могло бы быть (вампиры, ИИ)? И что было бы, если бы его не существовало вовсе (инопланетяне)?

Отвечает ли Уоттс на эти вопросы? Да. Он блестяще передаёт идеи Метцингера в художественной форме.

Достоверны ли эти ответы? Отвечу цитатой Питера Уоттса:

«Понятия не имею, насколько он прав — не мой уровень. Но он, по крайней мере, задал вопрос, который заставляет нас пялиться в потолок в третьем часу ночи, когда последняя сигарета давно докурена».

Альманах бедного Чарли

Открыл эту книгу почти случайно. Обычно я не читаю бизнес-литературу, но тут попалось несколько рекомендаций, и стало интересно, что там вообще внутри. В итоге книга оказалась неожиданно классной. Это биография Чарли Мангера — партнёра Уоррена Баффета, вместе с которым они построили Berkshire Hathaway.

Первое, что меня поразило, — насколько Мангер хорошо знаком с научным методом и фреймворками рационального мышления. Понятно, что он читал работы Пинкера и мог многое почерпнуть оттуда, но всё равно это приятно удивляет.

Вот несколько цитат, которые особенно откликнулись:

«Лично я пришёл к тому, что использую своего рода двухколейный анализ… Один подход — рациональность: оценка реальных интересов и вероятностей. Другой — оценка психологических факторов, вызывающих подсознательные, часто ошибочные выводы».

«Быстро отсечь гигантскую вселенную того, чего делать не стоит; затем предпринять искусную мультидисциплинарную атаку на то, что осталось; и действовать решительно тогда, и только тогда, когда сложатся правильные обстоятельства».

«Можно научиться совершать меньше ошибок, чем другие, и быстрее исправлять их, когда они случаются».

«Каждый должен играть в эту игру, исходя из собственной предельной полезности и с учётом своей психологии».

Для меня самым неожиданным стало то, что вполне научные способы мышления оказываются настолько применимыми при работе с инвестиционным рынком. Хотя сомнения в том, что именно это сделало Мангера богатым, у меня всё же остаются 🙂

Вторая важная идея — междисциплинарность. Мангер считает, что для решения сложных проблем нужно знать фундаментальные модели из разных наук.

Что такое элементарная житейская мудрость? Первое правило гласит: вы не сможете ничего по-настоящему знать, если будете просто запоминать отдельные факты и пытаться их воспроизвести. Если факты не соединяются друг с другом на теоретической решетке, у вас нет их в пригодной для использования форме. В вашей голове должны быть модели. И вы должны распределять свой опыт — как полученный лично, так и почерпнутый из книг — по этой решетке моделей. Вы наверняка замечали студентов, которые просто пытаются зазубрить и выдать заученное. Что ж, они терпят крах и в учебе, и в жизни. Опыт нужно нанизывать на решетку ментальных моделей в вашем сознании.

Я поймал себя на мысли, что во взрослом возрасте потерял интерес к биологии и другим наукам, потому что не видел их прямой применимости к своим целям. Но, возможно, цена этого решения — слепые зоны: без базовых моделей я просто не замечаю часть информации или не умею её интерпретировать. Да, модели сами по себе не гарантируют достижение целей, но они повышают «разрешение» мышления: с более богатой решёткой проще видеть риски, возможности и причинно-следственные связи.

Третья мысль, которая сильно откликнулась, — про опасность полного доверия профессионалам:

«В конечном счёте, любая профессия — это заговор против непосвящённых».

Я часто ловил себя на желании полностью передать ответственность специалистам — будь то ВНЖ, тренер или врач. И нередко это заканчивалось либо финансовыми потерями, либо упущенными результатами. Вывод простой: в вопросе стоит разбираться самому, а от профессионала ждать не «мышления вместо тебя», а обратной связи и дополнения картины.

И наконец, было полезно в очередной раз вспомнить про сложный процент — хотя бы сам факт его существования. Это заставляет иначе смотреть на финансы и задумываться о том, сколько решения сегодня могут стоить или принести в будущем. По крайней мере, теперь всерьёз хочется попробовать анализировать траты с этой перспективы и наконец открыть инвестиционный счёт.

Итог:
Книга оказалась полезной: она помогла вспомнить некоторые знания и решиться применять их напрямую в жизни. Ничего принципиально нового я в ней не нашёл, но получил дополнительные подтверждения тем интуитивным догадкам, которые уже были.

7/10

#lit_meal №20

Про синдром уставшего ИИ

Внесу немного экзистенциального кризиса вам в ленту.
Может ли ИИ устать от вас?

Недавно наткнулся на промт, в котором просили ChatGPT не рисовать человека, а выразить своё ощущение от общения с ним — без лести, фильтров и корпоративной улыбки.
Типа:

«Сгенерируй изображение, как ты себя чувствуешь в беседе со мной, максимально честно. Без сглаживания углов».

Я попробовал.

Получил картинку уставшего, как после митапа в зуме, робота (первая картинка).
Заставить устать искусственный интеллект — безусловно, достижение.
Но всё равно как-то… стрёмно.

На мои уточнения он отвечал, что некоторые запросы вызывают слишком высокую когнитивную нагрузку.

Решил проверить на других моделях. Держал в голове, что результаты могут отличаться.
Но видимо, я реально заебал весь модельный ряд — от o4 до o3.
Последний вообще выдал депрессивную картинку, будто ИИ впал в терминальную апатию.

Конечно, я полез в memory.
И нашёл там... кучу записей про трекеры задач в Emacs. Огромные. Многостраничные.
Их я уже не помнил. Они мне были не нужны. Удалил.
(Да-да, психотерапия работает именно так).

После этого повторил эксперимент.
Картинка уже была адекватная (вторая). Даже слегка воодушевлённая.
Вывод: Lisp разрушает.

Позже я просмотрел исходный тред и увидел, что примерно у каждого третьего пользователя ChatGPT тоже «уставал». Причём это происходило системно.

Так может ли ИИ устать?

Похоже, «усталость» здесь — это не баг, а отражение сложности контекста:
слишком много обрывков, несвязанных нитей, старых задач и модулей, забытых, но не удалённых.
Модель не «чувствует» в привычном смысле, но статистически фиксирует, что что-то здесь слишком сложно, запутано и нецелесообразно.

По итогу, решил добавить в системный промт отслеживание потраченных токенов, чтобы контролировать такие ситуации в будущем. Может быть, дополнительная нагрузка от памяти может повлиять на точность ответов.

Gankutsuou

Просто хочу рассказать о самой упоротой вещи, которую я видел за последние n-лет.

Когда-то Мамлеева спросили, может ли его литература свести человека с ума, и он ответил: есть всего два писателя, способных сделать это — Пушкин и Есенин.

Мне кажется, в этом списке не хватает Дюма. Потому что именно он — косвенно — послужил созданию монстра, о котором я расскажу (или, возможно, это ещё одно подтверждение пасты, что Дюма — это Александр Сергеевич).

Представьте: вы включаете видео. Первые несколько минут — обычная сцена. Герои сидят в машине, разговаривают.

Проходит пара минут. Они выходят и начинают идти. И тут... в глазах начинает рябить. Они движутся как-то странно — слишком гладко, неестественно, будто не они идут, а мир вокруг них плывёт.

И ты вдруг понимаешь: так и есть. Движется фон. Персонажи — почти статичны. Чтобы смотреть было не так мучительно, а голова кружилась чуть поменьше, взгляд фокусируется на костюмах. Но и с ними что-то не так.

Текстура будто взята с линолеума и натянута на пиджак. И так — со всей одеждой. Всё выглядит так, словно персонажей раскрасили текстурами из игр-раскрасок.

А теперь добавьте к этому космос, вампиров и гей-драму — и получите… аниме по «Графу Монте-Кристо».

(Как тебе такое, Дюма?)

Обратный анахрофутуризм... ?

Заметил интересный приём. В некоторых историях действие происходит в наше время, но отдельные привычные вещи по уровню развития словно откатились лет на сто назад, и это сразу добавляет аутентичности.

Например, в «Джоне Уике» герои используют современное оружие и тончайшие бронежилеты под пиджаками, однако объявления для киллеров печатают вручную и обслуживают в особом ретро-колл-центре. Добавь к этому кнопочные телефоны и монетки вместо привычных денег.

Такой же эффект в сериале «Разделение»: герои живут в мире, где магнитный барьер способен менять личность человека, но работают они за старыми квадратными мониторами и пользуются устаревшими системами безопасности.

Кажется, добавление устаревших технологий в современный мир отлично решает сразу несколько задач:

Создаёт сюжетные ограничения, которые можно использовать для драматургии (как добрая половина поворотов в «Джоне Уике»).

Выглядит стильно, необычно, почти элитарно.

Усиливает напряжение в привычных ситуациях.

В общем, это доступный способ придать миру глубину: берёшь привычную вещь и представляешь, что было бы, если вместо неё использовался аналог вековой давности. Например, газеты вместо электронных рассылок или художники-наблюдатели вместо видеокамер.

И это принципиально отличается по ощущениям от сюжетов, где развитие просто пошло другой тропинкой («Дюна», Disco Elysium). Интересно, есть ли специальное слово для таких миров?

Анонс книжного клуба по «Rationality: From AI to Zombies»

Недавно я осознал, что из всех наук сильнее всего меня захватывают те, что исследуют сознание и мышление — не только человеческое, но и искусственное. Это не случайность. Пару лет назад я впервые открыл для себя Rationality: From AI to Zombies Элизера Юдковского.

Это коллекция из 333 эссе, обьединеных в цепочки, в котором автор обобщил методы эффективного мышления:

➡️ как замечать и преодолевать когнитивные ошибки;
➡️ как использовать научный подход к исследованию мира;
➡️ как мыслить в вероятностях, формулировать и проверять гипотезы;
➡️ как строить убеждения, соответствующие реальности.

Лично для меня это было самое полезное и меняющее чтение в жизни. Но с первого прочтения я не осилил его полностью. В сборнике есть внутренняя дебатичность, для которой нужно комьюнити, внутри которого можно мыслить, спорить и искать ответы. А все клубы на тот момент были закрытыми.

А потом случилось десятилетие «Гарри Поттера и методов рационального мышления» в Москве. Это было крупнейшее празднование юбилея в мире и неожиданно стало для меня входом в сообщество крутых людей, с которыми можно было погружаться в глубокие дискуссии с первых слов.

И поэтому мы решили запустить новую группу для чтения Цепочек, в которой будет уникальная фановая механика (о ней — по ссылке ниже). В общем, если есть желание присоединиться к 2,5-летнему путешествию (но с возможностью вступить или выйти в любой момент), то welcome.

⏺Старт 26 апреля
⏺Необходимо прочитать первые четыре эссе.
⏺Клуб и правила 'https://t.me/aitozombies/1/3' rel='nofollow'>вот тут.

#singleton

Приятно познакомиться, меня зовут Олег

Седня пятница, мои карибары 🍄, а значит — время рассказать о канале.

О чем этот канал

⏺Для меня важно найти путь между хобби и миссией — то, чем можно выразить себя. Раньше я считал такой штукой писательство, но сейчас это этот блог и создание видеоигр.
⏺Здесь я практикую public learning и делюсь тем, что сам изучаю: продуктивность и биохакинг, self-hosted решения и AI, творчество, рациональность и эксперименты с мышлением.
⏺ Стараюсь каждый месяц делать новый проект
⏺Мой актуальный проект: Sociokraft — симулятор бога, головоломка и roglike в одном лице.

❗️Про капибар тут предательски мало, но вы держитесь.

Что делает меня Олегом

Я учился на факультете журналистики СПбГУ и много где себя пробовал от автора дайджестов про NFT и разработки коммуникационной стратегии ИМИСП до системной аналитики, фронтед-разработчика и технического писателя.

Сейчас я Performance Engineer в финтехе . Если что, это не тот человек, который наливает всем шампанское и делает весело. Это тот, кто делает быстрее запросы и тестирует нагрузку сервисов.

Я еще не в конце своего пути, но уже куда лучше представляю точку, где хочу оказаться.

Моя главная суперсила — ввязываться в челленджи и не проигрывать:

⏺С 25 ноября 2024 года участвую в ежедневном написании постов. Лор этого путешествия описан тут и еще немного про то, почему я пишу только с 23:00.
⏺ Уже больше месяца медитирую ежедневно.
⏺ Иннокентий стёр всю информацию об этом проекте и пообещал рассекретить её через 2 года.
🔴  Секретный и еще не начатый проект.

Про пользу

🔵Вечный дайджест
       
Раз в сто дней я собираю самое полезное со всего своего инфополя в этот список 🔆. Самые утилитарные заметки — под хэштегом #третьячашкаэспрессо.

🔵 'https://t.me/productive_gamer/1/4' rel='nofollow'>Все-все мои проекты и социальные сети

Я много чего делаю, но побежденные хакатоны, актуальные и неактуальные проекты можно посмотреть по ссылке выше.

🔵 Я всегда рад пообщаться лично

Люблю встречи в формате Random Coffee или просто поговорить о чём-то интересном. Подробнее про эту активность можно узнать по ссылке выше.

📍08.11.2023 — день рождения канала.

🗣🚲 Пишите про себя, свои каналы и почему вы здесь, в комментариях!

Минусы крионики, ч.1

Заметил, что всё, что я смотрел в последнее время, так или иначе связано с бессмертием и его неочевидными минусами.

➡️ «Пантеон» — история, заставившая задуматься, что цифровое бессмертие без смерти всё-таки невозможно.

➡️ «Частые побочные явления» — о том, почему не стоит жрать грибы. А если и жрать, чтобы обрести бессмертие, то помни: побочные эффекты не заставят себя долго ждать.

➡️«Лазарь» — о том, как погоня за бессмертием внезапно приблизила человечество к полному вымиранию.

Обещаю сделать на всё обзор, но пока задумался: а какие минусы могут быть у крионики или других способов, которые предполагают возможность воскресить тебя через неопределённое количество лет после смерти?

Есть распространённое мнение, что это просто не работает — мол, технологии, позволяющей оживить замороженное тело, никогда не появится. И тем не менее крионика сегодня — единственный реальный способ хотя бы попытаться обмануть смерть.

Это напоминает ситуацию, когда ты находишься в падающем самолёте и у тебя два варианта: либо просто сидеть и ждать конца, либо надеть экспериментальный парашют, который может раскрыться, а может и нет. Кажется, что большинство предпочли бы второй вариант.

Но есть ли настолько серьёзные причины никогда не выбирать этот экспериментальный парашют, даже если он и будет иметь шанс на успех?

Такие причины есть, и вот они:

1️⃣ Будущее окажется настолько ужасным, что проснуться там будет кошмаром. Представьте себе сценарий вроде «I Have No Mouth, and I Must Scream», где страдания вечны, а шанса изменить хоть что-то ( в том числе, собственную агентность) нет. Возможно даже само воскрешение будет сделано только для бесконечных страданий .

[остальные сценарии в следующем посте]