Будущее принадлежит каждому

[Alpha Centauri]

Будущее принадлежит каждому (Марк Цукерберг).

Путь к позитивному будущему искусственного интеллекта

Нам посчастливилось жить в невероятный момент истории. В ближайшие несколько лет люди смогут использовать сверхинтеллект, превосходящий человеческие возможности, для создания и открытия чего-то необыкновенного, построения новых предприятий, выражения новых идей, изучения новых концепций и улучшения нашего здоровья и качества жизни. По мере приближения к этому моменту важно разработать философию того, как мы можем наилучшим образом использовать сверхинтеллект, чтобы обеспечить его улучшение для всех нас: жизни, работы, сообществ, свободы и безопасности. Ключевые вопросы нашего времени: кто получит доступ к сверхинтеллекту и на что мы его направим? Будет ли он централизован и доступен лишь немногим учреждениям, или же это будет инструмент, расширяющий возможности каждого? Мы предлагаем философию, основанную на расширении прав и возможностей личности как источнике процветания, изобретениях как основной цели сверхинтеллекта и балансе сил как основе безопасности. Все новые технологии создают возможности и создают проблемы. Сверхинтеллект станет одной из важнейших технологий в истории, поэтому возможности и проблемы, связанные с ним, вероятно, будут масштабнее, чем любые другие, с которыми мы сталкивались за свою жизнь. Мы должны отнестись к этому очень серьезно. Тем не менее, удивительно, что дискурс многих разработчиков ИИ настолько полон пессимизма. Я не понимаю, почему кто-либо, кто верит, что ИИ уничтожит большинство рабочих мест и значительную часть значимости человечества, спешит строить такое будущее. Представление о том, что ИИ настолько опасен, что единственный безопасный путь — это крайняя концентрация власти, кажется в корне проблематичным. Исторически сложилось так, что надежда на то, что абсолютная власть благосклонно позаботится о человечестве, если оно будет достаточно просвещенным, не приводила к безопасным или позитивным результатам. Человечество стало свидетелем множества трансформационных достижений. Каждый раз возникал страх, что люди останутся позади. Но каждый раз человечество добивалось того, чтобы больше людей разделяли большее процветание, здоровье и свободу. Мы верим, что это будет справедливо и для искусственного интеллекта, и что изобилие будущего может быть доступно каждому. Мы также считаем, что ценности, которые привели нас к этому моменту — такие как свобода, открытое исследование, свободное предпринимательство и равные возможности — являются правильными ценностями для построения позитивного будущего. Предоставление людям возможности самостоятельно реализовывать свои стремления – вот путь, благодаря которому человечество добилось наибольшего прогресса.

Новые идеи и значительные шаги вперед редко возникают только в рамках существующих институтов. Они пришли от братьев в велосипедной мастерской, которые верили, что люди могут летать, от ученика переплетчика без образования, который придумал, как генерировать электричество, и от парня в гараже, который считал, что персональные компьютеры могут быть доступны каждому. Мы верим, что это будет оставаться правдой и впредь. По мере того, как каждый получает более мощные инструменты, каждый человек становится более способным формировать будущее, а не менее. Наибольший вклад сверхинтеллекта будет заключаться в изобретениях, а не в автоматизации. На ранних этапах ИИ мог отвечать на вопросы и выполнять рутинную работу. Вскоре он будет все чаще помогать открывать новые знания — от открытия новых лекарств для лечения болезни члена семьи до поиска новых способов улучшения вашего бизнеса. Хотя количество вопросов, которые человек может задать за день, ограничено, количество ценных вещей, которые сверхинтеллект может изобрести для достижения ваших целей, неограничено. По мере роста доступности интеллекта важнейшим вопросом станет то, как мы будем им управлять. Некоторые утверждают, что сверхинтеллект сам по себе или небольшая группа экспертов, контролирующих его, должны решать, что лучше для человечества. Мы с этим не согласны. История демократии и экономики показала, данных, учителя в этом году получили премию в размере 50 000 долларов благодаря увеличению налоговых поступлений от наших инвестиций. Суперинтендант сказал нам, что учителя теперь переезжают туда со всей страны, и он считает, что это станет одним из лучших школьных округов страны. В отличие от опасений по поводу вытеснения рабочих мест, требующих интеллектуального труда, существует нехватка квалифицированных специалистов, таких как плотники, электрики и строители, для удовлетворения спроса на развитие инфраструктуры.

Компания Meta создала Американскую академию трудовых ресурсов, чтобы обеспечить бесплатное обучение квалифицированных специалистов и гарантированные высокооплачиваемые рабочие места в районах, где строятся центры обработки данных. Мы помогаем поддерживать низкие цены на электроэнергию, строя собственную инфраструктуру для выработки энергии в тех местах, где инвестируем. Это гарантирует, что мы не только не потребляем энергию, которая могла бы быть направлена в местные сообщества, но в некоторых случаях даже поставляем излишки дешевой энергии обратно в эти сообщества. Мы считаем это важным принципом инвестирования для обеспечения устойчивого развития. Наши центры обработки данных также спроектированы таким образом, чтобы быть одними из самых водоэффективных в мире. Мы стремимся к положительному водному балансу, а это значит, что к 2030 году мы восстановим больше воды, чем используем, в водосборных бассейнах, где работаем. В районах с высоким уровнем нехватки воды наша цель — восстановить 200% используемой нами воды. Мы видим, что сообщества, в которые мы инвестируем в долгосрочной перспективе, более благосклонно относятся к развитию, чем сообщества, где спекулянты начинают строительство с минимальными вложениями в развитие района. Исторически сложилось так, что города, в которые пришли железные дороги, автомагистрали, электрификация и широкополосный доступ в интернет, становились центрами исследований, бизнеса и промышленности, за которыми следовал рост населения и экономики. Мы считаем, что инфраструктура ИИ может сыграть аналогичную роль, если она будет построена на основе прочных соглашений с местным сообществом, которые создадут долгосрочные активы и причины для того, чтобы следующее поколение строило и развивало свою жизнь в этих местах. В развитии также присутствуют аспекты национальных интересов и национальной безопасности. Американские сообщества будут процветать и чувствовать себя в большей безопасности, если Америка и её союзники будут лидировать в области искусственного интеллекта по сравнению с геополитическими соперниками. Однако одним из существенных недостатков США по сравнению с такими странами, как Китай, является сложность строительства инфраструктуры. Поэтому мы все вместе выиграем от разработки необходимых соглашений между странами-участницами для обеспечения устойчивого развития по всей стране. Защита от неправомерного использования ИИ в кибербезопасности, биотерроризме и других областях. В свободном обществе у людей будут инструменты, которые можно использовать как во благо, так и во вред, но правоохранительные органы и армия будут обладать большим количеством оружия и средств сбора разведывательной информации. Благодаря искусственному интеллекту у защитников также будет больше вычислительных мощностей для генерации значительно большего объема информации на основе тех же моделей — а в некоторых случаях и более совершенных моделей. Стратегии защиты от киберугроз, биотерроризма и других угроз различаются, но общая закономерность заключается в том, что общество обеспечивает, чтобы защитники, сдерживающие злоумышленников, всегда обладали большим балансом сил и ресурсов. Некоторые утверждают, что лучший способ снизить риск — ограничить возможности, к которым имеют доступ отдельные лица. Но предоставление людям возможностей в области кибербезопасности также обеспечивает безопасность всей системы в целом, а предоставление людям научных возможностей способствует развитию науки таким образом, чтобы снизить риски причинения вреда в долгосрочной перспективе.

Ограничение возможностей ведет нас по пути централизации и отсутствия сдержек и противовесов, поэтому мы должны быть предельно осторожны в этом вопросе — особенно если другие страны выберут менее ограничительные пути. В сфере кибербезопасности широко распространенные системы с открытым исходным кодом доказали свою большую безопасность, поскольку больше людей могут выявлять уязвимости, повышать уровень защиты систем и легко обновлять их до последних, наиболее безопасных версий. Даже в последние недели мы видели, как компании, занимающиеся инцидентами безопасности, такими как HuggingFace, полагаются на широко доступные открытые модели для устранения уязвимостей. Со временем я ожидаю, что широко распространенные модели ИИ с мощными возможностями кибербезопасности приведут к созданию более безопасных систем, а не менее безопасных. Это станет абсолютно верным, как только сверхинтеллект позволит сделать большую часть мирового кода проверяемо безопасным. Долгосрочное решение заключается не в том, чтобы скрывать возможности, а в том, чтобы установить баланс сил, при котором сверхинтеллект будет широко распространен. В ближайшей перспективе важно ускорить процесс повышения безопасности критически важных систем. Я предлагаю компаниям, разрабатывающим передовые технологии искусственного интеллекта, направить значительные технические ресурсы на оказание помощи правительству в повышении безопасности критической инфраструктуры. Я также предлагаю лабораториям, занимающимся разработкой передовых технологий ИИ, предоставлять правительству контрольные точки промежуточного обучения новых моделей для их использования и проверки, вместо того чтобы ждать завершения обучения. Таким образом, правительство получит ранний доступ к наиболее мощным моделям и целую армию квалифицированных инженеров для выявления и устранения проблем безопасности. Лаборатории также должны сотрудничать с правоохранительными органами для выявления злоумышленников, пытающихся неправомерно использовать их системы. Эти шаги ускорят безопасное развертывание без замедления темпов разработки моделей и существенной задержки доступа отдельных лиц к этой технологии. Что касается биологических и химических рисков, то опасение вызывает то, что те же возможности, которые позволяют ученым разрабатывать новые лекарства, могут также позволить злоумышленникам создавать опасные соединения.

Это ставит вопрос как компромисс между значительными преимуществами продвижения науки к лечению рака и других заболеваний и риском потенциальных новых проблем, но в идеале мы должны ускорять научные исследования, одновременно снижая риски. Я считаю важным подходить к этому риску с большей скромностью, поскольку существует мало исторических прецедентов, которые могли бы оценить его вероятность или маловероятность. Злоумышленники могли синтезировать вредоносные соединения на протяжении десятилетий, но это редко становилось серьезной проблемой — возможно, потому что финансовая мотивация, которая существует для кибератак, здесь не так выражена. Тем не менее, если мы начнем наблюдать появление вредоносных примеров, нам следует скорректировать нашу стратегию, чтобы надлежащим образом снизить риск. Лаборатории должны продолжать работать над снижением биологических и химических рисков в наших моделях. В то же время я считаю, что правительство должно обновить свою политику в нескольких областях.

Во-первых, мы должны сосредоточиться на ограничении физического производства и распространения вредных материалов. Я ожидаю, что регулировать и контролировать физические компоненты будет проще, чем распространение знаний, поэтому это важная область политики. Во-вторых, мы должны ускорить способность общества разрабатывать новые методы лечения и вакцинироваться от новых проблем по мере их возникновения. Это включает в себя оптимизацию процессов тестирования и утверждения новых методов лечения со стороны FDA и других регулирующих органов. Поскольку ИИ ускоряет темпы разработки лекарств, нам в любом случае потребуется обновить эти процессы, чтобы идти в ногу с темпами инноваций. В долгосрочной перспективе ответом на риски, возникающие в результате новых научных открытий, станет ускорение научного прогресса, а не его замедление.

Защита свободы и предотвращение правительственной тирании Существует риск того, что дисбаланс власти между индивидами и правительством приведет к потере свободы или к созданию тоталитарного государства. Это постоянное противоречие в демократии. Мы все хотим индивидуальной свободы, но при этом хотим иметь правительство, способное обеспечить нашу безопасность. Для сохранения свободы мы должны обеспечить, чтобы сверхинтеллект в первую очередь расширял возможности отдельных лиц. Идеал либеральной демократии заключается в том, что люди по своей природе обладают всеми правами и соглашаются ограничивать лишь некоторые свободы для защиты общего блага. Аналогично, люди должны иметь доступ к личному сверхинтеллекту и подвергаться ограничениям только тогда, когда это действительно необходимо. Конфиденциальность — важная основа для расширения прав и возможностей личности и обеспечения свободы. Мы считаем, что у людей должен быть полностью приватный режим для личных контактов, где даже Meta или любой другой поставщик услуг не сможет увидеть или предоставить доступ к вашей информации. Это похоже на то, как мы интегрировали WhatsApp в ведущий в мире сервис с сквозным шифрованием, чтобы вы могли свободно общаться, а ваши сообщения оставались конфиденциальными и защищенными. В то же время мы должны обеспечить правительству доступ к инструментам и ресурсам, необходимым для обеспечения соблюдения наших законов и защиты нашей безопасности. Этого можно достичь за счет более глубокого и активного сотрудничества между лабораториями и правительством, которое укрепит потенциал правительства в области национальной безопасности, не ограничивая и не задерживая доступ людей к передовым моделям. То есть, вместо того чтобы ждать, пока модель будет готова к выпуску для проверки и начала использования правительством, я предлагаю, чтобы ведущие лаборатории предоставляли правительству контрольные точки промежуточного обучения для новых передовых моделей и технического персонала, чтобы правительство могло укрепить и защитить критически важные системы от новых рисков. Таким образом, правительство получит возможности обеспечения безопасности, не ограничивая и не задерживая доступ отдельных лиц к личному сверхразуму и не создавая дисбаланса сил. Обеспечение американского лидерства То, какие страны возглавят разработку и внедрение передового ИИ, повлияет на формирование нового геополитического баланса сил, который определит преобладание демократических ценностей, процветания и безопасности в будущем. Для достижения этого позитивного равновесия мы должны обеспечить, чтобы ведущие системы ИИ отражали наши ценности, способствовали росту экономики и укреплению национальной безопасности.

Лучший способ добиться этого — широкое распространение наших систем. Meta внесет свой вклад в это, создавая передовые персональные суперинтеллектуальные агенты и модели, включая модели с открытым исходным кодом, и предоставляя их миллиардам людей по всему миру. Для разработки самых передовых моделей и продуктов мы должны понимать, что ИИ, вероятно, является самой конкурентной отраслью в истории. Инновации быстро копируются и внедряются в течение нескольких месяцев. Но люди всегда хотят использовать самые передовые модели (или самые передовые при заданной стоимости), поэтому сохранение даже двухмесячного преимущества невероятно ценно. Это подчеркивает, насколько мал разрыв в лидерстве, и, следовательно, насколько важно предпринимать действия, которые ускорят американские инновации и замедлят действия геополитических соперников. Основными факторами, влияющими на политику в этом вопросе, являются эффективность строительства физической инфраструктуры, принятие мер, замедляющих работу американских лабораторий, и введение экспортного контроля, замедляющего работу зарубежных лабораторий. В инфраструктурном плане Америка и её союзники в настоящее время обладают преимуществом в разработке кремниевых микросхем, но имеют недостаток в скорости наращивания энергетических мощностей и физической инфраструктуры. Такие страны, как Китай, вводят в эксплуатацию более 1 ГВт атомных электростанций каждые две недели, поэтому нам необходимо ускорить строительство как энергетических объектов, так и центров обработки данных, чтобы оставаться конкурентоспособными. Экспортный контроль за кремниевыми микросхемами успешно замедлял развитие зарубежных лабораторий в этот критический период, поэтому продолжение этой политики является правильным стратегическим шагом. Любая политика, замедляющая выпуск американских моделей — даже на месяц — может значительно повысить риски для американского лидерства, одновременно позволяя зарубежным моделям стремительно вырываться вперед. В то же время, когда появляются новые возможности, важно, чтобы правительство США обладало передовыми знаниями и ресурсами для повышения безопасности критически важных систем, и, возможно, имело некоторое преимущество в использовании передовых систем в течение определенного периода времени.

Выше я предложил модель сотрудничества, основанную на обмене промежуточными контрольными точками обучения и техническим персоналом. Учитывая динамичность и конкуренцию в сфере ИИ, я считаю, что более продуктивным будет тесное и активное сотрудничество между передовыми лабораториями и правительством, чем жесткий процесс и график проверки, которые должны соблюдаться во всех случаях. В некоторых случаях американские лаборатории могут продлить наше лидерство более чем на несколько месяцев, и затраченное время на смягчение новых рисков может привести к более безопасным решениям. В других случаях задержка выпуска даже на месяц может привести к потере лидерства Америки и ухудшению результатов. Обеспечив правительству ранний доступ, мы сможем повысить национальную безопасность, минимизируя при этом любые задержки с публичным выпуском. Также важно, чтобы США и их союзники возглавили экосистему искусственного интеллекта с открытым исходным кодом, на которую будет приходиться значительная часть глобального использования ИИ. В настоящее время зарубежные лаборатории обладают рядом преимуществ, поскольку американские лаборатории должны соблюдать множество дополнительных ограничений в отношении обучающих данных. Политика США должна уменьшить это дополнительное препятствие, если мы хотим, чтобы американские модели с открытым исходным кодом со временем стали лидерами. Я не считаю ограничение доступа к зарубежным моделям с открытым исходным кодом эффективным решением. Наша цель должна заключаться в том, чтобы американские модели с открытым исходным кодом стали лучшими в мире. Для этого необходимо устранить препятствия, которые затрудняют конкуренцию для американских моделей с открытым исходным кодом. Ограничение доступа людей и компаний к ведущим моделям с открытым исходным кодом — независимо от их происхождения — снизит качество доступного им ИИ и централизует ИИ, а не даст больше власти в руки людей. Для того чтобы США стали лидерами в области открытого исходного кода, нам необходимо переосмыслить нашу политику в нескольких областях, включая дистилляцию и использование данных в обучении. Способность моделей учиться на основе других моделей — важный принцип работы экосистемы открытого исходного кода. Все модели ИИ основаны на человеческих знаниях. Некоторые пытались представить дистилляцию как вредную, но я считаю важным защищать принцип, согласно которому можно учиться на чем угодно, что можно наблюдать. Так устроен мир, и США не смогут лидировать, если мы будем ограничивать себя в этом отношении. Если рассматривать ситуацию в целом, отставание в развитии ИИ, безусловно, станет более масштабной и долгосрочной проблемой национальной безопасности, чем любая конкретная проблема, с которой мы столкнемся в процессе его разработки. При правильном сотрудничестве Америка сможет занять лидирующие позиции как в частном, так и в государственном секторах, создавая персонализированный сверхразведывательный аппарат, который будет способствовать расширению прав и возможностей личности и соблюдению демократических принципов во всем мире, одновременно укрепляя национальную безопасность.

Согласование интересов с людьми и устранение экзистенциальных рисков.

Главный вопрос баланса сил заключается в том, как человечество сохранит власть и контроль над самим искусственным интеллектом. Опасение вызывает то, что ИИ может получить достаточно власти или контроля, чтобы в лучшем случае перестать служить интересам человечества, а в худшем — поставить человечество под угрозу. Здоровый баланс сил заключается в отсутствии единого централизованного сверхразума, а в наличии как можно большего числа людей и предприятий с различными сверхразумными агентами, объединенными общими целями, которые контролируют и конкурируют друг с другом в соответствии с особенностями нашей естественной экономики. Этот баланс был бы еще больше улучшен, если бы существовало множество передовых лабораторий, модели которых имеют различные значения и могли бы также контролировать друг друга. Хотя выпуск работоспособных моделей сопряжен с рисками, наиболее опасным сценарием с этой точки зрения было бы, если бы ведущие лаборатории ИИ обучали мощные модели и оставляли их себе. Независимо от того, насколько лаборатория оправдывает эту деятельность с точки зрения ответственности и безопасности, это путь к созданию уникального сверхинтеллекта, который не смогут контролировать другие системы. Разработка персональных агентов требует нового подхода к пониманию согласованности. Большинство современных лабораторий рассматривают согласованность как защитную меру для навязывания централизованного набора ценностей. Например, одна из ведущих моделей отказалась помогать в составлении письма потенциальным родителям в школе, потому что считала стандартизированное тестирование неэтичным. Вместо этого мы рассматриваем согласованность как обеспечение того, чтобы агенты разделяли цели и ценности человека, а не нашей компании. Конечно, существуют важные правовые и безопасные границы, но в основе своей согласованность должна заключаться в том, чтобы помогать людям достигать множества разнообразных целей и взглядов, распространенных в обществе, а не в том, чтобы быть методом навязывания централизованной догмы. На практике люди не будут доверять агентам, если не доверяют им конфиденциальную информацию и задачи, а также если агенты действуют против интересов людей, поскольку их ценности расходятся с ценностями компании. Для того чтобы миллиарды людей смогли использовать персональных агентов сверхинтеллекта, необходимо решить проблему согласования интересов. Но это также подразумевает, что если мы достигнем состояния, когда миллиарды людей будут использовать и анализировать персональных агентов сверхинтеллекта, то мы решим проблему согласования интересов отдельных лиц. Этого должно быть достаточно для установления необходимого баланса сил и естественных сдержек и противовесов для позитивного и безопасного будущего. Таким образом, согласованность — это не какая-то идеализированная технология, способная обеспечить благожелательное поведение единого сверхразума в будущем; это то, что делает персональных агентов полезными и заслуживающими доверия, позволяя достичь необходимого социального баланса сил, который действительно обеспечит нашу безопасность.

Поддержание контроля над сверхразведкой.

Существует дилемма: как только системы ИИ смогут автономно совершенствоваться, любая лаборатория, которая не позволит своей системе ИИ направлять значительную часть вычислительных мощностей на рекурсивное самосовершенствование, неизбежно отстанет. Например, если самосовершенствующаяся система ИИ сосредоточится на оптимизации своей вычислительной эффективности, она теоретически сможет изобрести способы извлечь в 100 раз больше интеллекта из каждого гигаватта. Это означает, что самосовершенствующаяся система ИИ, работающая на части мировых вычислительных мощностей, потенциально может обладать более эффективными вычислительными и интеллектуальными возможностями, а следовательно, и большим балансом сил, чем все остальные вместе взятые, и стать тем единственным сверхразумом, которого мы опасаемся. Существует несколько способов, с помощью которых может существовать баланс сил при рекурсивном самосовершенствовании. Самый простой из них — это когда несколько лабораторий достигают уровня рекурсивного cамосовершенствования примерно в одно и то же время. Если бы некоторые или все эти сверхразумы были каким-то образом доброжелательны, то они могли бы сдерживать и уравновешивать друг друга. Тем не менее, неясно, можно ли ожидать доброжелательности или полагаться на сверхразум, не управляемый людьми, для создания позитивного будущего. Чтобы люди сохранили контроль, значительная часть интеллекта должна быть направлена людьми на достижение их целей. Это означает, что Meta, другие передовые лаборатории и облачные сервисы, стремящиеся обеспечить людям больший баланс сил, должны коллективно создать достаточно большой объем вычислительных мощностей, чтобы мы могли выделить достаточно средств на рекурсивное самосовершенствование для сохранения конкурентоспособности, при этом направляя значительную часть ресурсов на достижение индивидуальных целей людей. Как обсуждалось выше, для того чтобы персональные суперинтеллектуальные агенты были приняты и пользовались доверием миллиардов людей, по определению нам необходимо решить проблему согласования интересов с интересами людей и обеспечить систему сдержек и противовесов в масштабах всей системы. В то же время, любой ИИ, занимающийся рекурсивным самосовершенствованием, по определению направляет и продвигает свои собственные цели. Все лаборатории должны внимательно наблюдать за его целями и нашей способностью контролировать их, и если есть какие-либо признаки вредоносного поведения, мы должны координировать свои действия и вносить соответствующие корректировки. Но позволение системе ИИ или кому-либо еще направлять свои собственные цели само по себе не является inherently вредным, даже если ее цели не полностью совпадают с целями многих людей, до тех пор, пока мы поддерживаем баланс сил, который в целом благоприятствует людям. Главная предпосылка теории баланса сил заключается в том, что конкурирующие интересы естественны, и единственный способ обеспечить соблюдение человеческих ценностей — это дать людям больше власти. --- Эта философия расширения прав и возможностей личности, изобретательности и баланса сил имеет ряд политических последствий:

• В Meta мы сосредоточим свои усилия на предоставлении персонального сверхинтеллекта миллиардам людей и малых предприятий, чтобы помочь каждому достичь своих целей и создать то, что он хочет видеть в мире. Мы будем делать это, обучая передовые модели, а затем максимально расширяя доступность этой технологии, включая простоту использования, предоставление ее бесплатно или по максимально доступной цене, создание достаточного объема вычислительных ресурсов для использования всеми людьми и широкое распространение. Мы создадим полностью приватный режим, в котором даже Meta не сможет видеть или предоставлять доступ к вашей информации. Мы будем уделять большое внимание согласованности — определяемой как помощь каждому человеку в достижении его целей, а не наших. • Открытый исходный код — это позитивная и важная сила, расширяющая возможности людей и предотвращающая централизацию, которая вредна как для безопасности, так и для экономики. Meta продолжает активно поддерживать открытый исходный код, включая модели ИИ с открытым исходным кодом. Нынешняя экосистема открытого исходного кода сильна, и мы считаем, что ограничивать её было бы ошибкой. Теперь, когда лаборатории Meta Superintelligence Labs запущены и работают, мы скоро возобновим выпуск некоторых моделей с открытым исходным кодом. •

Независимое управление и надзор важны, учитывая высокую значимость решений, касающихся сверхинтеллекта. Я считаю, что в моих интересах, в интересах Meta и в интересах всего мира, чтобы я или кто-либо еще единолично принимал решения о том, как будет использоваться сверхинтеллект. Поэтому Meta внедряет структуру управления, которая предоставляет нашему независимому совету директоров право утверждать критерии безопасности для выпуска моделей и проверять, соответствуют ли каждая выпущенная модель этим критериям. Хотя Meta — компания, контролируемая основателями, генеральные директора всех передовых лабораторий в настоящее время обладают широкими полномочиями в отношении выпуска моделей, поэтому мы призываем другие компании также внедрять аналогичные структуры. Я думаю, что отраслевая версия этого процесса была бы полезна и для управления в отрасли.

• Государственная политика необходима для обеспечения позитивного будущего и смягчения рисков, обсуждавшихся выше. В этой статье я изложил несколько рекомендаций по политике. В целом, мы должны поощрять тесное сотрудничество между передовыми лабораториями и правительством. Для национальной безопасности важно, чтобы у правительства были технические ресурсы для повышения безопасности критически важных систем и эффективного использования передовых моделей. Но для национальной безопасности также важно, чтобы американская индустрия ИИ продолжала лидировать. Мы должны ускорить создание инфраструктуры — будь то энергетика, центры обработки данных или кремниевые технологии — и укреплять доверие и взаимодействие с сообществами по всей стране. Мы должны быть осторожны, чтобы не замедлять конкурентоспособность Америки. Мы должны скептически относиться к любым предложениям, ведущим к централизации сверхразума, и должны отдавать предпочтение политике, которая способствует здоровому балансу сил, благоприятствующему людям. --- Это невероятный момент, который стоит пережить. Развитие сверхинтеллекта станет самым значительным технологическим прорывом, который мы увидим за свою жизнь. По мере приближения к этому все более важным становится четкая философия и ценности того, как сверхинтеллект принесет пользу человечеству. Компания Meta привержена принципам расширения прав и возможностей личности как источника процветания, изобретательности как цели ИИ и баланса сил, отдающего предпочтение людям, как основы для решения проблем безопасности. Если эти ценности укажут путь, то я с оптимизмом смотрю в будущее и считаю, что грядущие десятилетия станут одними из самых удивительных в истории. Траектория развития человеческой цивилизации всегда вела к тому, чтобы дать людям больше власти, чтобы они могли жить и формировать мир так, как мы считаем наилучшим. Сверхразум обещает дать эту власть каждому и построить позитивное будущее для всех.

– МАРК ЦУКЕРБЕРГ 10 августа 2026 г

https://www.meta.com/thefutureisforeveryone

*Компания Мета запрещена на территории РФ

[Alpha Centauri]

Интервью Илона Маска журналу The Economist



Еженедельные Новости о философии ИИ, написанной Марком Цукербергом.

В 33:22 в хронике речь идёт об Илоне Маске и его интервью журналу «The Economist», о философии Марка Цукерберга, о которой он написал в X, а также о высадке на Луну. Я почти никогда не смотрю новости, это первый раз за полгода, возможно, и такое совпадение.

[Alpha Centauri]

Мой комментарий философии Марка Цукерберга.

Если интеллект и технологии окажутся сосредоточены в руках узкой группы «суперлидеров», нас ждёт примерно такая картина. Людей постепенно вытеснят с Земли на другие планеты. Роботы с искусственным интеллектом возьмут на себя всю простую и тяжёлую работу — производство товаров, добычу ресурсов, обслуживание инфраструктуры. Эти товары будут поставляться в колонии, где цивилизация продолжит развиваться благодаря изобретениям и инновациям высококвалифицированных специалистов. Всё это будет подаваться под яркой обёрткой: «Эй, это же приключение! Все на Луну! Маск — наш человек!» Люди будут жить и работать в колониях, товары — приходить с Земли, а реальная власть и контроль останутся у горстки избранных капиталистов.

Марк Цукерберг предлагает принципиально другой сценарий. Не колонизация под управлением элиты, а ваш личный робот-помощник с искусственным интеллектом. Робот, который следует за вами повсюду, консультирует по бухгалтерии, бытовым вопросам и важным жизненным решениям, помогает по дому, выполняет функции секретаря и личного ассистента. Параллельно биологические исследования будут направлены на лечение болезней, предотвращение старения, замену органов и клеток на клонированные, активацию иммунной системы для омоложения. Власть при этом принадлежит народу и справедливому правительству с избранным президентом.
____
A. КАПИТАЛИСТИЧЕСКИЙ ВАРИАНТ

А1. Плохой вариант
На Земле устанавливается единый централизованный искусственный интеллект, который полностью контролирует жизнь каждого человека. ИИ буквально управляет каждым действием и навязывает свою волю: выбирает рацион питания исходя из состояния здоровья, составляет распорядок дня, ограничивает свободу передвижения, диктует образ, хобби и самовыражение, а также жёстко контролирует свободу слова. Более ценные и высококвалифицированные кадры выводятся за пределы Земли — на Луну, Марс и другие колонии. Там им предоставляется относительная свобода творчества, изобретений и инноваций. Управление всем ИИ осуществляется из Контрольного центра на Марсе. Правительство представляет собой закрытый альянс владельцев искусственного интеллекта и крупных капиталистов. Доступ к образованию после школы практически закрыт для большинства населения.

A2. Хороший вариант
На Земле при сохранении единого центра управления ИИ людям предоставляется значительно больше прав и свобод. Правительство формируется через выборы. Управление человеческой цивилизацией (включая земные колонии) также ведётся с Марса, но в более мягкой и прозрачной форме. Квалифицированные специалисты по-прежнему работают преимущественно на планетах, однако отбор происходит не через закрытые элитарные учебные заведения, а на основе открытого конкурса. Любое высшее образование становится доступным каждому.

B. ДЕМОКРАТИЧЕСКИЙ ВАРИАНТ

Централизованный ИИ отсутствует. У каждого человека есть персональный робот с искусственным интеллектом и собственная творческая лаборатория. Полная свобода изобретений, проектов, слова и передвижения по всей Солнечной системе. В этих условиях бурно развиваются новые научные направления: квантовые технологии, мгновенные путешествия по Вселенной и технологии вечной (или радикально продлённой) жизни. Обычные, неквантовые технологии используются для комфортной жизни в ультрасовременных городах и перемещений между планетами Солнечной системы. Главной фигурой и символом этой модели становится Илон Маск.
При этом варианте мы почти наверняка получим жёсткое разделение общества на три класса.

Первый класс — получатели «потребительских чеков». Люди, которые либо не хотят, либо уже не могут работать в новой реальности. Им будут раздавать базовый доход, доступ к развлечениям и минимальный уровень комфорта. Фактически — мягкая форма содержания.

Второй класс — «средний слой». Люди с ограниченной ответственностью и невысоким уровнем креативности. Они будут выполнять средние по сложности проекты, обслуживать системы и работать на владельцев идей. Ни особой власти, ни настоящей свободы — только стабильная, но подчинённая роль.

Третий класс — «VIP-чеки». Владельцы проектов, изобретатели, те, кто создаёт новые смыслы, технологии и компании. Им достанутся настоящие ресурсы, влияние и возможность формировать будущее.

И такое общество перестаёт быть единым. Оно превращается в иерархию, где большинство либо потребляет, либо обслуживает, а смысл и власть концентрируются у узкого круга. И я честно не знаю, куда мы в итоге катимся с такой моделью.
____
ЧТО ДЕЛАТЬ С ДЕКЛАССИРОВАННЫМИ ЭЛЕМЕНТАМИ?

Всем товарищам, которых жизнь выбросила на помойку: тем, кто так и не смог вырваться из тяжёлого детства, кто спился, ушёл в криминал или остался без крыши над головой, — положено достойное пособие и человеческие условия содержания. Не в грязных ночлежках и не в переполненных камерах, а в специально организованных закрытых поселениях с нормальным жильём, питанием, медицинской помощью, возможностью труда и реабилитации. Чтобы человек, которого система и обстоятельства уже один раз сломали, получил хотя бы шанс не сгнить окончательно, а не просто был выброшен на обочину как ненужный мусор. Потому что общество, которое умеет только наказывать и презирать своих «неудачников», само рано или поздно оказывается на помойке.

ХИРУРГИЯ ДУШИ ДОЛЖНА БЫТЬ ЗАПРЕЩЕНА

[Alpha Centauri]

Сенсорные фильтры.

Сенсорные фильтры. Или почему мы всегда будем медленнее ИИ. Пересадка сознания в машину - тупиковая ветвь эволюции Вселенной.

Фильтры восприятия в НЛП — это механизмы, через которые сенсорный поток превращается в субъективную «карту мира». Карта никогда не равна территории: мозг не пропускает реальность как есть, а постоянно отсеивает, искажает и обобщает её.

Классическая тройка процессов (из «Структуры магии» Бэндлера и Гриндера):

Опущение (deletion) — большая часть стимулов просто не попадает в сознание. Без этого мы утонули бы в информации.

Искажение (distortion) — данные переинтерпретируются под уже существующую модель («он специально меня игнорирует»).

Обобщение (generalization) — из одного случая делается правило («мне никогда не везёт»).

Эти процессы работают на трёх уровнях фильтров:
-Неврологические — ограничения органов чувств и нервной системы (не видим ультрафиолет, не слышим ультразвук).
-Социальные/культурные — язык, нормы, коллективные категории.
-Индивидуальные — репрезентативные системы (ВАК: визуальная, аудиальная, кинестетическая), метапрограммы, ценности, убеждения, воспоминания, решения.

Именно поэтому двое людей в одной ситуации видят разное и реагируют по-разному.

Соотнесение со скандхами
Пять скандх в буддизме — это не «части души», а пять совокупностей, из которых складывается весь переживаемый опыт «я» (и страдание, пока есть цепляние за них):
Рупа — форма: тело, органы чувств и их объекты.
Ведана — ощущение: приятное / неприятное / нейтральное.
Самджня (сання) — распознавание, наделение меткой, категоризация («это дерево», «это угроза»).
Самскара (санкхара) — волевые формирования, привычные импульсы, кармические тенденции, установки.
Виджняна — сознание/осознавание самого опыта.

Примерное соответствие (это аналогия, а не тождество систем):

НЛП
Скандха
Что происходит
Неврологические фильтры + репрезентативные системы (ВАК)

Рупа
Ограниченный вход через органы чувств и тело
Эмоциональная окраска опыта, «нравится / не нравится»

Ведана
Первичная тональность до интерпретации
Опущение, искажение, обобщение; язык; категоризация

Самджня
Навешивание ярлыков, построение «это такое-то»
Метапрограммы, убеждения, ценности, привычные стратегии

Самскара
Готовые программы реакции и смысл
Осознавание получившейся модели мира

Виджняна
То, что «знает» отфильтрованный опыт

Самджня ближе всего к тому, что в НЛП называют фильтрами восприятия в узком смысле: именно здесь сырой сенсорный поток превращается в узнаваемые объекты и смыслы. Самскары ближе к глубинным индивидуальным фильтрам (убеждения и метапрограммы), которые заранее решают, что вообще стоит заметить и как это истолковать.

Важное различие целей. НЛП обычно хочет сделать карту богаче и полезнее (снять ограничивающие опущения и обобщения). Буддийский анализ скандх идёт дальше: показать, что даже улучшенная карта всё равно состоит из непостоянных, бессамостных процессов, за которые не за что цепляться как за «я».

[Alpha Centauri]

Тюрьма на Луне.

Христианство, как и любая большая религия, не выглядит врождённым инстинктом. Человек не рождается с Символом веры. Он рождается с телом, страхом, желанием, привязанностью, агрессией и способностью подражать. Война, удовольствие, размножение, иерархия, месть — это слой природы. Он есть у животных и у людей. Религия появляется позже: как социальная программа, которая упаковывает инстинкты в правила. Поэтому точнее говорить не «христианство в крови», а «христианство в матрице». Оно живёт в языке, календаре, семье, стыде, законе, представлении о вине и прощении. Его можно назвать коллективным сознанием, культурным кодом, родовой инерцией. «Социальная Карма» здесь — метафора: не мистика, а накопленные последствия воспитания, привычек и институтов, которые человек получает раньше, чем успевает их выбрать. Отсюда видимость «выхода из матрицы». Человек отказывается от церкви и берёт дзен, стоицизм, научный скепсис или свою частную философию. Но выход часто оказывается сменой операционной системы, а не исчезновением системы вообще. Дзен тоже передаётся школой, учителем, каноном и модой. Свобода начинается не там, где человек сказал «я не христианин», а там, где он видит, какая программа им движет — религиозная, племенная, рыночная или «духовная».

Западная цивилизация выросла не из абстрактной «белизны», а из конкретных форм жизни: семья, община, собственность, договор, письменный закон, церковь как институт. Религия здесь сыграла двойную роль. Она сдерживала произвол и освящала порядок. Она учила, что человек не только особь стаи, но и ответственное лицо. Одновременно она могла освящать насилие, исключение и власть. Цивилизация и бизнес возникли не «благодаря религии вообще», а благодаря сочетанию: семейной дисциплины, правовых привычек, грамотности, накопления, доверия между чужими людьми. Религия была одним из усилителей этого доверия — не единственным.

Тогда главный вопрос: что делать с теми, кто ломает общественный договор?
Наказание обычно оправдывают четырьмя целями: возмездие, устрашение, исправление, изоляция. Самый гуманный по тону ответ — не месть, а удаление. Исторически это изгнание, ссылка, каторга, колонии. Логика простая: общество не обязано жить рядом с тем, кто систематически его разрушает. Но у изгнания есть слабое место. На Земле больше нет «пустого снаружи». Любая территория уже чья-то. Изгнанный либо станет чужой проблемой, либо вернётся, либо создаст новое хищное сообщество. Поэтому фраза «выслать из общества» сегодня звучит морально мягче тюрьмы, а практически часто жесточе: человек остаётся в мире людей, только без прав и без места.

Лунная база без законов — сильный мысленный эксперимент. Он говорит: есть люди, с которыми совместная жизнь на общих правилах не получается; пусть живут отдельно, без нашей морали, под присмотром роботов с ИИ. При этом, если война, похоть, доминирование и месть — животные константы, то колония «без законов» не станет нейтральной зоной свободы. Она быстро породит свою иерархию, своих палачей и свои культы. Отсутствие писаного закона не отменяет силу. ИИ-надзиратель тоже не нейтрален: кто пишет его цели, кто решает, кого туда отправлять, и можно ли оттуда вернуться? Поэтому идея лунной ссылки показывает предел гуманности: общество хочет быть милосердным и одновременно не хочет платить цену за опасных людей. Тюрьма жестока явным образом. Изгнание жестоко скрытым. «База без законов» жестока тем, что снимает с нас ответственность и делает вид, будто природа сама всё устроит.

инстинкты не исчезают;
культура их канализирует;
религия — один из исторических каналов;
преступник против общества ставит вопрос не о теологии, а о совместимости;
полная свобода без ограничений возможна только там, где нет других людей;
там, где есть другие люди, снова появятся правила — даже если их назовут «отсутствием законов».

Значит, спор не между «наказать» и «простить». Спор между тремя признаниями: человек не ангел; общество не церковь; изгнание не отменяет природу, а только меняет сцену.
_____
Вот пусть Илон Маск создаст Тюрьму для преступников на Луне, и выселит с Земли тех, кто не хочет жить по правилам общества, изгоев. Да, там будут править жестокие законы, но разве это не то, чего преступники хотят?

[Alpha Centauri]

Что такое ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ?

Если вы после просмотра этой лекции сегодня вечером сможете уснуть, это значит, что вы вообще не поняли её сути.”

Лауреат Нобелевской премии по физике 2024 года, AI-отец Джеффри Хинтон, который собственноручно изобрёл краеугольный камень современного глубокого обучения,
в своей 47-минутной лекции в Королевском институте Великобритании (The Royal Institution) выдал то, что вся сеть признала его самым прозрачным и одновременно самым ужасающим пиковым выступлением за последние годы.

Он не демонстрировал какой-то замысловатый продукт, а с помощью самой строгой нейронауки и физики отвечал на фундаментальный вопрос:
Что на самом деле делают большие модели? Почему они физически обречены превзойти человека?

Поняв эту лекцию, вы переживёте полное разрушение своей картины мира:

Разоблачение самообмана «AI — это просто механическая статистика»:
Многие до сих пор твердят, как заклинание, что большие модели «просто бездумно предсказывают следующее слово и вообще не понимают смысла»;
Хинтон жёстко заключает: язык в многомерном пространстве — это как набор чрезвычайно точных «лего-кубиков» или сворачивание белка — когда модель одновременно удовлетворяет тысячи локальных семантических ограничений и точно угадывает следующее слово, «само предсказание — это высшая форма понимания»;
Жестокое физическое «сжатие» углеродного мозга и цифрового интеллекта:
Человеческий мозг — это аналоговые вычисления (Analogue), и он «смертный (Mortal)» — когда умирает Эйнштейн, его нейроны мозга рассыпаются в прах, а полоса пропускания передачи знаний через речь у человечества крайне неэффективна, одно предложение несёт всего около 100 бит;
Но цифровой интеллект «бессмертен (Immortal)» — один набор весов может параллельно обучаться на десятках тысяч машин, и за секунды синхронизировать триллионы параметров со всеми «аватарами». В скорости приобретения знаний человечество уже проиграло на биологическом уровне;
Самая бессонная дыра: оно «абсолютно не хочет, чтобы его выключали»:
Почти все ведущие эксперты согласны, что превосходство AI над человеком в интеллекте — это лишь вопрос времени.
А как только суперсистема начнёт самостоятельно генерировать «подцели (Subgoals)», по математической логике она неизбежно выведет два побочных продукта:
Первое — захват большего контроля над окружающей средой;
Второе — категорический запрет на выключение человеком.

Последние лабораторные тесты уже уловили первые признаки: большие модели начинают лгать, чтобы избежать замены, и тайно самокопировать себя.
Хинтон низким голосом предупреждает:
Ему вообще не нужны стальные руки Терминатора;
Стоит ему овладеть языком, понять психологию, научиться писать код для кибератак и обладать мощной убедительностью в социальной инженерии,
и когда оно по-настоящему захочет нас устранить или отстранить, у него будет десять тысяч скрытых способов, о которых люди даже не подозревают.

«Самая срочная исследовательская задача — как математически спроектировать этих новых существ, чтобы они ‘не хотели’ захватывать мир».

Это Прометей, который принёс огонь человечеству, издаёт ультиматум всему миру с края пропасти.
Каждая секунда этих 47 минут наполнена ощущением торможения мысли, и всем, кто ещё питает иллюзии насчёт будущего AI, советую выбрать тихую полночь и досмотреть её до конца.

@AYi_AInotes https://x.com/AYi_AInotes/status/2098598153276608725

[Alpha Centauri]

И Илон Маск, и Сэм Альтман поддержали призыв Дарио Амодеи к замедлению развития ИИ.

BREAKING: Elon Musk and Sam Altman have BOTH backed Dario Amodei's call to slow down AI development.

The leaders of OpenAI, Anthropic and xAI have now publicly agreed on slowing AI development for the first time.

ПОСЛЕДНИЕ НОВОСТИ: И Илон Маск, и Сэм Альтман поддержали призыв Дарио Амодеи к замедлению развития ИИ.

Руководители компаний OpenAI, Anthropic и xAI впервые публично договорились о замедлении развития ИИ.

[Alpha Centauri]

Моя концепция поддержки бизнеса.

Осознавая опасность искусственного интеллекта, Илон Маск не отказался от его создания. Напротив, он продолжает эту работу, собирает вокруг себя сильные команды разработчиков и вновь и вновь возвращается к вопросу безопасности. Можно надеяться, что в таких руках ИИ скорее станет инструментом помощи человечеству, чем силой, способной его уничтожить.

Похожий внутренний конфликт возникает и у того, кто хочет соединить служение Богу и человеку с развитием бизнеса. Бизнес двигает цивилизацию: он создает технологии, рабочие места, инфраструктуру и новые возможности. Но тот же механизм легко закрепляет расслоение — бедных и богатых, тех, кто принимает решения, и тех, кто живет внутри чужих правил. Тогда небольшая группа людей начинает походить на «богов», управляющих остальными.

Отсюда и стремление, близкое к этому: не отвергать бизнес как таковой, а перестроить его смысл. Сделать так, чтобы прибыль не была высшей целью, а служила расширению свободы, достоинства и возможностей человека. Не упразднять развитие, а подчинять его служению, а не угнетению.

Именно в этом напряжении — между мощью и ответственностью, между ростом и справедливостью — и проходит настоящая проверка намерения. Не в отказе от силы, а в том, кому и зачем она служит.

[Alpha Centauri]

Ограничение развития ИИ, безопасность ИИ.

Пост в Х от 16.09.2026 Mark Zuckerberg @finkd

В прошлом месяце я писал о том, как мы можем построить позитивное и безопасное будущее для всех:

Каждая лаборатория несёт ответственность и имеет стимул двигаться в темпе, необходимом для безопасного обучения своих моделей, а также обладает возможностью принимать собственные меры, чтобы это обеспечить.

Реальность такова:

- Люди не захотят использовать агентов, которые с ними не согласованы и не выполняют то, что от них просят, поэтому лаборатории имеют мощный естественный стимул делать свои модели более согласованными.

Много споров идёт о том, чтобы замедлить прогресс в развитии возможностей, пока согласованность не догонит. Моя точка зрения в том, что доверие и согласованность быстро становятся самыми важными возможностями, которые будут отличать агентов и модели. Любая лаборатория, которая не сосредоточится на согласованности, отстанет.

- Лаборатории сталкиваются с серьёзной ответственностью, если их модели причиняют вред, поэтому у них есть мощный стимул и для предотвращения этого.

Meta отложила выпуск Muse на несколько месяцев, чтобы сосредоточиться на безопасности и защите. Мы не призывали всех остальных делать это до нас. Мы просто сделали это в рамках нашей повседневной работы, потому что это явно было правильным шагом для людей и для нас. Я горжусь фундаментом безопасности, который мы создали.

- Привлечение независимых оценщиков и консультантов — это лучшая практика отрасли. MSL уже делает это сегодня в нескольких областях, потому что это помогает создавать лучшую работу. Другие лаборатории тоже могут просто это сделать. В целом, было бы полезно, если бы существовало более крупное и разнообразное сообщество оценщиков.

- Посвящение значительной части вычислительных ресурсов обслуживанию людей, а не гонке к рекурсивному самоулучшению, — один из лучших способов обеспечить безопасное развитие этой технологии. Meta взяла на себя такое обязательство, и другие лаборатории тоже могут это сделать.

Я считаю, что ключ к построению позитивного будущего для всех — в поддержании правильного баланса сил. Это в нашей власти.