*Оригинальный заголовок: ‘“Я поддерживаю это только если это open source” — этот подход должен стать более распространённым’
Одна из ключевых опасностей, часто обсуждаемых в контексте радикальных технологических решений — это усиление социального неравенства вследствие того, что доступ к таким технологиям ограничивается богатством и властью.
Приведём цитату специалиста, озабоченного последствиями продления жизни:
“Некоторые люди будут неизбежно отброшены на второй план? Сделает ли это общество ещё более неравным?” — задаёт вопрос эксперт. Тульяпуркар прогнозирует, что продолжительность жизни резко вырастет только в развитых странах, где население может позволить себе антивозрастные технологии, а государство вкладывает средства в научные исследования. Эта диспропорция ещё больше усложняет современные дебаты о доступе к медицине, разделяя богатых и бедных не только по качеству, но и по сроку жизни.
“Крупные фармацевтические корпорации давно известны тем, что крайне неохотно открывают доступ к своим продуктам для тех, кто не может за них платить,” — отмечает он.
Если антивозрастные технологии будут распространяться исключительно по законам свободного рынка, “я вполне реально вижу, что сформируются постоянные мировые классы бедных, целые страны окажутся законсервированы на текущих уровнях смертности,” — комментирует Тульяпуркар… “Это запустит негативную обратную связь, замкнёт цикл. Страны, оказавшиеся вне доступа, останутся в изоляции.”
Ещё одна жёсткая позиция в статье о рисках генной модификации человека:
В начале месяца учёные объявили, что впервые отредактировали геном человеческого эмбриона, устранив наследственную мутацию. Это потрясло многих и стало ответом на надежды родителей. Кто бы отказался избавить своих детей от страданий, которых теперь можно избежать?
Но на этом не остановится. Многие родители захотят гарантировать своим детям максимальные преимущества за счёт генетической коррекции. У тех, кто располагает достаточными средствами, такая возможность появится. Это поднимает этические вопросы гораздо шире проблем безопасности: высокая стоимость процедур сделает доступ ограниченным и усугубит имущественное неравенство, которое уже растёт.
Схожие мнения встречаются и относительно других технологических областей:
Солнечная геоинженерия: https://www.cambridge.org/core/journals/global-sustainability/article/hidden-injustices-of-advancing-solar-geoengineering-research/F61C5DCBCA02E18F66CAC7E45CC76C57
Такая проблема — сквозная тема в критике новых технологий. Есть и другое, смежное направление: использование технических продуктов для сбора данных, создания зависимости от поставщика, умышленного сокрытия побочных эффектов (например, аналогичные претензии получали современные вакцины) и других способов злоупотребления. Современные технологии зачастую позволяют ограничивать права пользователя: передавать вещь без передачи информации о ней или юридических гарантий. Поэтому и кажется, что старые решения были безопаснее. Это тоже про усиление власти сильных за счёт остальных, только здесь речь о конфликтах между производителем и пользователем, а не о неравенстве доступа.
Я лично выступаю за развитие технологий и, если бы нужно было выбрать между движением вперёд и сохранением статус-кво, поддержал бы развитие практически во всех сферах (за исключением очень узкого списка — например, исследований с усилением функций, оружия, сверхинтеллекта), несмотря на риски. Причина — ощутимые преимущества: это долгие и здоровые жизни, процветание, сохранение человеческой значимости в эпоху бурного развития ИИ, культурная преемственность, когда старшие поколения не только упоминаются в истории, но и продолжают жить среди нас. Минусы — как правило, значительно переоцениваются.
Но если представить себя на месте человека, менее оптимистичного в оценке плюсов или более обеспокоенного тем, что влиятельные группы используют новые технологии для сохранения доминирования и контроля? Например, у меня есть такие опасения в отношении “умного дома”: возможность голосового управления не стоит риска передачи личной жизни Google или Apple. А при ещё более пессимистичных предположениях аналогичные сомнения могут возникнуть и к медиатехнологиям: если они усиливают возможности трансляции сообщений у сильных, это грозит концентрацией контроля и подавлением альтернативных точек зрения, при том что польза от улучшения информации или развлечений не всегда компенсирует потери от перераспределения власти.
Недооценённая позиция в подобных спорах: поддерживать развитие технологии только при условии, что она open source.
Открытый код, несомненно, ускоряет прогресс, позволяя свободно пользоваться чужими инновациями. Тем не менее, жёсткое требование открытости может замедлять развитие, ограничивая бизнес-модели. Но главные последствия open source лежат вне прямого противопоставления “быстрее — медленнее”:
Open source исключает зависимость от производителя. Модель с открытым кодом не позволит компании отключить продукт удалённо или сделать его неработоспособным из-за банкротства (см. проблему с сетевыми автомобилями — их могут отключить при закрытии производителя). Пользователь всегда сохраняет право на ремонт — сам или через другой сервис.
Рассмотрим открытый подход применительно к “радикальным” технологиям, упомянутым выше:
Если технология продления жизни закрыта, она доступна только сверхбогатым и политикам (по моим ожиданиям, цена быстро снизится, но скептики могут считать иначе). Открытая технология способна предоставить доступ каждому, что приведёт к массовому распространению по низкой цене.
В случае с “умной” машиной, построенной на open source, у пользователя появляется возможность контролировать собственную конфиденциальность и не зависеть от состояния дел у производителя.
Вся аргументация сводится к следующей схеме:
На схеме видно: “разрабатывать только если open source” — область шире, отражая большую неопределённость по скорости прогресса и предотвращению концентрации власти. Но в среднем массовая открытость оказывается эффективной и безопасной во множестве сценариев.
Один из аргументов против открытых технологий — риск “игры с нулевой суммой” и горизонтальных злоупотреблений. Ядерное оружие для всех уничтожает неравенство (и сейчас государства действительно используют такой дисбаланс в своих целях), но приведёт к глобальной катастрофе. Например, всеобщий доступ к пластической хирургии способен спровоцировать бесполезную гонку по внешности, где каждый тратит всё больше ресурсов и рискует здоровьем, а реальное качество жизни общества не меняется. Многие биотехнологии потенциально чреваты подобными эффектами. Многие технологии — в промежутке между этими крайностями.
Это аргумент в пользу обратной модели: “поддерживать только при строгом контроле надёжных операторов/регуляторов”. Такие структуры могут открывать положительные сценарии и блокировать негативные, а также обязаться публично обеспечивать равный доступ для всех, кто соблюдает общепринятые нормы. Однако я скептически отношусь к такой модели: дипломированные “регуляторы” редко бывают по-настоящему надёжными, особенно в современных условиях. Самые рискованные сценарии применения технологий — военные, а армиям сложно себя ограничить.
Яркий пример — советская программа биологического оружия:
Несмотря на сдержанную позицию по СОИ и ядерному оружию, поступки Горбачёва в вопросах бактериологического вооружения удивительны, отмечает Хоффман.
К моменту его прихода к власти в 1985 году в СССР действовала масштабная программа биологического оружия, основанная при Брежневе, несмотря на участие страны в Конвенции о запрещении биологического вооружения. Помимо сибирской язвы, велись исследования по оспе, чуме, туляремии, но точные намерения и цели остаются неясными.
“Документы Катеева показывают: в середине и конце 1980-х ЦК издавал множество постановлений о программе биологического оружия. Сложно поверить, что всё это проходило без ведома Горбачёва,” — говорит Хоффман.
“Существовала записка на имя Горбачёва от мая 1990 года о ходе программы, но даже в ней вся информация была частично скрыта. Советское руководство дезинформировало не только мир, но и своих собственных лидеров.
Некоторые эксперты считают, что после распада СССР эта программа могла быть передана другим странам (!!).
Другие страны тоже допускали значительные ошибки. Не буду приводить все примеры исследований с усилением функций и связанных с этим рисков (рекомендую эту книгу). В сфере цифровых решений (например, в финансах) история “оружейной взаимозависимости” показывает, как попытки предотвратить злоупотребления быстро превращаются в одностороннюю власть оператора.
Ещё одна проблема “операторов” — они всегда подконтрольны национальным властям: внутреннее равенство они обеспечивают, но никто не гарантирует равные возможности между государствами.
Чтобы не было недопонимания: я не призываю к хаосу (особенно не в вопросах исследований с усилением функций). Я утверждаю две вещи:
Важно понимать: “open source” не означает вседозволенность. Например, я поддерживаю проведение геоинженерии в формате open source и open science. Это не то же, что “каждый вправе перенаправлять реки или распылять реагенты в атмосфере”. На практике это не произойдёт: существуют законы и международные соглашения, нарушения легко выявить, а ответственность — обеспечить. Плюсы открытости — (i) демократизация, доступна многим странам, а не только одной, (ii) информационная прозрачность, позволяющая обществу формировать аргументированные собственные суждения о целесообразности и безопасности практик.
Для меня фундаментально важно: open source — это сильнейшая точка Шеллинга для минимизации рисков концентрации денег, власти и информационного неравенства. Можно пытаться создавать сложные институты для разделения выгодных и вредных сценариев, но в современной нестабильной мировой ситуации лучше всего работает простой, понятный и публичный стандарт: всё открыто, каждый может разобраться и участвовать.
Во многих случаях риски менее существенны, чем выгоды от ускоренного внедрения технологий (а иногда важно, напротив, максимально затормозить процесс до появления эффективных средств защиты или альтернативных стратегий). Однако третий путь — не зацикливаться на темпе, а работать над качеством развития и использовать easily legible стандарт open source — пока недооценён.
Дисклеймер: