Читать книгу: «Рутинная процедура», страница 6

Шрифт:

13. Профессор и роботы

На следующий день Эмма повела Мишку и Питера в оранжерею. Оказалось, что оба никогда там раньше не бывали. Мишка пришёл в восторг и немедленно побежал её обследовать. Питер признался, что не большой любитель экзотических фруктов, но ему понравилось богатство запахов.

Мишка вынырнул из-за большого куста с огромными оранжевыми цветами.

– Вот и ты! – воскликнула Эмма. – Надеюсь, вы оба согласитесь помогать мне ухаживать здесь за растениями. Роботы сюда не заходят, потому что они ломаются от высокой влажности, а работы довольно много. Пойдёмте, я покажу вам моё любимое место.

Она привела их на маленькую полянку в глубине оранжереи. Это выглядело скорее как беседка, потому что полянка была окружена зарослями со всех сторон, и даже сверху нависали какие-то лианы.

– Ух ты, классно! – восхитился Мишка и уже собирался занырнуть в очередные заросли, но Эмма его остановила.

– Подожди, я хочу с вами тут поговорить. Оранжерея – единственное место на Базе, где роботы не слышат, о чём мы говорим. Тут нет микрофонов, потому что они из-за влажности быстро выходят из строя. Снаружи стоят камеры, чтобы мы могли посигналить в случае необходимости. Не знаю, умеют ли они читать по губам…

– Умеют, – уверенно перебил Мишка.

– Я так и подозревала. Поэтому и выбрала это место. Думаю, камеры видят, что с нами всё в порядке, но тут достаточно закрыто, чтобы они не поняли, о чём мы разговариваем. У меня сильное подозрение, – продолжала она, заметив вопросительный взгляд Питера, – что роботы на грани выхода из-под контроля, и что 303 мечтает захватить власть.

– Это невозможно! – рассмеялся Питер. – Они машины и компьютеры, запрограммированные служить людям. У них нет эмоций и нет свободы воли. Они всегда подчиняются командам.

– Чьим командам? – спросила Эмма.

– Людей, конечно.

– Примерно 60 последних лет на Базе не было ни одного бодрствующего человека.

– Ну и что. Они продолжали выполнять программы, написанные людьми.

– И в эти программы наверняка была вложена возможность самообучения.

– Конечно, все современные роботы обладают искусственным интеллектом в той или иной степени. Иначе они были бы неэффективны. Но в качестве основной, нестираемой и неизменяемой догмы в них вложено служение людям.

– Знаю. Защита людей, выполнение их команд и самозащита. Именно в этой последовательности. Но когда люди объявили внеков не-людьми, они дали роботам новое знание, а именно, что одно и то же существо может быть сначала человеком, а потом перестать им быть. То есть само определение человека стало очень шатким. Типа, задача – защищать людей и выполнять их команды, список людей прилагается.

Профессор нахмурился, обдумывая её слова.

– Не верю, – покачал он наконец головой. – Это совершенно невероятно. Я знаю, что в твоё время робототехника ещё только зарождалась, технологии ещё были не отработаны, и люди боялись искусственного интеллекта. Я сам читал несколько фантастических книг, в которых ИИ выходил из-под контроля и пытался уничтожить человечество. Это интересный мысленный эксперимент, но он не имеет под собой основания. Просто предрассудок твоего времени. Современные роботы отработаны до мелочей и абсолютно надёжны. Я всю жизнь прожил с роботами. Ни разу с ними не было никаких проблем. Нигде и никогда они не выходили из подчинения. За всю историю роботов.

– Это верно, – поддакнул Мишка.

– Но история не стоит на месте, – воскликнула Эмма. – И раньше у них не было 60-ти лет неконтролируемой эволюции.

– Эмма, Эмма, – отечески улыбнулся Питер, – “Эволюция роботов” это уж точно из области фантастики. Кроме того, 60 лет – ничто в рамках истории.

Эмму он не переубедил. Она его тоже. Они только договорились не обсуждать эту тему за пределами оранжереи. После этого они нарвали фруктов. Мишка был в восторге от их разнообразия и хотел всё попробовать.

– Учти, что дегустацию скорее всего придётся отложить до завтра – сказала она ему. – М очень строго следит за диетой в первые два дня после анабиоза.

– Манго выглядит аппетитно, – заметил Питер, помогая Эмме срывать красивые спелые плоды. – Надо будет завтра попробовать.

– Ты же не любишь экзотические фрукты! – шутливо улыбнулась Эмма.

– А что экзотического в манго?

Три дня спустя Эмма читала в своей комнате, когда к ней стремительно вошёл озабоченный Питер.

– Давай сходим вместе за фруктами, – сказал он небрежно, но Эмма почувствовала, что он чем-то встревожен.

– Отлично, – немедленно согласилась она, – я и сама хотела сходить за персиками.

– Сообщите сколько и каких фруктов сорвать, – сообщил Комм, – и они будут доставлены.

– Нет, Комм, и не уговаривай! – рассмеялась Эмма. – Самой выбрать фрукт и сорвать его с дерева – это особое удовольствие. Да и цветы на лимоне надо проредить.

Профессор согласно кивнул.

Комм, как обычно, сопровождал их до оранжереи, и Эмма всю дорогу рассуждала о том, как замечательно устроена ферма, и что в разных её частях можно одновременно найти разные времена года.

– Сирень и астры очень красиво смотрятся вместе. Но раньше я никогда бы не смогла составить такой букет.

Очутившись в глубине оранжереи, Эмма повернулась к Питеру:

– Что-то случилось?

– Эмма, боюсь, что ты права, – хмуро ответил он. – Полчаса назад я пытался войти в оранжерею и не смог. Дверь отказалась открываться, утверждая, что вход в оранжерею запрещён. На моё возражение, что мы туда входили несколько дней назад, я получил уточнение, что вход в оранжерею запрещён для всех кроме Эммы Вальц. Я настаивал, что все люди должны иметь доступ, но безрезультатно. После некоторого препирательства я выяснил, что это приказ 303, и мои команды не имели никакой силы! Ты понимаешь, что это значит? Что команды 303 имеют более высокий приоритет, чем мои! Мои, человека!! Как ты получила доступ сюда?

– Мой приоритет оказался самым высоким, выше, чем у 303.

– Почему?

– Не знаю. Но у меня сильное подозрение, что если 303 найдёт повод объявить меня недееспособной, он немедленно им воспользуется, – и Эмма рассказала про обострённый интерес главнокомандующего к её умственным способностям в разные моменты её пребывания на Базе.

– Это необычно… – хмуро задумался Питер, – и очень плохо… Интересно, сможет ли Мишка попасть сюда самостоятельно?

– Надо будет попросить его попробовать.

Они проредили лимоны, сорвали несколько персиков и манго и вернулись в жилые комнаты. Перед ужином Питер попросил Мишку сходить в оранжерею за лимоном. Он вернулся с пустыми руками, оранжерея для него тоже не открылась.

– Комм, – сказала Эмма командным тоном, – всем людям разрешается ходить в оранжерею. В отличие от роботов, людям это полезно.

– Принято к исполнению.

В очередное посещение оранжереи они рассказали о своих наблюдениях и опасениях Мишке.

– Надо их хакнуть! – воскликнул тот.

– Да, перепрограммировать, – улыбнулась Эмма. – К сожалению, мои знания сильно отстают, лет эдак на 300. Других программистов в медицинском центре нет, а к анабиозным залам путь пока отрезан. Роботы всё ещё восстанавливают разрушения после взрыва.

– Надо найти программистов по базе данных, – предложил Питер, – и приказать роботам добраться до них в первую очередь.

– Я тоже так думаю, – согласилась Эмма. – А пока давайте не проявлять наших подозрений при роботах. Помните, они могут слышать нас везде, кроме этих зарослей. И всё, что слышит один робот, даже маленький ракан, слышит и 303.

За ужином Эмма предложила начать регулярные работы в оранжерее, – каждый день или хотя бы через день.

– С удовольствием, – поддержали Питер и Мишка.

14. Приоритеты

Изучение базы данных принесло тревожные результаты: на Базе не было ни одного программиста, если не считать Эммы. Все программисты, успешно погружённые в анабиоз, погибли в результате различных взрывов в течении последних 15 лет.

Профессор нашёл в архивах оригинальные карты расположения людей в разрушенных анабиозных залах. После внимательного их изучения, он сказал:

– Глаза мои быстро устают от компьютера. Пойду-ка я в оранжерее поработаю.

– Я тоже! – подхватил Мишка.

– И я с вами. Вместе веселее, – поддержала Эмма.

– Я посмотрел на схему расположения людей в разрушенных залах, – сказал Питер, как только они прошли вглубь оранжереи. – Нора, библиотекарь, и Александр, дизайнер, были в зале программистов. Их родственники были программистами, поэтому их разместили в том же зале. Так вот, их ванны были не самыми близкими к выходу и не самыми далёкими от центра взрыва. Но почему-то спасли и перенесли в медицинский центр только их. Во всём зале было ещё двое не-программистов, те погибли в самом взрыве. Но было и несколько программистов, ванны которых не пострадали от взрыва. Их можно было спасти, как и Нору с Александром. Анабиозную ванну можно отключить от системы обеспечения без угрозы для жизни человека, погружённого в неё, на полчаса. Согласно записи в архиве, роботы смогли вывезти за полчаса только две ванны. Почему они выбрали именно Нору и Александра, хотя там были ванны ближе к выходу, и возможно, можно было бы спасти трёх или четырёх ближних?

– Ты думаешь, это было не случайно? – спросила Эмма.

– Конечно! Сама посуди. Невозможно было спасти всех. Значит, надо решать, кого спасать, а кого оставить. Если все люди одинаково ценны, то алгоритм очевиден – максимизировать число спасённых. Роботы этого не сделали. Значит для них была разница между людьми. По крайней мере для того, кто командовал, была разница.

– 303? – спросил Мишка.

– Он самый.

– Я не хочу защищать 303, – сказала Эмма, – и по-моему, это на него похоже, но не совершаем ли мы ошибку, применяя к нему человеческие эмоции?

– Человеческие эмоции он, конечно, не испытывает, но для решения морально-этических вопросов у него тоже должна быть шкала хорошо-плохо, лучше-хуже. Значит, мы можем применить к нему психологию.

– Психология – наука о людях. Как мы можем применять её к роботам?

– Эмма, алгоритмы для ИИ писали люди. Они не могли вложить туда иную моральную шкалу и логику, кроме как свою, человеческую.

– Изначально, да, – Эмма задумалась и потом вздохнула, – Эх, если б мы могли заглянуть в электронные мозги 303 и посмотреть, какая у него сейчас шкала ценностей.

– Это легко, – неожиданно вставил Мишка. – Все роботы регулярно проходят техническое и программное обслуживание, в том числе дефрагментацию памяти. Вначале обязательно снимается копия текушего состояния системы, чтобы можно было на неё откатить, если что-то пойдёт не так. Если всё проходит в порядке, потом эта копия уничтожается. А мы можем её сохранить и изучить.

Заметив Эммин удивлённый взгляд, он пояснил:

– Я нашего домашнего робота так изучал.

– И ты поможешь мне разбираться в этом файле? – с интересом спросила Эмма.

– Конечно!

Эмма начала активно интересоваться поддержкой обеспечения Базы, особенно профилактикой неполадок и регулярными техосмотрами роботов. Это было вполне естественно для человека, ответственного за всё на Базе. Мишка присоединялся к ней “из юношеского любопытства”, а Питер громогласно заявил, что он чужд всех этих технических деталей и всё равно в них ничего не понимает. Он предпочитал работать в оранжерее и читать книги на свои любимые темы – историю и психологию.

Очень скоро они выяснили, что 303 не проходил программное обслуживание уже 20 лет. Как он сам объяснил, из-за огромной ответственности, возложенной на него по управлению Базой.

– А если ты сломаешься? – спросила Эмма. – Просто механически сломаешься?

– Техническое обслуживание я делаю регулярно, – ответил 303, – оно включает смазку, смену батареек и замену износившихся частей. Я всегда нахожусь в верхних 5% от пика моей физической формы.

– Это замечательно. Молодец! – похвалила Эмма. (Питер утверждал, что “заслуженная похвала” так же действует на роботов, как и на людей, и рекомендовал применять её почаще для притупления бдительности 303.) – А как на счёт интелектуальной части? Фрагментация памяти, быстрота реакции, скорость обработки данных и принятия решений?

– В меня встроены алгоритмы самотестирования. Также, в минуты отдыха, я провожу профилактическую частичную дефрагментацию памяти.

– Сам себе проводишь, не отключаясь?

– Да.

– Это ты хорошо придумал. Но ты понимаешь, что при само-дефрагментации ошибка накапливается со временем?

– Да. Но пока диагностика показывает правильные результаты, беспокоиться не о чём.

– Отлично. Как часто ты проводишь самодиагностику?

– От 19 до 47 раз в сутки, в среднем 36.5 раза.

– А частичную дефрагментацию?

– 1 или 2 раза в сутки, в среднем 1.3 раза.

– Очень хорошо. 303, если ты неожиданно выйдешь из строя, например в результате сильного взрыва или катастрофы, кто станет тебя заменять?

– В случае моей неспособности нормально функционировать последняя резервная копия моего интеллектуального состояния будет загружена в память резервного робота серии 303. Загрузка занимает 16 минут. В течении этого времени все роботы продолжают выполнять поставленные перед ними задачи согласно установленным приоритетам и иерархии команд.

– Как часто ты сохраняешь свою резервную копию?

– 1 раз в сутки.

– Сколько таких копий хранится?

– 100 последних копий.

– Я хочу на них посмотреть. Я ведь сама была программистом на заре развития робототехники и искусственного интеллекта. С тех пор роботы развились чрезвычайно сильно. Я не ошибусь, если скажу, что ты – вершина достижений в этой области.

– Я послал на твой компьютер адрес, откуда ты можешь скачать любую из хранящихся копий.

– Отлично.

Копии сознания 303 работали только в режиме считывания, но изучать их можно было сколько угодно. Эмма заполучила также копии М, Комма и Ра. Мишка неожиданно оказался очень смышлёным и опытным хакером.

– Я всех наших домашних роботов перенастроил, – признался он Эмме. – Больше всего пришлось повозиться с поваром. Я не мог ему просто запретить использовать брокколи, а то мама бы сразу заметила. Я настроил его в любом рецепте уменьшать количество брокколи в 4 раза. Так он довольно быстро сообразил всякие другие капусты, даже кейл, тоже уменьшать. Только ты маме не говори! – спохватился Мишка.

– Не скажу, – улыбнулась Эмма.

Через несколько дней трое людей снова держали совет в оранжерее.

– Мы составили таблицу приоритетов, – сообщила Эмма. – Она подтвердила наши опасения. Высший приоритет у меня, потом, с совсем небольшой разницей, у 303. Потом идут другие роботы согласно их командной иерархии, например, для всех медиков сразу после 303 идёт М. И только потом идут люди. У людей тоже была своя иерархия, но все люди с более высоким приоритетом уже погибли. Теперь у всех людей, кроме меня, одинаковый приоритет. Довольно низкий.

– То есть мы не можем повлиять на то, как они нас лечат, как они что-то строят, растят, защищают Базу и вообще ведут дела? – спросил Питер.

– Боюсь, что так, – кивнула Эмма.

– Я ощущаю себя бараном, которого пасут. – Питер нахмурился.

– Но как так может быть? – воскликнул Мишка, – Это же противоречит законам робототехники!

Питер задумался. Он продолжал машинально обрезать ветки перед собой. Эмма его остановила.

– Питер, ты сейчас эту бедную вишню под корень срежешь.

– Нет, не противоречит, – он прекратил обрезать вишню и посмотрел на Мишку. – Самый главный закон – защищать людей. Даже в былые времена, когда роботы слушались людей, ни один робот не смог бы убить человека, даже если человек (этот же или другой) приказал ему это. Я могу провести всю логическую цепочку:

Задача – защищать людей любой ценой.

Самый эффективный способ решить любую задачу это поручить принятие решений самому компетентному в этом вопросе существу. Например, люди вполне доверяют лечение медицинским роботам. Хотя, конечно, человеческий доктор мог вмешаться и изменить решение роботов.

Когда люди легли в анабиоз, они вынуждены были предоставить роботам, особенно 303, больше гибкости и самостоятельности. Что могло привести 303 к выводу, что люди доверяют ему больше чем самим себе. Тем более, что так оно и было.

В любой самообучающейся системе есть обратная связь – и положительная, и отрицательная. У животных это боль и удовольствие на физиологическом уровне и положительные и отрицательные эмоции на эмоциональном. Для искусственного интеллекта это должно быть связано с тем, как эффективно он решает поставленные перед ним задачи.

Это значит, что критика ему должна быть неприятна, выражаясь языком психологии.

Чем выше поднимался приоритет 303, тем меньше критики он получал, тем больше он был уверен, что он на правильном пути. Тем выше он поднимал свою позицию в командной иерархии, да и всех роботов тоже. Без поправок со стороны людей, логично было сделать вывод, что роботы более компетентны, чем люди. В конце концов, они ведь сами назначили роботов управлять Базой, а сами спрятались в анабиозе. Тем самым признав роботов более компетентными.

Единственный человек, к которому эта логика не применима – это Эмма Вальц, которая в анабиозе не пряталась и вообще принадлежала к эпохе людей, которые создали роботов. Эдакий аналог Бога (в нашем случае – Богини) в человеческой психологии.

Пока на Базе не было ни одного бодрствующего человека, 303 не получал никакой критики, что для него должно было означать, что он абсолютно прав. Очень может быть, что цель сохранения такого состояния – отсутствия критики – стало вполне самостоятельной и очень важной целью.

Поэтому, когда внеки повредили анабиозный зал, и 303 не мог спасти всех людей и выбирал, кого спасать в первую очередь, он выбрал тех, кто представлял наименьшую вероятность критики его действий. Приняв такое решений один раз и, естественно, не получив в ответ никакой критики, он использовал эту же логику и при других взрывах.

Более того, гибель людей приводила к уменьшению вероятной критики в будущем. Подозреваю, что 303 ещё не дошёл до прямого убийства людей, но у него есть сильный стимул не сильно бороться со взрывами.

– И не сильно торопиться с восстановлением повреждений сейчас? – спросила Эмма.

– Да. Как ни страшно мне это признавать, но скорее всего ты права. 303 стремится к абсолютной власти.

В оранжерее повисло тяжёлое молчание.

– Надо его перепрограммировать! – воскликнул Мишка.

– Надо, – согласилась Эмма, – только это надо сделать очень аккуратно. Единственный шанс изменить его программу – во время техобслуживания. В конце техобслуживания происходит проверка правильного функционирования. Если хотя бы один тест проваливается, его сознание автоматически откатывается на последнюю резервную копию. Я пока не вижу способа изменить резервные копии. Значит, надо как следует разобраться в этих тестах, чтобы изменить программу, не нарушив их.

– Может быть, можно стереть все его резервные копии? – спросил Питер. – Тогда он не сможет восстановиться.

– Я думала об этом. Во-первых, он их надёжно защитил. Копии записаны на оптические диски, которые невожможно модифицировать. Их можно физически разрушить, но система всё время проверяет их количество и качество и немедленно создаёт новые, чтобы их всегда было 100.

Питер тяжело вздохнул:

– А во-вторых?

– А во-вторых, я думаю, это плохая идея. Если мы уничтожим 303, мы окажемся с армией роботов, которые подчиняются только мне. А я не смогу их всех контролировать так, чтобы обеспечить работу Базы. Я просто не знаю всех тонкостей. Нам нужен исправно работающий 303. Только излеченный от мании величия.

– У меня есть идея, где найти тесты 303, – сказал Мишка.

– Отлично, – обрадовалась Эмма, – этим мы с тобой и займёмся.

15. Верить или не верить

На следующий вечер Эмма и Мишка были погружены в изучение тестов, когда Комм сообщил:

– Самир вызывает по радио Эмму Вальц.

Питер поднял голову от книги, которую он читал в той же комнате.

– Кто такой Самир?

– Вождь внеков, – пояснила Эмма.

– По радио?! – Питер даже встал из своего кресла.

– Да, но лучше я одна с ним поговорю. Я потом объясню.

Эмма вышла из комнаты и направилась в “радиорубку”. Там она включила оборудование и села за стол.

– Говорит Эмма Вальц, – сказала она в микрофон, чувствуя, как часто забилось её сердце. Она включила камеру тоже и теперь, затаив дыхание, ждала, ответит ли Самир через видео или ограничится звуком. Она одновременно боялась и очень надеялась снова увидеть лицо Грега. Экран моргнул, и на нём появился Самир, угрюмый, как и в первый раз.

– Здравствуй, Эмма, – произнёс знакомый до боли голос.

– Рада тебя видеть, Самир, – как можно спокойнее ответила Эмма. – У тебя есть пожелания для следующей передачи?

У Самира был вид, как будто он чувствует себя не в своей тарелке и от этого становится ещё угрюмее.

– Ты действительно планируешь следующую передачу? – спросил, наконец, он.

– Да. Через 8 дней будет ровно месяц, как вы не атакуете Базу. Я держу своё слово.

– Я звоню, чтобы предупредить. Я и мой народ, мы хотим мира. Но не все тебе доверяют. Внеки не роботы, у них есть своя воля, и двое из них не подчинились моему решению и планируют завтра взрыв на Базе. Мне не удалось их отговорить. Надеюсь, ты и твои роботы смогут их вовремя остановить и не допустить взрыва. Они планируют подойти со стороны ручья. Сообщаю, что они действуют вопреки моему решению. Если роботам придётся их убить, чтобы защитить Базу, внеки отнесутся с пониманием и не будут рассматривать это как нарушение мира.

– Благодарю за предупреждение. Мы постараемся обезвредить их не убивая, если это возможно. Я тоже не буду рассматривать это как нарушение мира со стороны внеков. Что вам передать через 8 дней?

– Лекарство. Оно действительно помогает. Можно побольше лекарства?

– Я объяснила Демусу, как правильно его применять. Вы соблюдаете эти правила?

– Да. Я назначил его главным за распределение лекарства и лечение чахотки. Как он говорит, так мы и делаем.

– Отлично, это очень важно, – Эмма почувствовала облегчение. Она была рада и за Демуса, и за то, что лекарство приносит пользу, а не вред. – По сравнению с тем количеством, которое Демус принёс с собой, сколько ещё лекаства надо, чтобы вылечить всех больных?

– В пять раз больше взрослых доз и в два раза детских.

– Хорошо. Я проверю, сколько доз мы сможем обеспечить через 8 дней. Если мы не сможем приготовить необходимое количество, то остаток я передам ещё через месяц.

– Хорошо, – в голосе Самира явно звучала благодарность.

– Самир, – решилась осторожно спросить Эмма, – Демус взял лекарство, специально рассчитаное для близкого ему человека. Удалось ли вылечить этого человека?

– Да, – краткая волна теплоты промелькнула в его глазах и голосе, – она поправляется. Именно её выздоровление перевернуло отношение внеков к Демусу и лекарству. И к тебе.

– Я рада, – Эмма не удержалась от широкой улыбки.

Эмма тут же связалась с 303 и сообщила о предупреждении Самира. Она очень чётко настояла на необходимости обезвредить внеков с минимальным вредом для них.

– Это наша цель, – напомнила она 303, – продемонстрировать внекам, что именно мы контролируем ситуацию.

Когда Эмма рассказала Мише и Питеру в подробностях про Демуса, перемирие с внеками и свой разговор с Самиром, они не разделили её энтузиазма. Мишка с сомнением покачал головой, а профессор её раскритиковал.

– Это внеки, Эмма! – с горячей убеждённостью закончил он. – Они не люди. К ним нельзя подходить с человеческими мерками. Они вытянут из тебя лекарства, а потом убьют, не моргнув глазом.

– Я верю тому, с чем сама столкнулась, – она осталась непоколебима. – Я верю Демусу и Самиру.

– А ведь про роботов Эмма оказалась права, – неожиданно поддержал её Мишка.

На это Питеру нечего было возразить.

На следующий день два специальных робота замаскировались в засаде у ручья. Это было дальше, чем километр от Базы, но место было удобное для засады, и, поскольку действие было согласовано с внеками, Эмма дала добро.

Примерно к обеду из лощины вдоль ручья крадучись вышли два внека. Как только они поравнялись с роботами, те облили их липкой жидкостью, которая на воздухе вспенилась и затвердела до состояния резины. Они проделали это быстро и аккуратно. Резиновая пена облепила внеков и их рюкзаки целиком, только их головы остались чистыми и торчали из белых коконов. Внеки не ожидали нападения и не успели даже пошевелиться. К счастью, это помешало им взорвать свой динамит.

С нечеловеческой точностью, используя лазерные резаки, роботы отделили рюкзаки от внеков, взрывчатку нейтрализовали, а внеков почистили настолько, чтобы они могли свободно двигаться и, подталкивая в спины, отправили их назад, вверх по ручью.

Эмма не поскупилась на похвалы, когда благодарила этих роботов, и 303 заодно, за блестяще проведённую операцию.

Возрастное ограничение:
16+
Дата выхода на Литрес:
01 ноября 2022
Дата написания:
2022
Объем:
160 стр. 1 иллюстрация
Правообладатель:
Автор
Формат скачивания:
epub, fb2, fb3, ios.epub, mobi, pdf, txt, zip

С этой книгой читают