sklavit: (Default)
[personal profile] sklavit
Основная проблема с компьютерными экспертными системами не в их эффективности, и не в их компетентности — в этом они, зачастую, превосходят людей — а в этико-правовом понятии ответственности.
Грубо говоря, что делать, если компьютерный доктор ошибется, назначит неправильное лечение и пациент умрет. Или пилот погибнет. Или космонавт. Кто будет ответственен?
Я как раз на днях вернулся с конференции, и, похоже, на этот вопрос нет ответа. Т.е. эту проблему игнорируют, а эксперту-машине разрешают работать только и исключительно в паре с человеком. Но ведь это вопроса не снимает, не так ли? А что, если во время аварии люди будут без сознания или не будет времени разбираться, что делать? Что тогда? Кто будет виноват за последствия?
Вообще-то, правильно было бы написать: «кто будет ответственен», но я написал именно «виноват», т.к., мне кажется, именно в этом всё дело. Человеку нужно знать виноватого, чтобы поставить на колени и зверски... потребовать компенсации. А какую компенсацию можно потребовать с машины? Ведь человеческая жизнь бесценна, а машина — ничто, презренный просто кусок метала. И останется после этого в душе чувство несправедливости, что даже злость сорвать не на ком.

С логической точки зрения, ситуация парадоксальная. Возьмем, для примера, экспертную систему MYCIN разработанную в 70-х для диагностики смертельно опасных быстротекущих инфекций. Исследование показало, что MYCIN лидирует по всем выбранным показателям: по доли приемлемых предписаний (65% против 42.5% - 62.5%); по доли предписаний, приемлемых с точки зрения большинства оценщиков (0.7 против 0.5-0.3); по эффективности покрытия патогенна (всегда назначался антибиотик против истинного патогенна и назначалось меньшее количество лекарств). [Buchanan B. at al., Antimicrobial Selection by a Computer, JAMA, Sept 21, 1979, Vol. 242, No. 12] Не смотря на это, MYCIN никогда не применялась в живой медицинской практике. Почему? Вопрос ответственности: для наполнения базы знаний использовались множество экспертов и журнальных статей. Не ясно, кто несет ответственность, за её решения. А ведь она могла бы спасать на 20-30% людей больше, чем врачи-люди. Вот такой парадокс.

Словом, получается, что ответственность может нести только человек.
Но почему? И что такое вообще эта ответственность?

(Косвенно эта тема касается тематики «Меганезии», т.к. возможно затрагивается тема обычаи vs технологии.)

Date: 2011-05-15 12:05 pm (UTC)
From: [identity profile] cimpond.livejournal.com
Кант ответил бы, что ответственность - следствие свободы воли, которая есть у человека, но нет у машины.

Date: 2011-05-16 11:22 am (UTC)
From: [identity profile] sklavit.livejournal.com
1) что такое ответственность?
2) а вы уверены, что у машины не может быть свободы воли?

Date: 2011-05-16 06:45 pm (UTC)
From: [identity profile] cimpond.livejournal.com
Ответственность это осознание личностью или группой личностей возможности различных последствий своих действий и готовность нести эти последствия на себе.

Ответственной может быть личность. Личность это нечто свободное, имеющее разум и действующее осмысленно с некой целью.

У машины ее нет потому что машина - это механизм, действия которого предопределены или строго алгоритмизированы. Если у машины появляется свобода воли - она перестает быть машиной и начинает быть личностью.

Date: 2011-05-16 07:41 pm (UTC)
From: [identity profile] sklavit.livejournal.com
Что такое "нести последствия на себе"?
Что такое "действовать осмысленно"?

Кстати, про "действия которого предопределены или строго алгоритмизированы" ты не прав. Даже если не вводить специально генераторов случайности, то есть случайности от округления или ограничений по времени.

Date: 2011-05-16 07:54 pm (UTC)
From: [identity profile] cimpond.livejournal.com
Ничего новго об осмысленности я не скажу. Определения этих понятий есть в энциклопедиях и я не очень-то с ними спорю...

Нести на себе значит осознавать что я есть я и я что-то делаю сейчас или буду делать по причине своих предыдущих действий. Тоесть для ответственности нужно самосознание, понятие времени, причинности вот. НЕек спрашивай плиз что такое самоосознание и время итд, я могу ответить, но не вижу в этом смыслы, я не на экзамене, а ты и так знаешь ответ (ведь так?) =)

Date: 2011-05-17 10:47 am (UTC)
From: [identity profile] sklavit.livejournal.com
И все-таки, какое именно определение?
Я нашел три варианта и, по-моему, все они могут быть реализованы на машине. Кстати, вот на конференции, откуда я только что вернулся, обсуждался способ реализации одного из них.

Ну, если сознание - это отражение реальности в зеркале сознания, то машина значительно лучше себя самоосознает, чем человек, т.к. она значительно более точно может спрогнозировать свое собственное поведение. (Собственно, ей просто надо запусти копию себя и она все узнает.)
С понятие времени тоже все вроде Ок. У нас есть система контроля версий и лог всех действий. Мы можем непосредственно отследить что и почему было сделано машиной.

По поводу "ты знаешь". У меня есть своя точка зрения, и мне хотелось бы послушать другие. В такие вопросы-ответы довольно сложно играть с самим собой - значительно проще с собеседником. Спасибо за ответы!

Продолжим?

Date: 2011-05-17 09:49 pm (UTC)
From: [identity profile] cimpond.livejournal.com
Я думаю, что сознание это не отражение чего-то объективного в зеркале, пусть даже в эдаком субъективном зеркале. Сознание это это зеркало, как инструмент, служащее чему-то внемирному. Это нечто не из этой реальности, вне времени и пространства, некая самость, которой можно ничего и не отражать, и бытие сознания происходит в диалоге в общении самости и этого "зеркала". Вот у машины нет самости, души так сказать.

Осмысленность, это и есть неуловимая мотивация поступка, исходящая из самости. Осмысленность бытового уровня может повторить и машина, но есть сложные не вполне определяемые мотивации, высшие чтоли.

Я хорошо представляю как можно сделать систему которая будет эволюционировать, усложняться, следить за собой по своим копиям и все такое, это будет жизнь некая, но там не будет души, не будет того, что нельзя объяснить категориями этой системы.

А у всего одушевленного так или иначе есть концы, уходящие за пределы известного и вообще постижимого мира. Вот этих концов у машин пока что нет. Ну вернее так, эти концы у машин ведут к человеку. Поэтому есть некое подобие, скажем концы человеческих душ ведут к Богу (это не поределение, а имхо) а концы машин (устройства ввода-вывода) ведут к человеку.

Одушевленная машина может быть в наше время в виде "машина + человек", при условии что человек преданно и самоотверженно служит ей, развивает ее, прокачивает и ремонтирует. Как знать, возможно Бог так же возится с людьми, как мы с машинами, хотя не совсем так, у людей все-таки есть свобода воли отдельная от Бога, а у машин свобода воли все еще не отделена от человека.

Date: 2011-05-18 07:08 pm (UTC)
From: [identity profile] sklavit.livejournal.com
Ясно: идея исключительности человека и наличия мистической души.
Не представляю, что тут можно обсуждать дальше.

Date: 2011-05-18 07:34 pm (UTC)
From: [identity profile] cimpond.livejournal.com
Ну неееет! Я сказал свое мнение, скажи и ты свое. =) Серьезно, мне интересно.

Date: 2011-05-19 02:04 pm (UTC)
From: [identity profile] sklavit.livejournal.com
Надо взять те определения, которые я приводил в своих аргументах, выразить в виде программной системы и посмотреть, что из этого получится.
Я готов доверять такой системе.

Date: 2011-05-15 12:10 pm (UTC)
From: [identity profile] cimpond.livejournal.com
А почему не взять коллегиальную ответственность, есть ответственный(ые) за работу машины, вот они и пусть отвечают. Парламент вон тоже решения принимает, и якобы отвечает за них, (на следующих выборах) хотя ответственность очень размазана и скрыта за ложью и манипуляциями. Президента даже за невыполненную предвыборную компанию нельзя привлечь, хотя это и один человек формально...

Date: 2011-05-15 12:58 pm (UTC)
From: [identity profile] ognezmej.livejournal.com
Вот уж проблема - виноватого найти...
1. Разработчик программы. Раз он за это деньги получил, пусть и ответственность за её работу несёт.
2. Должностные лица, которые поставили свои подписи.
3. Операторы, которые не те данные загрузили или не на ту кнопку нажали

В зависимости от того, в каком месте система сработает не так, как надо.

Date: 2011-05-16 11:26 am (UTC)
From: [identity profile] sklavit.livejournal.com
1) тут мне storylander подсказала, что, вероятно, дело не в ответственности, а в недоверии. Я потом детально напишу.
2) с другой стороны, вот нашли мы виноватого, и что дальше?

Date: 2011-05-16 11:31 am (UTC)
From: [identity profile] ognezmej.livejournal.com
вот нашли мы виноватого, и что дальше?
Как что? У тебя же написано - требовать компенсации:)

Date: 2011-05-16 07:42 pm (UTC)
From: [identity profile] sklavit.livejournal.com
деньгами?;)

Date: 2011-05-16 08:55 pm (UTC)
From: [identity profile] ognezmej.livejournal.com
Да чем угодно. На что фантазии хватит:))
Деньгами - самый простой и удобный способ:)

Date: 2011-05-16 06:07 am (UTC)
From: [identity profile] grape-rain.livejournal.com
Айзеком Азимовым повеяло, да.
А мне кажется, дело в другом: люди они всегда виноватого найдут и шишки скинут, а если чего-то глобальное, то и охоту на ведьм не грех устроить - только тогда влетит всем (сопричастным и не очень), а кому такое добро надо - никому. Потому пользу и вред в промышленных-машинных масштабах не несут. Хотя от ремесленичества в пользу заводов таки отказались, а что до производственных травм - так это рабочий сам виноват...

Date: 2011-05-16 11:28 am (UTC)
From: [identity profile] sklavit.livejournal.com
возможно

Date: 2011-05-19 04:25 pm (UTC)
From: [identity profile] 1avril.livejournal.com
очень интересная тема) а если взять более приземленный пример - например, в системе безопасности банка образовалась уязвимость, которую обнаруживает хакер и уводит данные тысяч клиентов банка. Кто обычно виноват в таких ситуациях - руководители ИТ-подразделений или руководители банка непосредственно? Скорее всего, клиентам будет интересней выслушать второго.

я думаю, если бы в медицине мне система выдала неправильный ответ, я бы винила руководство всего медицинского центра. потому что люди любят платить деньги за результат, а мучиться со своим "черным ящиком" должна сама компания, чтобы результат обеспечить.

так что скорее всего виноваты люди

Date: 2011-05-19 07:19 pm (UTC)
From: [identity profile] sklavit.livejournal.com
Оно и работает так, как вы описали: пациент подает в суд на больницу, а больница внутри уже сама разбирается.

Но вопрос не кто виноват, а что значит "ответственность"?

Date: 2011-05-20 05:29 am (UTC)
From: [identity profile] 1avril.livejournal.com
ответственность перед кем? перед людьми всегда отвечают люди, а машины в общем-то и не ищут виноватых и ответственных.
можно признать себя виноватым, только если ты умеешь винить других. зачем это вкладывать в системы?

Date: 2011-05-20 08:35 am (UTC)
From: [identity profile] sklavit.livejournal.com
1) надо подумать
2) допустим, некто, психологически дееспособный, не умеет никого винить. Он взял и убил всех, кого успел. Винить он себя не будет. А будет ли он ответственен? По-моему, будет. Это ведь его действия.

Date: 2011-05-21 08:29 am (UTC)
From: [identity profile] 1avril.livejournal.com
а можно быть психологически дееспособным, не умея никого винить? что это определение тогда подразумевает?

Date: 2011-05-21 05:30 pm (UTC)
From: [identity profile] sklavit.livejournal.com
Это юридический термин. Он скорее психиатрический здоровый = значит, дееспособный.

Profile

sklavit: (Default)
sklavit

January 2012

S M T W T F S
123 4567
891011121314
15161718192021
22232425262728
293031    

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 28th, 2017 02:35 am
Powered by Dreamwidth Studios