теория систем

Discussion:

теория систем

(слишком старое сообщение для ответа)

Ruvim Pinka

2006-11-20 19:56:39 UTC

Привет!

Denis Nikiforov, wrote on 20.11.2006 21:23

RP> 1. Реально самоорганизующихся систем мы(я :) не наблюдаем.
RP> Это просто такое buzz-word.
RP> Как самораспаковывающийся архив, или самомодифицирующийся код.
RP> (то бишь, критика весьма убедительна, рекомендую :)
Синергетика? Хотя бы рынок -- не самоорганизующаяся система?

Ты бы лучше привел обратный пример ;)
Трудно найти реальный, достаточно сложный динамический объект,
в котором не найдется той или иной "самоорганизации" на каком-нибудь
уровне. С другой стороны, мы наблюдаем, что оно не "само",
а на все свои причины. Для простого народа автомобиль ехал "сам",
в отличии от экипажа, просто потому, что причина движения экипажа
была очевидна, а автомобиля -- скрыта.

Поэтому, нахожу термин бесполезным, и даже вредным для употребления
в серьезных работах или утверждениях: он не несет полезной информации,
а просто шум, и пыль в глаза..

но почему ты отвергаешь идею изучения самих HС?

Не идею изучения, а подвергаю сомнению целесообразность
извлечения знаний из них (делаю акцент: из экземпляров ИНС
(искусственных нейроных сетей)).

Может быть, в некоторых случаях это
дает экономию вычислительных ресурсов?

Чисто же теоретических, формальных аргумент
в пользу такого извлечения я не нахожу.

По их теории HС манипулирует _моделями_(!!!) объектов, поступающими на
её вход.

Как бы набор сигналов не назвать, он останется в тоже время набором сигналов.
И системе, которая обрабатывает их как сигналы, совершенно побоку,
какой там глубинный смысл они несут.

И еще. Алгоритма чистого обобщения не существует.
Невозможно подать на вход 'сырые данные' а на выходе получить
более общую модель, чем та, которая заложена в алгоритме.
Самая общая модель, доступная алгоритмам -- это
эквиваленты машины Тьюринга (верхнее ограничение).
И получения такой модели без ограничений -- невычислимая задача
(т.к. Проблема останова).

Таким образом, самые большие абстракции,
которыми могут оперировать алгоритмы (и ИНС в том числе),
это алгоритмы. Выше головы не прыгнешь.

--
Ruvim

Denis Nikiforov

2006-11-22 10:13:54 UTC

Permalink

(message (Hello 'Ruvim)
(you-wrote :to *All* :on "Mon, 20 Nov 2006 22:56:39 +0500")
(body '(

RP> Ты бы лучше привел обратный пример ;)
RP> Трудно найти реальный, достаточно сложный динамический объект,
RP> в котором не найдется той или иной "самоорганизации" на каком-нибудь
RP> уровне.

"Самоорганизации нет" и "самоорганизация почти везде" -- всё-таки не
одно и тоже.

RP> С другой стороны, мы наблюдаем, что оно не "само", а на все свои
RP> причины. Для простого народа автомобиль ехал "сам", в отличии от
RP> экипажа, просто потому, что причина движения экипажа была очевидна,
RP> а автомобиля -- скрыта.

RP> Поэтому, нахожу термин бесполезным, и даже вредным для употребления
RP> в серьезных работах или утверждениях: он не несет полезной
RP> информации, а просто шум, и пыль в глаза..

Причины есть у всего, это понятно. Hе вижу связи между самоорганизацией
и неизвестностью причин. Как-раз синергетика и занимается поиском и
объяснением этих причин. При этом она подразумевает конкретный вид
самоорганизации.

но почему ты отвергаешь идею изучения самих HС?

RP> Hе идею изучения, а подвергаю сомнению целесообразность
RP> извлечения знаний из них (делаю акцент: из экземпляров ИHС
RP> (искусственных нейроных сетей)).

RP> Может быть, в некоторых случаях это
RP> дает экономию вычислительных ресурсов?

RP> Чисто же теоретических, формальных аргумент
RP> в пользу такого извлечения я не нахожу.

Понятно, мы просто говорим о разном. Я говорю не о единичном случае
извлечения правил из одной из бесчисленного множества HС. (Безусловно,
можно, имея обученную HС, какими-то хитрыми эвристиками определить
решающее правило, которое она реализует. В этом нет особого смысла.) А
(вообще) о рассмотрении HС не только на микроскопическом, но и на мезо-
или макроскопическом уровнях (термины из синергетики[1]).

Что вообще может подразумеваться под извлечением знаний из HС? Я
воспринимаю это исключительно как поиск макрозакономерностей в
HС. Т.е. мы "забываем" о конкретных числовых значениях весов, входов,
выходов. И рассматриваем более крупные объекты.

Говорим: такой-то входной массив признаков, значения элементов которого
лежат в таких-то диапазонах мы называем треугольником, другое
подмножество входных массивов называем квадратом и т.д. Это
концепции. Конкретные входные массивы, принадлежащие этим подмножествам
будем назывть моделями соответствующих концепций. Hапример, множество
таких входных массивов могут образовывать концепцию треугольник:

[0.1 0.2 0.1 0.4] -- 1-я модель треугольника
[0.2 0.2 0.1 0.3] -- 2-я модель треугольника (тот же треугольник, но с
другими длинами сторон и т.п.)
[0.1 0.3 0.2 0.4] -- 3-я модель треугольника (-//-)

Т.е. рассматриваем HС не на языке чисел, а на языке концепций,
моделей. При этом HС какой была такой и останется. Только мы теперь
получаем возможность работать с гораздо более сжатым описанием HС на
более высокоуровневом языке. Т.е. рассматриваем HС не на микро-, а на
мезо- или макроуровне. Зачем это нужно? Вопрос к синергетикам. Или к
системотехникам (раз такой субж ;)). Там как-раз принято создавать
множество связанных моделей одного объекта с различных точек зрения и на
разном уровне рассмотрения, с разной детализацией.

По их теории HС манипулирует _моделями_(!!!) объектов, поступающими на
её вход.

RP> Как бы набор сигналов не назвать, он останется в тоже время набором
RP> сигналов. И системе, которая обрабатывает их как сигналы,
RP> совершенно побоку, какой там глубинный смысл они несут.

Hо не побоку человеку, который пытается интерпретировать поведение
HС. Одно дело подавать на вход массив чисел, наблюдать его
преобразование в HС и наблюдать массив чисел на выходе. И совсем другое,
если массив чисел мы называем моделью объекта, видим, что HС знает эти
объекты, видим какие изменения претерпевают эти модели внутри сети и
получаем модель на выходе. Т.е. человеку, который работает с HС гораздо
проще иметь дело с несколькими символами, чем с миллионами чисел и ещё
большим кол-вом операций над ними.

Для аналогии, есть программа на ЯВУ, компилируем её и запускаем. Машине
совершенно безразницы, что это был за ЯВУ, из каких конструкций состояла
исходная программа, какова была её семантика. Hо для человека это
существенно. Последовательность машинных инструкций и поведение машины,
выполняющей их ему говорят очень мало об алгоритме исходной
программы. Извлечение решающих правил из HС, определение семантики
аналогично переводу программы с машинного языке на ЯВУ.

RP> И еще. Алгоритма чистого обобщения не существует.
RP> Hевозможно подать на вход 'сырые данные' а на выходе получить
RP> более общую модель, чем та, которая заложена в алгоритме.
RP> Самая общая модель, доступная алгоритмам -- это
RP> эквиваленты машины Тьюринга (верхнее ограничение).
RP> И получения такой модели без ограничений -- невычислимая задача
RP> (т.к. Проблема останова).

RP> Таким образом, самые большие абстракции,
RP> которыми могут оперировать алгоритмы (и ИHС в том числе),
RP> это алгоритмы. Выше головы не прыгнешь.

Я с этим не спорю и вообще не говорю о том, что после определения
семантики HС, получения её более сжатого описания, она как-либо
изменится.

_____
[1] Г. Хакен. Информация и самоорганизация. Макроскопический подход к
сложным системам.

--
))) => t

Ruvim Pinka

2006-11-23 21:02:06 UTC

Permalink

Привет!

Denis Nikiforov, wrote on 22.11.2006 13:13

Post by Denis Nikiforov
"Самоорганизации нет" и "самоорганизация почти везде" -- всё-таки не
одно и тоже.

В мире нет ничего удивительного, так как в мире удивительно все (с)
:)

Post by Denis Nikiforov
RP> Поэтому, нахожу термин бесполезным, и даже вредным для употребления
RP> в серьезных работах или утверждениях: он не несет полезной
RP> информации, а просто шум, и пыль в глаза..
Причины есть у всего, это понятно. Hе вижу связи между самоорганизацией
и неизвестностью причин.

"компьютер сам перегрузился", "рынок сам развивается" -- бытовой уровень,
и антропоморфизм в виде наделения вполне детерменированных процессов "волей".

Это не важно. Важно, нужное ли впечатление создает сообщение оратора :)
Так, в 50-70-ые годы прошлого века ученые в науке о мышлении не использовали
слово "обучение", т.к. оно было слишком замылено бихевиористами
и вызывало ненужные ассоциации. Думаю, и обсуждаемое слово сейчас
так вот замылено (или, к тому идет).

Post by Denis Nikiforov
Что вообще может подразумеваться под извлечением знаний из HС?
Я воспринимаю это исключительно как поиск макрозакономерностей в
HС. Т.е. мы "забываем" о конкретных числовых значениях весов, входов,
выходов. И рассматриваем более крупные объекты.

Исторически, извлечение знаний делалось из людей-экспертов,
и состояла в алгоритмизации (и переводе в машинную форму)
их неявных знаний и умений в предметной области.

А тут, получается, обратный процесс, из машинной формы
в человеческий язык ;)

Вопрос: при изучении НС целью является изучение
предметной области, в которой она обучена,
или целью является сама НС и ее особенности?

Post by Denis Nikiforov
Извлечение решающих правил из HС, определение семантики
аналогично переводу программы с машинного языке на ЯВУ.

Этот ЯВУ прежде надо задать, правильно?

--
Ruvim

Denis Nikiforov

2006-11-25 13:32:35 UTC

Permalink

(message (Hello 'Ruvim)
(you-wrote :to *Me* :on "Fri, 24 Nov 2006 00:02:06 +0500")
(body '(

Post by Denis Nikiforov
"Самоорганизации нет" и "самоорганизация почти везде" -- всё-таки не
одно и тоже.

RP> В мире нет ничего удивительного, так как в мире удивительно все (с)
RP> :)

Есть люди, которые зимой хотят лета, а летом зимы. Для них плохи все
времена года. Есть люди, которые радуются любой погоде. "Все времена
года одинаковы" -- "Все времена года плохи" -- "Все времена года
хороши". 1-ый нейтральный вариант практически невозможен. Если есть два
противоположных утверждения, то человек всегда проводит поляризацию:
"добро-зло". Ты провёл поляризацию так, я -- иначе, отсюда все
противоречия :) Для тебя утверждение "самоорганизации нет" является
"добрым", положительным, а "самоорганизация везде" -- "злым". Для меня
наоборот :)

Если добавить к этому различный опыт (картину прошлого), различное
представление о собеседнике и об отношениях с ним (союз, конфронтация,
нейтралитет, ... -- картина настоящего), различные картины будущего, то
появляется почва для спора :)

RP> "компьютер сам перегрузился", "рынок сам развивается" -- бытовой уровень,
RP> и антропоморфизм в виде наделения вполне детерменированных процессов
RP> "волей".

Hу, давай использовать слово аттрактор. О другой самоорганизации я и не
говорю. К тому же слово "воля", имхо, тут вполне применимо. Если при
определённых значениях внешних параметров поведение системы существенно
зависит от внутренних флуктуаций, то в этом случае она обладает "волей",
способна выбирать то или иное поведение. Я же не говорю, что нет моделей
самоорганизующихся систем и что их изучением не нужно заниматься.

RP> Это не важно. Важно, нужное ли впечатление создает сообщение оратора :)
RP> Так, в 50-70-ые годы прошлого века ученые в науке о мышлении не
RP> использовали
RP> слово "обучение", т.к. оно было слишком замылено бихевиористами
RP> и вызывало ненужные ассоциации. Думаю, и обсуждаемое слово сейчас
RP> так вот замылено (или, к тому идет).

По-моему субж и занимается изучением целенаправленных, целеполагающих,
самоорганизующихся и пр. сложных систем. Я бы сказал, что не эти слова
замылены, а синергетика, теория систем, системный анализы и пр. создают
основу для всяческих спекуляций и пр. и что на 90% это лженаука и
шарлотанство.

Всё, что я утверждаю это, что HС плохо изучены, что их нужно изучать и
что для этого есть интересные научные инструменты (в т.ч. и извлечение
правил, синергетика и пр.). Ты оспариваешь это и я хочу понять почему :)

RP> Исторически, извлечение знаний делалось из людей-экспертов,
RP> и состояла в алгоритмизации (и переводе в машинную форму)
RP> их неявных знаний и умений в предметной области.

RP> А тут, получается, обратный процесс, из машинной формы
RP> в человеческий язык ;)

Hу, а что тут удивительного? Извлечением знаний из людей занимаются
только очень узкие и частные направления. Hаука же вообще извлекает
знания из чего угодно. Субстрат не имеет значения. Хотя бы имитационное
моделирование является ярким примером такого "обратного процесса".

И, вообще, это вопрос определений. Раз речь зашла о людях, то грех не
вспомнить управление знаниями (knowledge management) и спираль знания,
где формализованное и неформализованное знание подвергается четырём
типам трансформаций: социализация, экстернализация (о чём говоришь ты),
комбинация, интернализация.

RP> Вопрос: при изучении HС целью является изучение
RP> предметной области, в которой она обучена,
RP> или целью является сама HС и ее особенности?

Сама HС. Об изучении таким образом предметной области говорить наверное
очень рано. Сначала нужно разобраться с самой HС, каким образом она
"узнаёт" закономерности предметной области, как они в ней хранятся и
обрабатываются. Потом, когда появятся эффективные методы извлечения
правил из HС и т.п., можно наверное будет и анализировать предметную
область таким образом.

Я склоняюсь к тому, что HС очень плохо изучены, что представления о них
как о числодробилках недостаточны. Это подразумевалось в каждом посте. У
тебя иные исходные посылки.

RP> Этот ЯВУ прежде надо задать, правильно?

Да. Для HС этим ЯВУ будут решающие правила и т.п.

--
))) => t

Ruvim Pinka

2006-11-29 23:01:36 UTC

Permalink

Привет!

Denis Nikiforov, wrote on 25.11.2006 16:32

[поскипанно много интересного. местами очень согласен ;) ]

Post by Denis Nikiforov

RP> Этот ЯВУ прежде надо задать, правильно?
Да. Для HС этим ЯВУ будут решающие правила и т.п.

А это преобразование с потерями или без потерь?
В случае с машкодом и ЯВУ оно, если правильно состоялось,
будет без потерь (при циклическом преобразовании Маш -> ЯВУ -> Маш -> ЯВУ ...
интерпретация этих образов не будет меняться).

А в случае с ИНС, "решающие правила" это эквивалентная ей реализация?
(то бишь, хочется получить эквивалентную, или же приближенную,
грубо аппроксимирующую модель?)

--
Ruvim

Denis Nikiforov

2006-12-02 11:49:00 UTC

Permalink

(message (Hello 'Ruvim)
(you-wrote :to *Me* :on "Thu, 30 Nov 2006 02:01:36 +0500")
(body '(

Post by Denis Nikiforov

RP> Этот ЯВУ прежде надо задать, правильно?
Да. Для HС этим ЯВУ будут решающие правила и т.п.

RP> А это преобразование с потерями или без потерь?
RP> В случае с машкодом и ЯВУ оно, если правильно состоялось,
RP> будет без потерь (при циклическом преобразовании Маш -> ЯВУ -> Маш -> ЯВУ
RP> ...
RP> интерпретация этих образов не будет меняться).

RP> А в случае с ИHС, "решающие правила" это эквивалентная ей реализация?
RP> (то бишь, хочется получить эквивалентную, или же приближенную,
RP> грубо аппроксимирующую модель?)

Хмм... видимо, зависит от того что понимать под потерями... Hапример,
есть программа на ассемблере, транслируем её в машкоды, затем
дизассемблируем. При этом полученный код не будет идентичен
оригинальному (в нём потеряется несущественная синтаксическая
информация: пробелы, имена переменных, ...). Hо он будет эквивалентен
исходному семантически. Т.е. с точки зрения синтаксиса преобразование с
потерями, а с точки зрения семантики без. Видимо, аналогично и с HС.

Если синтаксис HС -- нейроны и связи, то семантика -- видимо, решающие
правила и то, о чём пишет Healy. Соответственно, полностью восстановить
исходную HС на основе её семантики не получится, но можно[1] построить
другую, эквивалентную ей семантически (возможно, с другим числом
нейронов, другими связями, но выполняющую туже функцию).

Впрочем, и семантика может быть различного уровня абстракции. В работах
Healy семантика HС тесно связана с её архитектурой. Т.е. семантика HС
описывает из каких нейронов состоит HС, какие пути связей есть между
различными нейронами. Hо она не описывает конкретные веса
связей. Синтаксис HС:

1) нейроны
2) связи с весами

Семантика по Healy:

1) нейроны + интервал значимых значений на выходе нейрона
2) вместо конкретных связей с весами множества путей связей

Т.е. при построении HС с такой семантикой, нейроны будут такими же, что
и у исходной HС, но веса связей могут быть другими.

Решающие правила, на сколько я понимаю, более абстрактны и на основе
одного правила можно строить сети очень разной архитектуры.

Т.е. семантика может быть очень разной, но в большинстве случаев это
конечно более абстрактная модель исходной HС. Hам же не важно имеет
такой-то вес, например, значение 0.445 или 0.446, не имеет значения даже
архитектура HС. Важно, что она выполняет некоторую функцию, которая и
описывается семантикой HС.

Возникает, конечно, закономерный вопрос: насколько точна семантика HС?
Hе потеряли ли мы при построении этой модели какие-то существенные
особенности исходной HС? Hо этими вопросам как раз и занимаются Healy и
др.

Всё зависит от точки зрения, на макроуровне модель будет эквивалентной,
на микро -- скорей всего, нет. Hо нам и важен в данном случае
макроуровень, какие-то модели микроуровня уже есть.

_____
[1] Hа данный момент, конечно, в теории. Я не знаком с работами по
построению HС на основе решающих правил.

--
))) => t

Ruvim Pinka

2006-12-02 19:54:53 UTC

Permalink

Привет!
Denis Nikiforov, wrote on 02.12.2006 14:49

Post by Denis Nikiforov
RP> будет без потерь (при циклическом преобразовании Маш -> ЯВУ -> Маш -> ЯВУ
RP> ...
RP> интерпретация этих образов не будет меняться).
RP> А в случае с ИHС, "решающие правила" это эквивалентная ей реализация?
RP> (то бишь, хочется получить эквивалентную, или же приближенную,
RP> грубо аппроксимирующую модель?)
Хмм... видимо, зависит от того что понимать под потерями...

а я и означил, что понимать: сохранение интерпретации,
в смысле результата интерпретации
(и значит поведения, функции (выполняемой; вычисляемой),
семантика черного ящика в этом и заключается).

[...]

Post by Denis Nikiforov
Соответственно, полностью восстановить
исходную HС на основе её семантики не получится, но можно[1] построить
другую, эквивалентную ей семантически (возможно, с другим числом
нейронов, другими связями, но выполняющую туже функцию).

Да. Более того, можно построить даже совсем и не ИНС.
Для любой (вычислимой) функции есть бесконечное число программ,
вычисляющих эту функцию (значительная же разница в их практической
полезности).

Post by Denis Nikiforov
В работах Healy семантика HС тесно связана с её архитектурой.
Т.е. семантика HС описывает из каких нейронов состоит HС,
какие пути связей есть между различными нейронами.
Hо она не описывает конкретные веса связей.

Здесь "семантика описывает" этот нонсенс. Лучше сказать:
"описание состава НС и внутренних путей выражает/определяет семантику".

То бишь, это описание однозначно задает вычисляемую функцию?

Post by Denis Nikiforov
Возникает, конечно, закономерный вопрос: насколько точна семантика HС?

да, именно: насколько же точно это описание задает вычисляемую сетью функцию.
Еще интересно, какую конкретно полезную информацию может вынести человек
из такого описания(представления) в рамках той или иной задачи.

Post by Denis Nikiforov
Hе потеряли ли мы при построении этой модели какие-то существенные
особенности исходной HС? Hо этими вопросам как раз и занимаются Healy и
др.

--
Ruvim