Im Gegensatz zu Organismen, die ihre Grenzen selbst definieren und gegen Entropiedrang ankämpfen müssen, um eben diese Grenzen permanent aufrecht zu erhalten, sind sie bei Maschinen nicht klar festgelegt und von "uns", vom Betrachtenden, festgelegt. Ist der Speicher (zb.: Magnetband) ein Teil der Maschine oder extra, oder sogar eine zweite Maschine. Wie ordnet sich eine Maschine selbst, wenn sie selbst gar nicht weiß/entscheiden, wo ihre eigene Grenze ist? Selbiges gilt für den Ordnungsgrad einer Maschine, wann ist sie "geordnet", bzw. noch weiter gefasst, was ist Ordnung?
Ähnliche wie bei der Abgrenzung von Maschine wird die Definition von Ordnung bzw. Unordnung, vom Betrachtenden festgelegt. Welches Ordnungssystem wird auf welchen Bereich angewendet, um feststellen zu können, welchen Ordnungsgrad (s)ein System aufweist. In "Wissen und Gewissen" formuliert Heinz v. Förster seine zentrale Fragestellung so: "Sind die Zustände der Ordnung und Unordnung Sachverhalte, die entdeckt worden sind, oder sind es Sachverhalte, die erfunden werden?" und stellt kurz darauf hin klar, dass Ordnung eine Erfindung und keine Entdeckung des Menschen ist.
Er sagt, Ordnung/Unordnung ist ein sprachliches Konstrukt unsererseits um die Welt beschreibbar und navigierbar zu machen. Es ist, im Gegensatz zur Entropie, keine wissenschaftliche messbare Größe. Daher, Entropie vereinfacht als “Maß der Unordnung” zu beschreiben, ist zu unpräzise. Heinz von Förster beweist seine These, dass Ordnung/Unordnung eine Erfindung ist, mit folgendem Beispiel: "0,1,2,3,4,5,6,7,8,9" und "8,5,4,9,1,7,6,3,2,0". Welches der Beiden ist geordnet? Auf den ersten Blick scheint nur die erste Zahlenfolge geordnet zu sein. Die zweite hingegen scheint eine zufällig aufeinanderfolgende Reihe von Zahlen zu sein.

Tatsächlich wird die Ordnung der 2. Reihe klar, wenn man ein anderes von uns erfundenes Ordnungssystem einsetzt, das Alphabet. "eight, five, four, nine, one, ..." Sofort fügt sich für uns die Ordnung des Zweiten.
Also, um den Grad der Ordnung zu messen, muss man immer das Bezugssystem definieren. Somit ist Ordnung/Unordnung kein Maß, keine Eigenschaft in Dingen an sich, sondern eine Eigenschaft des Beobachters.
Ordnung im Sinne der Entropie heißt, jedes Ding/jeder Partikel ist an seinen Platz und es gibt nur einen Platz für jeden Partikel. Wie kann ich also Ordnung "errechnen"? Für Heinz von Förster ist die beste Maßeinheit dafür "Redundanz" wie sie Claude Shannon, ein US-amerikanischer Mathematiker und Elektrotechniker, in seinem Paper "Mathematische Grundlagen in der Informationstheorie" (Orig. Titel: The Mathematical Theory of Communication) aus 1949, definiert hat. Shannon gilt als Begründer der Informationstheorie. Er beschäftigte sich in dem Paper mit dem Informationsgehalt von Nachrichten, dem Problem der effizienten Datenübertragung, Codierung, Redundanz, etc.

Schema (Allgemeines Kommunikationssystem laut Shannon):

Informationsource -> Transmitter -> Signal (Noise) -> Received Signal -> Receiver -> Destination

Dazu griff er den Begriff der Entropie auf, er verwendet den Begriff aus der Physik für die Informationstheorie. Für Beides gilt, je wahrscheinlicher ein Zustand umso größer seine Entropie. Ein abgeschlossenes System ist im thermodynamischen Gleichgewicht, wenn seine Entropie maximal ist, es befindet sich in seinem wahrscheinlichsten Zustand.

Die Shannon-Entropie beschreibt die minimale Anzahl von Bits (0 oder 1) um ein Zeichen darzustellen bzw. übertragen zu können oder umgekehrt es beschreibt die maximale Effizienz. Der Informationsgehalt eines Zeichens, ist bestimmt durch Auftrittshäufigkeit (Wahrscheinlichkeit) in der Nachricht. Je öfter das Zeichen vorkommt, desto geringer deren Informationsgehalt. Bei der Berechnung der Informationsentropie geht man immer davon aus, alle verwendeten Zeichen, den Zeichensatz, und die gesamte Nachricht zu kennen. Unter diesen Bedingungen kann man die Gleichgewichtszustandwerte der einzelnen Zeichen errechnen. Diese Mittelwerte bilden die Basis zur Berechnung der Informationsentropie.

Beispiel (von Ashby):

Nachricht -> ...BAABDAAABCABAADA... -> Beim Equilibrium ist die relative Frequenz der einzelnen Zeichen wie folgt: A 1/2, B 1/4, C 1/8, D 1/8; Anzahl Elemente = 8; Anzahl Klassen = 4; -> AAAABBCD => Entropie H = 1.75

Unter Verwundung von Entscheidungsbäumen kann man recht anschaulich die Entropie H berechnen.

Input: AAAABBCD

      A||B
      /  \
    AB    CD
    A?    C?
   / \   / \
  A   B C   D

Für A müssen wir 2 Fragen stellen
Für B müssen wir 2 Fragen stellen
Für C müssen wir 2 Fragen stellen
Für D müssen wir 2 Fragen stellen

AAAABBCD -> (2+2+2+2+2+2+2+2)/8 = 2;

Bei AABBCCDD muss man Durchschnittlich 2 Fragen stellen um die Nachricht zu definieren. Bei AAAABBCD auch wieder durchschnittlich 2 Fragen, aber da wir die Nachricht zur als Ganze kennen, können wir den Entscheidungsbaum auf die Nachricht anpassen und somit die Effizienz optimieren.

Input: AAAABBCD

       
    A?
   /  \
  A   BCD
       B?
      / \
     B  CD
        C?
       / \
      C   D

Für A müssen wir 1 Frage stellen
Für B müssen wir 2 Frage stellen
Für C müssen wir 3 Fragen stellen
Für D müssen wir 3 Fragen stellen

=> Summe(Anzahl der Fragen)/Anzahl der Elemente; AAAABBCD -> (1+1+1+1+1+2+2+3+3)/8 = 1.75;

Wollen wir jetzt diese Daten übertragen, brauchen wir einen Kanal mit 2 Bit (4 Zeichen können mit 2 bit dargestellt werden; Bsp. A = 00, B = 01, C = 10, D = 11) Die Informationsentropie hat uns aber 1.75 errechnet, daher muss es möglich sein die ganze Information einer Nachricht ohne Verlust in 1.75 Schritten und nicht in 2 Schritten übertragen zu können. Bei angenommen 8 Schritten muss es auch in 7 gehen. Eine Zunahme der Entropie bedeutet würde bedeuten eine Abnahme der aktuellen Information aber eine Zunahme der potentiellen Information.

Was hat jetzt die Informationsentropie mit der termodyn. Entropie zu tun? Der Gleichheit des Begriffs kommt nicht von irgendwo, sondern davon, dass die Formel zu Beschreibung der Entropie in der Thermodynamik und in der Informationstheorie gleich sind, abgesehen von der Boltzmann-Konstante (Proportionalitätsfaktor zwischen mechanischer (kinetischer) Energie und thermischer Energie) J/K.

thermodyn. Entropie S = -kb Summei pi ln pi

Informationsentropie Ipot= - Summei pi ln pi

Da die Informationsentropie nicht in der materiellen Welt existiert, ist der Proportionalitätsfaktor (Boltzmann Konstante) und somit der 2. Hauptsatz der Thermodynamik nicht anzuwenden. Es gilt, die thermodyn. Entropie ist ein Spezialfall der Informationsentropie, die Informationsentropie ist allgemeiner.

Ausgehend von der Informationsentropie kann man die Ordnung berechnen, wie schon oben erwähnt hält Heinz von Förster die Redundanz als gute Maßeinheit, 1 - relativer Entropie.

R = 1 - H/Hm

H = Entropie; Hm = Maximale Entropie Shannon spricht von der "relative Entropie"; Redundanz bewegt sich zwischen 0 und 1 Wenn das System in maximaler Unordnung ist dh. H = Hm, dann gilt R = 0; Bei maximaler Ordnung hingegen, wo die Entropie verschwindet H = 0 -> R = 1 - (0/1) => R = 1;

Beispiel:

Maximale Entropie Hm = 2 (AABBCCDD)

AAAAABCD -> E = 1.54, R = 0.23 AABBCCDD -> E = 2.0, R = 0 AAAABBCD -> E = 1.75, R = 0.125

Die Redundanz als Maßeinheit eignet sich aber meiner Meinung nicht wirklich zur Beschreibung von Ordnung, zumindest nicht für Struktur bzw. Patterns. Mit Ordnung meine ich Clustering und Wiederholungen. Erstmal, die Informationsentropie sagt nichts über mein Verständnis von Ordnung aus. Ein für meine Augen geordneter Pattern AABBCCDD hat laut Shannon eine Redundanz (Ordnung) von 0 ist somit am Ungeordnetsten, der Pattern ABACAAAD hat die höchste Redundanz, und ist somit meist geordnet. Meiner Intuition nach, ist ersteres am geordnetsten, da es einen Pattern zeigt, die räumliche Nähe der einzelnen Punkte unter sich ist wichtig für mich. Wie kann ich also Musterähnlichkeit mathematisch erkennen und am Besten auf einem 2 Dimensionalen Array?

Kurz Beispiele, dazu was ich als "geordnet" bzw. als hohe Unordnung ansehe.

	
A) Hohe      B) Mittl     C) Niedrig

1,0,0,0,1    1,1,0,0,1    1,0,1,0,1    1,1,1,1,1
0,0,1,0,0    1,1,0,0,1    0,1,0,1,0    0,0,0,0,0
0,1,0,1,1    0,0,0,0,0    1,0,1,0,1    0,0,0,0,0
1,0,0,0,0    1,1,0,0,1    0,1,0,1,0    0,0,0,0,0
0,1,0,1,1    0,1,0,1,1    1,0,1,0,1    1,1,1,1,1

Um Ordnung rechnerisch zu beschreiben kann man die verschieden große Laufsumme verwenden um Ordnungsprofile der einzelnen Matrizen zu erstellen.

1,0,0,0,1
0,0,1,0,0 => Ordnung = 0.97
0,1,0,1,1
1,0,0,0,0
0,1,0,1,1

k = 2;

1,0,0,0,1     1,1,1,1
0,0,1,0,0 ->  1,2,2,2 => Ordnung = 0.99
0,1,0,1,1     2,1,1,2
1,0,0,0,0     2,1,1,2
0,1,0,1,1

k = 3;

1,0,0,0,1    3,3,4
0,0,1,0,0 -> 3,3,3 => Ordnung = 0.92
0,1,0,1,1    3,4,4
1,0,0,0,0
0,1,0,1,1

k = 4;

1,0,0,0,1    5,5
0,0,1,0,0 -> 6,7 => Ordnung = 1.5
0,1,0,1,1
1,0,0,0,0
0,1,0,1,1


1,0,1,0,1
0,1,0,1,0 => Ordnung = 1
1,0,1,0,1
0,1,0,1,0
1,0,1,0,1

k = 2;

1,0,1,0,1    2,2,2,2
0,1,0,1,0 -> 2,2,2,2 => Ordnung = 0
1,0,1,0,1    2,2,2,2
0,1,0,1,0    2,2,2,2
1,0,1,0,1

k = 3;

1,0,1,0,1    5,4,5
0,1,0,1,0 -> 4,5,4 => Ordnung = 0.99
1,0,1,0,1    5,4,5
0,1,0,1,0
1,0,1,0,1

k = 4;

1,0,1,0,1    8,8
0,1,0,1,0 -> 8,8 => Ordnung = 0
1,0,1,0,1
0,1,0,1,0
1,0,1,0,1

Um den nun den Ordnungsgrad festzustellen, muss man die Werte in Relation setzen. Dazu werden zu jeder Matrizengröße bzw. Laufsummengröße 1000 zufällige Matrizen erstellen und der Mittelwert errechnet, hier Profil R genannt:


Profil A = (0.97,0.99,0.92,1.50);
Profil B = (1.00,0.00,0.99,0.00);
Profil R = (0.97,1.72,1.75,1.34);

Somit erkennen wir, Matrix A ist wenig überraschend im Vergleich zu Matrix B ungeordnet, aber auch ungeordneter als der Mittelwert der zufälligen Matrizen (Profil R).