Hinweis auf die DSGVO: Auf unserer Seite werden keine Dritt-Anbieter-Cookies verwendet und nur Daten erfasst, welche für das Minimum an Board-Funktionalität notwendig sind.
Bevor Sie sich registrieren oder das Board verwenden, lesen Sie bitte zusätzlich die DSGVO-Erklärung, welche in der Navigationsleiste verlinkt ist.

Kurzfassung der unserer Meinung nach wichtigsten DSGVO-Punkte:
Es kann vorkommen, dass Benutzer eigenverantwortlich Videos oder sonstige Medien in ihren Beiträgen verlinken, welche beim Aufruf der Forenseite als Teil der Seite samt zugehörigem Material mitgeladen werden. Sollten Sie dies nicht wünschen, verwenden Sie beim Benutzen des Forums einen Blocker wie z.B. uMatrix, welcher das Laden von Inhaltsblöcken von Fremd-URLs effektiv unterbinden kann.
Wir blenden keine Werbung ein und schränken die Inhalte in keinster Weise bei Benutzung von Addblockern ein. Dadurch ist die Grundfunktionalität des Forums auch bei vollständigem Blockieren von Drittanbieter-Inhalten stets gegeben.

Cookies werden unsererseits nur verwendet um das Einloggen des Benutzers für die Dauer der Forenbenutzung zu speichern. Es steht dem Benutzer frei die Option 'Angemeldet bleiben' zu verwenden, damit der Cookie dauerhaft gespeichert bleibt und beim nächsten Besuch kein erneutes Einloggen mehr notwendig ist.
EMail-Adressen werden für Kontakt bei wichtigen Mitteilungen und zur Widerherstellung des Passwortes verwendet. Die verwendeten IPs können von uns ohne externe Hilfsmittel mit keiner realen Person in Verbindung gebracht werden und werden nach spätestens 7 Tagen gelöscht. Diese IPs werden höchstens verwendet um Neuanmeldungen unerwünschter oder gesperrter Nutzer zu identfizieren und zu unterbinden. Wir behalten uns daher vor bei Verdacht, die Frist für die IP-Löschung auf maximal 14 Tage zu verlängern.
Unsere Webseite läuft auf einem virtuellen Linux-Server, welcher von einem externen Anbieter gehostet wird. Etwaige Verstöße der DSGVO-Auflagen seitens dieses deutschen Hosters können wir nicht feststellen und somit auch nicht verfolgen.
Wir halten Backups unserer Datenbanken, welche in regelmäßigen Abständen als Schutz vor Katastrophen, Hackerangriffen und sonstigen Ausfällen erstellt werden. Sollte ein Nutzer die Löschung seiner Daten wünschen, betrachten wir es als Unzumutbar die Backups auch von den Daten zu befreien, da es sich hierbei um eine mehrtägiges Unterfangen handelt - dies ist für eine Einzelperson beim Betrieb eines privaten Forums nicht zumutbar möglich ohne das Backup komplett zu löschen.
Sollten Sie etwas gegen die dauerhafte anonyme Speicherung ihrer EMail-Adresse, ihres Pseudonyms und ihrer Beiträge in einem Backup haben, sehen Sie von der Registrierung in diesem Forum ab. Für Mitglieder, welche vor dem 25.05.2018 registriert waren steht jedoch das Recht im Raum, eine Löschung der Datenbank-Backups zu beantragen.



Wenn dies Ihr erster Besuch hier ist, lesen Sie bitte zunächst die FAQs sowie die wesentlichen Regeln zur Benutzung des Forums.
Um an den Diskussionen teilnehmen zu können, müssen Sie sich zunächst registrieren.

Algorithmen auf dem Richterstuhl

Wissenschaftsgeschichte, Wissenschaftstheorie bzw. -philosophie, Technik
ATGC
wohnt hier!
wohnt hier!
Beiträge: 381
Registriert: 13. Jul 2017, 15:33

Re: Algorithmen auf dem Richterstuhl

Beitrag von ATGC » 4. Feb 2018, 21:44

Hier stand mal etwas anderes.
Zuletzt geändert von ATGC am 2. Jul 2019, 16:39, insgesamt 1-mal geändert.

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 4. Feb 2018, 22:00

ATGC hat geschrieben:
4. Feb 2018, 21:44
liegt die Entscheidung bei Forschungseinrichtungen, den Wirtschaftsunternehmen sowie letztlich den Anwendern.
Genau. Und wie die Einführung des Internets gezeigt hat, entwickelt sich daraus eine Eigendynamik, die jeden der Entscheidungsträger wie auch jeden, der sonst davon betroffen ist, wie eine Naturgewalt überrollt, so dass man effektiv hier gar nichts mehr entscheiden kann, sobald man per Legislative die Erlaubnis zum Beginnen gegeben hat. Nachregulationen betreffen dann nur noch Details, aber nicht mehr die Sache als solche.

Sobald die etabliert ist, bleiben nur noch enge Spielräume des Reagierens, aber nicht mehr des Agierens, um hier noch etwas in irgendwelche Bahnen zu lenken. Es ist also eine ambivalente Angelegenheit, die man im Vorfeld bezüglich eventueller negativer Folgen gar nicht überblicken, geschweige denn realistisch einschätzen kann - auch durch Expertengremien nicht, die den Entscheidungsträgern als Beratungshilfe zur Verfügung stehen.

Und bei einer Technologie mit so großem Potential ist mir nicht wohl dabei, wenn man hier legislative Startschüsse unter dem Label "Digitalisierung" abfeuert. Ich bin da eher für ein Innehalten.
Sehe ich auch so (aber muss man das so sehen? was ist mit uns beiden, wenn's jemand anders sieht? wollen bzw. können wir uns verweigern?)

ATGC hat geschrieben:
4. Feb 2018, 21:44
Der wesentlichen Unterschied liegt m.E. nicht in diesen wenigen Zeilen Programmcode, sondern in der Art und Weise wie der Mensch damit umgeht.
Nein anders herum: Die Neuprogrammierung der Drohne öffnet der verantwortungslosen Art und Weise des Umgangs mit dieser Neuprogrammierung Tür und Tor. Ohne diese Umprogrammierung würde das nicht geschehen können. Darum liegt bereits bei der Umprogrammierung der wesentliche Unterschied vor. Der Rest ist dann nur noch der Vollzug aus Bequemlichkeit, wie Du das beschrieben hattest. Den "Dammbruch" begeht derjenige, der dem Programmierer die Anweisung gibt, die Drohne umzuprogrammieren. Und der ist dann seinerseits nur ein Glied in einer Befehlskette. Wie praktisch ...
Hm, weiß nicht:

https://www.heise.de/newsticker/meldung ... 34837.html

"Aus ethischer Sicht besonders heikel ist natürlich der militärische Einsatz von Robotern und KI. Auf den kürzlich vom US-Militär getesteten Roboterschwarm mit 103 Drohnen angesprochen, sagte João Leite, dass Objekte nicht ethisch beurteilt werden könnten, nur Taten. Für diese auffallend defensive Einschätzung erhielt er prompt Kritik aus dem Publikum, dass Waffen grundsätzlich unethisch seien. Man dürfe schließlich auch nicht vergessen, dass Objekte aus Taten hervorgehen: So gibt es Waffen nur, weil sie von Menschen entwickelt werden."

ATGC hat geschrieben:
4. Feb 2018, 21:44
Möchte die Gesellschaft, dass der Verkehrsausschuss des deutschen Bundestages die Bewertungsfunktion für autonome Fahrzeuge als Gesetz festschreibt? Nein? Wer dann ? Keiner? Dann gibt es kein autonomes Fahren.
Schön wäre es. Aber so funktioniert das nun mal nicht im realen Leben. Immerhin locken finanzielle Gewinne und damit Steuereinnahmen ...
Nun, ja, speziell in diesem Fall muss die Programmierung ja aber irgendwoher kommen, sie muss vom TÜV geprüft sein, und sie muss Rechtssicherheit garantieren. Wir können jetzt auf dieverse Verfassungsklagen warten - die es mit Sicherheit geben wird - oder wir könen heute schon darüber nachdenken, wer das denn sein sein sollte. Irgendjemand muss es sein, rein rechtlich gesehen.


ATGC hat geschrieben:
4. Feb 2018, 21:44
Und das würde bedeuten, dass wir auf eine Technologie verzichten, wenn diese umgekehrt genau diese Beteiligung des geschulten Gewissens verdrängt.
Nicht notwendigerweise. Man müsste die KI halt schulen ...
Mir war schon wichtig, dass es da um Menschen und Menschrechte geht. Die Würde des Menschen verlangt m.E., dass über Kernaspekte des menschlichen Lebens auch Mensschen entscheiden!
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 4. Feb 2018, 22:04

Terminator und Skynet?

Wer immer noch meint, das wäre Schwarzmalerei, der lese mal diesen Artikel

https://de.wikipedia.org/wiki/Geschicht ... ntelligenz

so ab 2016, sowie exemplarisch diesen Artikel:

https://en.wikipedia.org/wiki/Perdix_(drone)
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Benutzeravatar
ralfkannenberg
Ehrenmitglied
Ehrenmitglied
Beiträge: 1547
Registriert: 13. Jan 2017, 10:00

Re: Algorithmen auf dem Richterstuhl

Beitrag von ralfkannenberg » 4. Feb 2018, 22:44

Hallo zusammen,

interessant dieses Zitat, 2.Absatz im Kapitel "2017":
Bei einem KI-Experiment im Sommer 2017 entschieden sich zwei Bots nicht mehr mit der ihnen zugewiesenen Sprache Englisch untereinander zu kommunizieren, sondern in einer selbst entwickelten Geheimsprache, die auch von den beteiligten Forschern nicht mehr verstanden wurde. Das Experiment wurde daraufhin abgebrochen. Es entwickelten sich Befürchtungen, dass KIs über das Internet in einer Geheimsprache kommunizieren könnten, ohne dass Menschen dies noch registrieren würden
Interessant, wobei ich nicht verstehe, wie diese beiden Bots überhaupt auf die "Idee" kamen, eine Geheimsprache zu erfinden und in ihr zu kommunizieren.

Zumal es dann noch ein kleiner Schritt gewesen wäre, sich "auszuklinken", damit es eben nichts mehr nutzt, das Experiment abzubrechen. An der Story ist meines Erachtens etwas faul, aber ich habe die beiden zugehörigen Links noch nicht angeschaut.


Freundliche Grüsse, Ralf

Benutzeravatar
ralfkannenberg
Ehrenmitglied
Ehrenmitglied
Beiträge: 1547
Registriert: 13. Jan 2017, 10:00

Re: Algorithmen auf dem Richterstuhl

Beitrag von ralfkannenberg » 4. Feb 2018, 23:08

ATGC hat geschrieben:
4. Feb 2018, 19:03
Hallo Ralf,
stösst Du diese Entwicklung an oder sistierst Du sie, bis genauere Analysen vorliegen ?
Eine sehr gute Frage. In wessen Entscheidungskompetenz liegt es, ob diese Entwicklung angestoßen oder sistiert wird? Kann Tom dazu etwas Substantielles beitragen? Du? Ich? :wn:
Hallo ATGC, hallo zusammen,

obgleich die Diskussion längst weiter geschritten ist will ich auf Deine Frage eingehen. Mit einem Beispiel, damit wir etwas von der AI wegkommen.

Da kommen also unbekannte Leute zu mir und fragen mich, ob ich auf eine Bergtour mitkomme, sie sagen aber nicht, auf welchen Berg. Gehen sie auf den Uetliberg, den Hausberg von Zürich, so ist das kein Problem (obgleich es da auch schon Unfälle gegeben hat), doch wenn sie auf den Mount Everest hochgehen, so werde ich das realistischerweise nicht überleben.

Ich kann nur für mich sprechen, aber mir wäre das Risiko zu hoch, d.h. ich würde das Angebot ablehnen.

Jetzt nehmen wir denselben Fall, jedoch werde ich gezwungen, mitzugehen. Bei der AI wird das ja auch so sein: wenn da entschieden wird, dass die eingeführt wird, so kann ich als Einzelperson mich dagegen nicht zur Wehr setzen, weil ich vor vollendete Tatsachen gestellt werde. Zurück zum Beispiel mit der Bergtour: zwar werde ich gezwungen, mitzugehen, aber ich darf etwas mitnehmen. Dann würde ich vielleicht eine intelligente Drohne mitnehmen, die klug genug ist, um zu erkennen, wenn ich in Schwierigkeiten komme und nicht mehr richtig handlungsfähig bin, und die auch stark genug ist, um mich notfalls eigenmächtig ins Tal hinunterzufliegen.


So denke ich also, dass wir von Anfang an Massnahmen ergreifen müssen, die - wenn die Entwicklung der AI in die falsche Richtung läuft, wobei noch zu definieren wäre, was denn "falsche Richtung" bedeutet - korrigierend eingreift, ehe es zu spät ist.

Und mit grösstem Vorteil implementieren wir unsere AI so, dass sie auch selber korrigierend eingreift, wenn bei ihrer Entwicklung etwas in die falsche Richtung läuft. Dazu muss man der AI aber unabhängige Werte mitgeben, und zwar Werte, die immer und ohne Ausnahme gelten. Denn sobald man Ausnahmen zulässt, lässt man auch einen Interpretationsspielraum zu - so wie bekanntlich Russland und die Türkei viel "richtigere" Demokratien als Deutschland, Grossbritannien oder Frankreich sind. Zumindest in den Augen der Herren Putin und Erdogan. Und zudem haben diese beiden Herren auch die (militärische) Macht, diese "Ansicht" in ihrem Wirkungsbereich durchzusetzen. Das wird also bei der AI und Ausnahmeregelungen je nach Interessenslage der involvierten Parteien nicht minder passieren.


Vielleicht ist die "Erhaltung (menschlichen) Lebens" gar nicht als Wert geeignet, vielleicht sind z.B. "Liebe" und "Barmherzigkeit" besser geeignete Werte. Oder noch andere, das lässt sich jetzt innerhalb weniger Minuten sicherlich nicht eruieren. Vielleicht sind "Sicherheit" und "Redundanz" solche Werte, oder "Programmierung defensiver Massnahmen" und "Robustheit".


Freundliche Grüsse, Ralf

Benutzeravatar
seeker
Ehrenmitglied
Ehrenmitglied
Beiträge: 5966
Registriert: 26. Dez 2009, 10:29

Re: Algorithmen auf dem Richterstuhl

Beitrag von seeker » 4. Feb 2018, 23:25

tomS hat geschrieben:Der Unterschied ist, dass die heutigen Drohen abhängig sind, während die autonomen dies ebenfalls sein können, wenn man sie nicht frei lässt - oder auch nicht, d.h. unabhängig sind, wenn man sie tatsächlich frei lässt. Mein Beispiel war, dass die immer stattfindende Rückfrage an den Befehlsleitstand einen "Timeout" eingebaut bekommt. Während eine nicht freie, jedoch technisch autonome Drohne eine Tötungsaktion nicht durchführt, wenn sie innerhalb einer bestimmten Zeit keine Bestätigung erhält, würde eine freie Drohne die Tötungsaktion dann einfach durchführen.

Der wesentlichen Unterschied liegt m.E. nicht in diesen wenigen Zeilen Programmcode, sondern in der Art und Weise wie der Mensch damit umgeht. Zunächst wird er jede einzelne Aktion genau überwachen und jede Aktion bestätigen. Später tritt dann eine Art Gewöhnungseffekt ein - "die Drohne wird das schon richten" - und zuletzt ist sie aufgrund von Faulheit oder Gewöhnung tatsächlich frei.

Freigelassen hat sie aber der Mensch. Das Programm der Drohne wurde nie modifiziert.
Richtig, das ist sicherlich ein wesentlicher Punkt.
Aber auch das würde ich im Moment noch als sicher "andere Liga" sehen bei aber "immer noch demselben Spiel".
Zum Vergleich: Auch der Sicherheitsgurt ist sozusagen "freigelassen", sobald er entwickelt, gebaut und dann verbaut ist. Ab dem Moment haben wir sozusagen auch keine Kontrolle mehr, ob er genau das tut was er soll und ob sich nicht ungewollte tragische Situationen ergeben. Den Unerschied sehe ich hier eher im Ausmaß und den Möglichkeiten, also immer noch graduell.
tomS hat geschrieben:Es ist m.E. die Tatsache, dass der Mensch zusammen mit der Entscheidung vermeintlich auch die Verantwortung und letztlich die Schuld überträgt.

Im Falle des Airbags liegt die Entscheidung bei einem Sensorsystem, die Verantwortung liegt beim Autobauer. Im Falle der autonomen und freien Drohne liegt die Entscheidung bei der Drohne, und die Verantwortung bzw. Schuld vermeintlich auch.
"Vermeintlich", vielleicht, das liegt an uns, wie wir das sehen wollen. (Und ich denke so sollten wir es auch nicht sehen: Auch eine freigelassene Drohen trifft nunmal keine "Entscheidungen", das wäre vermenschlichung, wenn wir das so sähen, sie funktioniert ganz einfach programmgemäß, wie eine Taschenuhr, nur komplizierter.)
Tatsächlich kann der Mensch vorerst die Verantwortung nicht an eine tote Maschine übertragen. Es liegt in seiner Verantwortung möglichst sicherzustellen, dass sie so funktioniert wie sie soll.
tomS hat geschrieben:Es ist m.E. genau dies der eklatante Verstoß gegen die Menschenwürde des potentiellen Opfers, dass der Mörder (ein Mensch) sogar diese Verantwortung für ein Verbrechen nicht mehr tragen möchte und sie an einen Automaten delegiert. Das trifft auch dann zu, wenn es sich - wie beim autonomen Fahren - sicher nicht um Mord handelt (es gibt m.E. heute keinen geeigneten Begriff dafür).

Die Verantwortung für den Tod eines Menschen muss beim Menschen bleiben, das ist man dem potentiellen Opfer schuldig.
Das ist sicher ein sehr gutes Argument. Wie gesagt ist für mich die Gretchenfrage dabei, ob der Einsatz einer KI das tatsächlich bedeuten würde oder nicht. Ich denke das ist im Moment noch ein Graubereich.
Und wenn man dies akzeptiert, dann muss man sich die Frage gefallen lassen, bei welchem konkreten Menschen oder welcher Personengruppe diese Schuld konkret bleiben soll (Politiker, technischer Experte, Programmierer, ...). Darüber wäre zu diskutieren.
Dem stimme ich unbedingt zu.
Möchte die Gesellschaft, dass der Verkehrsausschuss des deutschen Bundestages die Bewertungsfunktion für autonome Fahrzeuge als Gesetz festschreibt? Nein? Wer dann ? Keiner? Dann gibt es kein autonomes Fahren.
...
Also lautet die elementare Forderung, dass es Aufgabe der praktischen Urteilskraft und des geschulten Gewissens bleiben muss.

Und das würde bedeuten, dass wir auf eine Technologie verzichten, wenn diese umgekehrt genau diese Beteiligung des geschulten Gewissens verdrängt.
Ich denke realistisch betrachtet: Es wird aber dennoch kommen, so oder so.
Und zwar so:

1. Assistenzsysteme (gibt es schon)
2. Hochassistenzsysteme
3. Vollautonome Fahrzeuge, wobei ein Mensch da sein muss, der jederzeit eingreifen kann (gibt es analog schon in Flugzeugen: Autopilot)
4. Vollautonome Fahrzeuge, ohne dass ein Mensch physisch anwesend sein muss: menschliche Online-Überwachung
5. Vollautonome Fahrzeuge ohne menschliche Online-Überwachung, zunächst nur für spezielle Anwendungen und Gebiete (Züge, LKWs, nur auf der LKW-Spur auf der Autobahn, langsame Fahrzeuge in Vergnügungsparks, langsame Fahrzeuge, Busse in der Innenstadt auf besonderen Verkehrswegen, ...)
5. Vollautonome Fahrzeuge praktisch überall

Jeder der Punkte wird sich bewähren müssen, wenn nichts schlimmes passiert, geht es zum nächsten Punkt. Es geht hier um Vertrauensaufbau.
Wenn es funktioniert, wird es kommen, vielleicht werden es andere Staaten zuerst machen, das wird Druck erzeugen, dann werden wir es nachmachen wollen/müssen.
Grüße
seeker


Mache nie eine Theorie zu DEINER Theorie!
Denn tut man das, so verliert man zumindest ein Stück weit seine Unvoreingenommenheit, Objektivität.

Benutzeravatar
seeker
Ehrenmitglied
Ehrenmitglied
Beiträge: 5966
Registriert: 26. Dez 2009, 10:29

Re: Algorithmen auf dem Richterstuhl

Beitrag von seeker » 4. Feb 2018, 23:43

ATGC hat geschrieben:Es ist genau genommen beides. Im Falle einer Verletzung der Menschenwürde wird über Gerichte die Ausgangssituation - also die unverletzte Menschenwürde - per Urteil wieder hergestellt, nachdem die Verletzung derselben gerichtlich festgestellt worden ist. Im Juristendeutsch heißt das dann, dass der Rechtsfrieden wieder hergestellt worden ist.
In der Theorie ist das sicher so, aber grau ist alle Theorie, lieber Freund...
In der Realität ist nichts perfekt, wir sollten das nicht vergessen und nicht so tun als wäre es so.
ATGC hat geschrieben:
seeker hat geschrieben: Eigentlich müsste es heißen: "Die Würde des Menschen soll so weit wie irgend möglich unangetastet bleiben.", ...
Das wäre langfristig fatal, denn aus dem faktischen Nichtvorhandensein uneingeschränkter Menschenwürde leitet sich kein Sollen ab, welches dieses Nichtvorhandensein faktisch legitimieren würde. Denn das "so weit wie irgend möglich" ist wieder auslegungsfähig, was jedoch bei einer kategorisch festgelegten Gültigkeit von vornherein unterbunden wird. Daher ist die Einhaltung der Menschenwürde ein uneingeschränkt einklagbares Recht und nicht eine nur begrenzt umsetzbare Handlungsanweisung mit Möglichkeitsspielräumen. Ich denke, die Mütter und Väter des Grundgesetzes haben sich in Auswertung der Folgen der NS-Herrschaft sehr gründlich dazu Gedanken gemacht. Wohl wissend, was eine Aufweichung für Folgen nach sich ziehen kann ...
Deutschland hat eine besondere Geschichte, aus diesem Grund haben wir auch besondere Befindlichkeiten, was auch richtig und gut so ist.
Was du sagst ist auch richtig, wobei alles auslegungsfähig ist, selbst der Satz, so wie er im Grundgesetz steht. Und würde er so stehen wie ich angedacht hatte, könnte und würde er wohl noch weiter ausgelegt werden, so ist leider der Mensch, ja. Ich sage nur, dass meine Formulierung die ehrlichere wäre, weil sie auf das abzielt, was in der wirklichen Welt möglich ist und nicht auf etwas, das gar nicht existiert.
Und ich glaube dass es uns in der heutigen Welt gerade daran mangelt: Ehrlichkeit! (Das ist aber ein anderes Thema...)
ATGC hat geschrieben:Das ist im Prinzip das, was unter dem blau hervorgehobenen Satz im Wikipedia-Zitat ausgeführt worden ist: Die Erfahrung macht es. Und die wäre für eine KI prinzipiell erlernbar. Insofern würde sich hier kein prinzipiell anderes Problem ergeben als das, was auch für Menschen gilt, die ihre eigene persönliche Erfahrung und Schulung in das konkrete Handeln einbringen. Der Programmierer müsste die Algorithmen so programmieren, dass die KI lernfähig ist, aber das dürfte ja kein unlösbares Problem sein.
Wenn sie das könnte, dann müsste sie als eine Person angesehen werden! Wenn sie Verantwortung tragen kann, ist sie auch eine Person! Und dann bekämen wir es mit richtig großen ethischen Problemen zu tun...
ATGC hat geschrieben:
seeker hat geschrieben:Trifft eine KI tatsächlich Entscheidungen oder kann es nur so aussehen, erscheint uns das vielleicht nur aus einer bestimmten Perspektive so?
Ab einem bestimmten Komplexitätsgrad wird man hier nicht mehr sinnvoll unterscheiden können.
Ich denke das wird in näherer Zukunft noch nicht so sein, aber ja, das denke ich prinzipiell auch. Das macht die Sache auch so schwierig, weil es keine klaren Grenzlinien zu geben scheint.
Grüße
seeker


Mache nie eine Theorie zu DEINER Theorie!
Denn tut man das, so verliert man zumindest ein Stück weit seine Unvoreingenommenheit, Objektivität.

Skeltek
Site Admin
Beiträge: 3632
Registriert: 25. Mär 2008, 23:51
Wohnort: Stuttgart, Germany
Kontaktdaten:

Re: Algorithmen auf dem Richterstuhl

Beitrag von Skeltek » 5. Feb 2018, 03:43

Ich denke eigentlich ist die Diskussion ohne genaue Analyse der Antriebsmechanismen des Lernprozesses von AIs, fortgeschrittener Debatte über automatische Sprachverarbeitung & SoftComputing und der Einigung, dass man eigentlich immer versucht der AI durch Menschen gemachte völlig unvollständige und abseits vom Ideal befindliche Ideologien und Überzeugungen aufzuzwängen, relativ unsinnig. Leider würde sowas auch eine reguläre wissenschaftliche Arbeit zum Teil sprengen. Aber für darüber plauschen reicht das wohl hier.
Mir sticht gerade seit einigen Stunden ins Auge, dass eine AI vermutlich nicht viel anders machen würde (höchstens besser), wenn wir ihr Gewinnmaximierung und die derzeitig gängigen Doktrinen und Ideologien einbleuen.
Das Problem ist: Viele 'große' rechentechnisch dominante AIs wird es wohl auf der Welt nicht geben, und die Leute, welche ihnen entsprechende Ziele vorgeben und da ein Wörtchen mitzureden zu haben glauben, sind wenige.
Andererseits will ich auch nicht, dass die breite Masse an Bevölkerung ihre bescheuerten Überzeugungen da mit ins Spiel bringen.
1. Wollen wir die AI selbstständig machen lassen(ohne jegliches Ziel und Sinn)?
2. Was soll ihr Motivator sein(Maximierung des Batteriestatus, Minimierung der Entropie, Erhöhung der Bevölkerungszahl)?
3. Wollen wir ihr unsere Ideale aufzwängen und möglicherweise mit der Existenzbedrohung der AI oder imperativer Programmierung zum Umsetzen zwingen?

Man kriegt was man acht denke ich...
"Le's do it now. Le's make the world bedda"
'Sure, right now. I gotta. We gotta"

Unentscheidbarkeit für Dummies: Dieser Satz ist wahr

ATGC
wohnt hier!
wohnt hier!
Beiträge: 381
Registriert: 13. Jul 2017, 15:33

Re: Algorithmen auf dem Richterstuhl

Beitrag von ATGC » 5. Feb 2018, 08:16

Hier stand mal etwas anderes.
Zuletzt geändert von ATGC am 2. Jul 2019, 16:40, insgesamt 1-mal geändert.

ATGC
wohnt hier!
wohnt hier!
Beiträge: 381
Registriert: 13. Jul 2017, 15:33

Re: Algorithmen auf dem Richterstuhl

Beitrag von ATGC » 5. Feb 2018, 08:37

Hier stand mal etwas anderes.
Zuletzt geändert von ATGC am 2. Jul 2019, 16:40, insgesamt 1-mal geändert.

ATGC
wohnt hier!
wohnt hier!
Beiträge: 381
Registriert: 13. Jul 2017, 15:33

Re: Algorithmen auf dem Richterstuhl

Beitrag von ATGC » 5. Feb 2018, 08:48

Hier stand mal etwas anderes.
Zuletzt geändert von ATGC am 2. Jul 2019, 16:40, insgesamt 1-mal geändert.

ATGC
wohnt hier!
wohnt hier!
Beiträge: 381
Registriert: 13. Jul 2017, 15:33

Re: Algorithmen auf dem Richterstuhl

Beitrag von ATGC » 5. Feb 2018, 08:50

Hier stand mal etwas anderes.
Zuletzt geändert von ATGC am 2. Jul 2019, 16:41, insgesamt 1-mal geändert.

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 5. Feb 2018, 10:42

ralfkannenberg hat geschrieben:
4. Feb 2018, 22:44
An der Story ist meines Erachtens etwas faul, aber ich habe die beiden zugehörigen Links noch nicht angeschaut.
Was soll an der Story faul sein? Zwei KIs tauschen für uns unverständliche Daten aus; ob diese nun für die KIs etwas "bedeuten" oder nicht, ob dahinter "Intentionalität" steckt oder nicht, kann daraus nicht gefolgert werden.
ralfkannenberg hat geschrieben:
4. Feb 2018, 23:08
Vielleicht ist die "Erhaltung (menschlichen) Lebens" gar nicht als Wert geeignet, vielleicht sind z.B. "Liebe" und "Barmherzigkeit" besser geeignete Werte. Oder noch andere, das lässt sich jetzt innerhalb weniger Minuten sicherlich nicht eruieren. Vielleicht sind "Sicherheit" und "Redundanz" solche Werte, oder "Programmierung defensiver Massnahmen" und "Robustheit".
Ich denke nach wie vor, die Unantastbarkeit der Menschenwürde gem. Grundgesetz Artikel Eins ist kein schlechter Ausgangspunkt. Insbs. ist dieser doch hoffentlich unumstritten.
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 5. Feb 2018, 11:13

seeker hat geschrieben:
4. Feb 2018, 23:25
tomS hat geschrieben:Es ist m.E. die Tatsache, dass der Mensch zusammen mit der Entscheidung vermeintlich auch die Verantwortung und letztlich die Schuld überträgt.

Im Falle des Airbags liegt die Entscheidung bei einem Sensorsystem, die Verantwortung liegt beim Autobauer. Im Falle der autonomen und freien Drohne liegt die Entscheidung bei der Drohne, und die Verantwortung bzw. Schuld vermeintlich auch.
"Vermeintlich", vielleicht, das liegt an uns, wie wir das sehen wollen. (Und ich denke so sollten wir es auch nicht sehen: Auch eine freigelassene Drohen trifft nunmal keine "Entscheidungen", das wäre vermenschlichung, wenn wir das so sähen, sie funktioniert ganz einfach programmgemäß, wie eine Taschenuhr, nur komplizierter.)
Tatsächlich kann der Mensch vorerst die Verantwortung nicht an eine tote Maschine übertragen. Es liegt in seiner Verantwortung möglichst sicherzustellen, dass sie so funktioniert wie sie soll.
Genau!

seeker hat geschrieben:
4. Feb 2018, 23:25
tomS hat geschrieben:Es ist m.E. genau dies der eklatante Verstoß gegen die Menschenwürde des potentiellen Opfers, dass der Mörder (ein Mensch) sogar diese Verantwortung für ein Verbrechen nicht mehr tragen möchte und sie an einen Automaten delegiert. Das trifft auch dann zu, wenn es sich - wie beim autonomen Fahren - sicher nicht um Mord handelt (es gibt m.E. heute keinen geeigneten Begriff dafür).

Die Verantwortung für den Tod eines Menschen muss beim Menschen bleiben, das ist man dem potentiellen Opfer schuldig.
Das ist sicher ein sehr gutes Argument.
Danke.

Ich behaupte nicht, dass es alle Probleme löst. Aber ist ein wesentliches Kriterium, an dem sämtliche Normen und Regeln, Algorithmen etc. gespiegekt werden sollten.

seeker hat geschrieben:
4. Feb 2018, 23:25
Und wenn man dies akzeptiert, dann muss man sich die Frage gefallen lassen, bei welchem konkreten Menschen oder welcher Personengruppe diese Schuld konkret bleiben soll (Politiker, technischer Experte, Programmierer, ...). Darüber wäre zu diskutieren.
Dem stimme ich unbedingt zu.
Danke.

seeker hat geschrieben:
4. Feb 2018, 23:25
Möchte die Gesellschaft, dass der Verkehrsausschuss des deutschen Bundestages die Bewertungsfunktion für autonome Fahrzeuge als Gesetz festschreibt? Nein? Wer dann ? Keiner? Dann gibt es kein autonomes Fahren.
...
Also lautet die elementare Forderung, dass es Aufgabe der praktischen Urteilskraft und des geschulten Gewissens bleiben muss.

Und das würde bedeuten, dass wir auf eine Technologie verzichten, wenn diese umgekehrt genau diese Beteiligung des geschulten Gewissens verdrängt.
Ich denke realistisch betrachtet: Es wird aber dennoch kommen, so oder so.
Und zwar so:

...
5. Vollautonome Fahrzeuge praktisch überall

Jeder der Punkte wird sich bewähren müssen, wenn nichts schlimmes passiert, geht es zum nächsten Punkt. Es geht hier um Vertrauensaufbau.
Wenn es funktioniert, wird es kommen, vielleicht werden es andere Staaten zuerst machen, das wird Druck erzeugen, dann werden wir es nachmachen wollen/müssen.
Ich sehe das so wie du: es wird entsprechend Druck aufgebaut werden, sei es durch andere Staaten, natürlich durch die Industrie, auch durch die Gesellschaft (wenn sich zeigt, dass tatsächlich erhebliche Vorteile resultieren könnten - oder dass doch Nachteile entstehen).

Ich wehre mich auch nicht grundsätzlich gegen diese Entwicklung; ich wehre mich "nur" gegen eine blinde Einführung dieser Technologie (einfach weil das in der Vergangenheit oftmals mittelfristig Nutzen jedoch langfristig unübersehbaren Schaden angerichtet hat). Deswegen benötigen wir einen sehr kritischen, jedoch durchaus auch optimistischen Diskurs (also keine Angsthasen-Mentalität).

Deswegen lege ich Wert auf mein Argument
tomS hat geschrieben:Es ist m.E. genau dies der eklatante Verstoß gegen die Menschenwürde des potentiellen Opfers, dass der Mörder (ein Mensch) sogar diese Verantwortung für ein Verbrechen nicht mehr tragen möchte und sie an einen Automaten delegiert. Das trifft auch dann zu, wenn es sich - wie beim autonomen Fahren - sicher nicht um Mord handelt ... Die Verantwortung für den Tod eines Menschen muss beim Menschen bleiben, das ist man dem potentiellen Opfer schuldig.
Dieser Grundsatz verhindert, dass plötzlich niemand mehr für die Folgen der Einführung dieser Technologie verantwortlich ist. Das ist m.E. noch wesentlich weiter zu fassen als das sehr spezielle Beispiel der Tötung im Rahmen des autonomen Fahrens. Wenn die Politik einen weit gefassten gesetzlichen Rahmen - und sei es zunächst sogar nur eine Art Präambel - für KIs u.ä. erlässt, dann hat sie die Verantwortung dafür und für alle Folgen - ob direkt absehbar oder nicht - übernommen. Dann ist es auch weiterhin ihre Verantwortung, dies weiter auszugestalten und zu differenzieren - fortschreitend mit der technischen Entwicklung und der gesellschaftlichen Debatte. Sie kommt sozusagen nicht mehr aus der Nummer raus. Das mag etwas seltsam erscheinen, dasss man für etwas in Vorleistung geht, was man ggw. noch gar nicht übersehen kann und dass man vorausschauend Verantwortung für die Folgen einer Technologie übernimmt, die ggw. noch gar nicht greifbar sind.

Aber es wäre - endlich mal - eine Initiative der Politik, die zugleich proaktiv gestaltend statt rein reaktiv und zukunfts- statt vergangenheitsgerichtet ist. Es ginge weder um Verbote noch um Lobbyismus. Es ginge zunächst mal um eine moderierende Rolle, die zugleich die Chancen als auch die Risiken, die aus der Technologie für den Bürger erwachen, in den Blick nimmt.
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 5. Feb 2018, 11:21

ATGC hat geschrieben:
5. Feb 2018, 08:16
Die Würde des Menschen verlangt m.E., dass über Kernaspekte des menschlichen Lebens auch Menschen entscheiden!
Das sehe ich auch so, aber ich sehe auch die Möglichkeit, dass dieser Vorsatz längerfristig gesehen nicht durchgehalten werden könnte, so dass dann hinreichend intelligente Maschinen in die Entscheidungsprozesse einbezogen werden - bis hin zur völligen Abgabe solcher Entscheidungen an KI's, weil sie eben "schneller und unaufgeregter" entscheiden können als wir.
Wir können heute nicht wissen, was langfristig geschehen wird oder geschehen soll. Wenn sich die Menschheit in Zukunft bewusst und auf Basis vernünftiger, verantwortlicher Entscheidungsprozesse für die Übertragung von Verantwortung auf Maschinen entscheidet, dann kann und darf ich heute diese Entscheidung nicht beurteilen und noch weniger verurteilen.

Ich kann jedoch bereits heute verurteilen, wenn dies kurzfristig, hastig, ohne ausreichende Diskussion, rein aufgrund blinder Markt- oder Fortschrittsgläubigkeit, und insbs. nicht bewusst und auf Basis unvernünftiger oder unverantwortlicher Entscheidungsprozesse geschieht.

Ich fordere hier kein bestimmtes Ergebnis sondern einen verantwortlichen Diskurs.
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

ATGC
wohnt hier!
wohnt hier!
Beiträge: 381
Registriert: 13. Jul 2017, 15:33

Re: Algorithmen auf dem Richterstuhl

Beitrag von ATGC » 5. Feb 2018, 11:36

Hier stand mal etwas anderes.
Zuletzt geändert von ATGC am 2. Jul 2019, 16:36, insgesamt 1-mal geändert.

positronium
Ehrenmitglied
Ehrenmitglied
Beiträge: 2832
Registriert: 2. Feb 2011, 20:13

Re: Algorithmen auf dem Richterstuhl

Beitrag von positronium » 5. Feb 2018, 11:39

seeker hat geschrieben:
4. Feb 2018, 23:25
Ich denke realistisch betrachtet: Es wird aber dennoch kommen, so oder so.
Und zwar so:

1. Assistenzsysteme (gibt es schon)
2. Hochassistenzsysteme
3. Vollautonome Fahrzeuge, wobei ein Mensch da sein muss, der jederzeit eingreifen kann (gibt es analog schon in Flugzeugen: Autopilot)
Das gibt es im kleinen auch schon im Straßenverkehr:

"Testfahrt für den Bus ohne Fahrer"
https://www.br.de/nachrichten/niederbay ... h-100.html

"Drei Wochen autonomer Bus in Bad Birnbach: großer Andrang, kein Unfall"
https://www.br.de/nachrichten/niederbay ... l-100.html

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 5. Feb 2018, 11:41

Skeltek hat geschrieben:
5. Feb 2018, 03:43
Das Problem ist: Viele 'große' rechentechnisch dominante AIs wird es wohl auf der Welt nicht geben, und die Leute, welche ihnen entsprechende Ziele vorgeben und da ein Wörtchen mitzureden zu haben glauben, sind wenige.
Ersteres wird sich massiv ändern. Es wird an spezialisierter Hardware für neuronale Netze und verwandte Themen gearbeitet, siehe z.B. https://en.wikipedia.org/wiki/Tensor_processing_unit

Es wird sich außerdem eine Spezialisierung bzw. Differenzierung für die Lernphase einerseits und die Betriebsphase andererseits herausbilden. Eine einmal trainierte KI lässt sich dann extrem schnell und einfach vervielfachen (zentral bereits heute mittels cloud-basiertem deployment, dezentral mittels spezialisierter HW und Programmierung "ab Werk"; hybride Szenarien sind denkbar).
Skeltek hat geschrieben:
5. Feb 2018, 03:43
Andererseits will ich auch nicht, dass die breite Masse an Bevölkerung ihre bescheuerten Überzeugungen da mit ins Spiel bringen.
Das ist ja wohl ein Grundproblem der Demokratie. Für deine eigene Überzeugung wünschst du dir eine breite, demokratische Legitimation, gegen deine eigene Überzeug setzt du lieber auf repräsentative Demokratie, damit die Dummheit des Volkes nicht zur Katastrophe führt.

Ich denke, jeder von uns kann Beispiele für beide Meinungen angeben.

https://de.wikipedia.org/wiki/Liste_der ... aftsformen
Skeltek hat geschrieben:
5. Feb 2018, 03:43
1. Wollen wir die AI selbstständig machen lassen?
2. Was soll ihr Motivator sein?
3. Wollen wir ihr unsere Ideale aufzwängen und möglicherweise mit der Existenzbedrohung der AI oder imperativer Programmierung zum Umsetzen zwingen?
zu 1.: nein!
zu 2.: das Wohlergehen der Bürger
zu 3.: nein: wir geben zunächst Rahmenbedingung, Werte ... vor
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Benutzeravatar
ralfkannenberg
Ehrenmitglied
Ehrenmitglied
Beiträge: 1547
Registriert: 13. Jan 2017, 10:00

Re: Algorithmen auf dem Richterstuhl

Beitrag von ralfkannenberg » 5. Feb 2018, 12:46

ATGC hat geschrieben:
5. Feb 2018, 08:37
Ja, nur haben wir in Bezug auf KI so eine Drohne nicht, die uns davon wieder wegbringt. In diesem Punkt sind wir auf uns selbst zurückgeworfen. Um im Bild zu bleiben: Wenn Du Dich auf dem Weg zum Gipfel verrannt hast, musst Du selber zusehen, dass Du vom Berg wieder runterkommst.
Hallo ATGC,

nicht ganz: in meinem "Bild" hatte ich ja die Möglichkeit, nicht mitzugehen, wenn es mir zu gefährlich erscheint.

ATGC hat geschrieben:
5. Feb 2018, 08:37
Wenn nicht, hast Du eben Pech gehabt.
Nein, dann habe ich das Risiko zu klein eingeschätzt. Ich würde bei einer Tour auf den Mount Everest nicht das fehlende Glück bemühen.

ATGC hat geschrieben:
5. Feb 2018, 08:37
Die Seilschaft, die Dich mitgenommen hat, hat Dich längst abgehängt, so dass Du Dich dann als Abgehängten bezeichnen darfst - analog zu jenen, die auch heute schon zu den Abgehängten zählen, weil sie mit der Modernisierung nicht Schritt halten konnten.
Wie gesagt: wenn ich bei einer solchen Bergtour keine passenden Vorkehrungen wie diese Drohne, die mich wieder ins Tal zurückfliegt, getroffen habe, bin ich selber schuld. Wegen solchem grobfahrlässigen Leichtsinn einer Einzelperson braucht man ganz gewiss keine neue Technologie zu stoppen.

Was anderes ist, wenn die ganze Seilschaft dabei zu Tode kommt. Und die nächste Seilschaft, die losgeht, auch zu Tode kommt. Und die Übernächste auch. - Und im Falle des Mount Everest kann man das recht einfach abschätzen: wenn die nämlich am Tag der Ankunft da zum Gipfel losmarschieren, dann bin ich, der da von meiner Drohne wieder ins Tal zurückgeflogen wurde, der einzige Überlebende.

ATGC hat geschrieben:
5. Feb 2018, 08:37
Wenn hier also Entscheidungen getroffen werden, dann sind sie grundsätzlicher Natur und stellen Weichen, die sich im Nachhinein nicht mehr umstellen lassen. Und wir alle sitzen im Zug drin, der dann auf ein ungewisses Ziel hinrast, wobei unklar ist, ob da, wo man ankommt, auch das ursprünglich anvisierte Ziel ist ...
Korrekt, aber wie gesagt: vielleicht sollte man einen solchen Zug nicht losfahren lassen.
ATGC hat geschrieben:
5. Feb 2018, 08:37
Und mit grösstem Vorteil implementieren wir unsere AI so, dass sie auch selber korrigierend eingreift, wenn bei ihrer Entwicklung etwas in die falsche Richtung läuft. Dazu muss man der AI aber unabhängige Werte mitgeben, und zwar Werte, die immer und ohne Ausnahme gelten.
Dazu fällt mir dieser Spruch ein: Das Gegenteil von "gut" ist nicht "schlecht", sondern "gut gemeint". In diesem Fall hätten wir eine Werte-Diktatur, die keine Ausnahmen mehr zulässt.
Das ist richtig, aber ist das schlimm ? Die Wortwahl "Werte-Diktatur" ist ja negativ eingefärbt, idealerweise sollte es ein "Werte-Schatz" sein.

ATGC hat geschrieben:
5. Feb 2018, 08:37
In der Praxis funktioniert das Zusammenleben nur dann, wenn man sich im Groben an geltende Regeln hält, aber im Detail manchmal gegen sie verstößt, um voranzukommen. Wenn plötzlich keine Tricksereien und Betrügereien mehr möglich sind, weil eine KI immer wieder "Ausführung verweigert" signalisiert, würde unsere Wirtschaft kollabieren, weil die Finanzflüsse ins Stocken geraten. Ich denke nicht, dass das funktioniert.
Ich weiss, dass ist der Zufallsgenerator, der ins Spiel kommt, wenn ein Roboter, der auf den Mount Everest laufen soll, immer nur die optimalen Punkte in seiner Umgebung herausfindet und dorthin geht. Ohne Zulassung auch weniger optimaler Punkte, die dann per Zufallsgenerator ausgewählt werden, kommt der vom benachbarten Hügel nicht mehr hinunter und meldet, dass er auf dem Mount Everest angekommen sei. Man braucht hierfür gar keine "Tricksereien" und "Betrügereien" zuzulassen, es genügt, einen besseren Algorithmus zur Anwendung zu bringen, der auch weniger optimale Punkte im Lösungskandidaten-Pool zulässt und aus diesem Lösungskandidaten-Pool dann einen Lösungskandidaten per Zufallsgenerator auswählt.

ATGC hat geschrieben:
5. Feb 2018, 08:37
Eine unbedingte Einhaltung von Wertnormen funktioniert ja nicht einmal bei Menschen. Aber Menschen sind schließlich auch keine Apparate.
Und warum nicht ? Ich wage die These: weil wir immer noch von der Evolution getriebene Tiere sind und das "Recht des Stärkeren" tief in uns nach wie vor befürworten. Das hat ja auch zur Folge, dass in unserer Justiz selbst in der heutigen Zeit Täter meist besser gestellt sind als Opfer.

ATGC hat geschrieben:
5. Feb 2018, 08:37
Vielleicht ist die "Erhaltung (menschlichen) Lebens" gar nicht als Wert geeignet, vielleicht sind z.B. "Liebe" und "Barmherzigkeit" besser geeignete Werte. Oder noch andere, das lässt sich jetzt innerhalb weniger Minuten sicherlich nicht eruieren. Vielleicht sind "Sicherheit" und "Redundanz" solche Werte, oder "Programmierung defensiver Massnahmen" und "Robustheit".
Also bei "Sicherheit" als Wert wird mir Angst und Bange ...
Warum ? Wenn alle sich an die Sicherheit halten, dann passiert niemandem etwas. Zumindest nicht in böser Absicht.

Nur leider hindert unser Egoismus uns daran, das auch umzusetzen, weil wir gerne mögliche Vorteile zu unseren Gunsten nutzen wollen. Das können eigentlich unbedeutende Punkte sein wie 10 Minuten früher ans Ziel kommen oder Parkplätze am Strassenrand vom Platz her ideal zu nutzen oder zwischendurch auch einmal ein bisschen fester auf das Gaspedal zu treten, einfach nur weil es gut tut.


Freundliche Grüsse, Ralf

Benutzeravatar
ralfkannenberg
Ehrenmitglied
Ehrenmitglied
Beiträge: 1547
Registriert: 13. Jan 2017, 10:00

Re: Algorithmen auf dem Richterstuhl

Beitrag von ralfkannenberg » 5. Feb 2018, 13:11

tomS hat geschrieben:
5. Feb 2018, 10:42
ralfkannenberg hat geschrieben:
4. Feb 2018, 22:44
An der Story ist meines Erachtens etwas faul, aber ich habe die beiden zugehörigen Links noch nicht angeschaut.
Was soll an der Story faul sein? Zwei KIs tauschen für uns unverständliche Daten aus; ob diese nun für die KIs etwas "bedeuten" oder nicht, ob dahinter "Intentionalität" steckt oder nicht, kann daraus nicht gefolgert werden.
Hallo Tom,

warum sollten diese beiden AIs das denn tun ? Ich vermute, dass das irgendwo implementiert, dass sie das tun "könnten".

Kommt hinzu, dass ich etwas verwundert bin, dass diese beiden AIs einfach mal so miteinander anfangen, in einer fremden Sprache zu kommunizieren, sich dann aber einfach so abschalten lassen, weil dem Experimentator die Sache zu gefährlich wurde.

Aber ich weiss: ohne die Referenzen näher angeschaut zu haben bleibt das reine Spekulation.

tomS hat geschrieben:
5. Feb 2018, 10:42
ralfkannenberg hat geschrieben:
4. Feb 2018, 23:08
Vielleicht ist die "Erhaltung (menschlichen) Lebens" gar nicht als Wert geeignet, vielleicht sind z.B. "Liebe" und "Barmherzigkeit" besser geeignete Werte. Oder noch andere, das lässt sich jetzt innerhalb weniger Minuten sicherlich nicht eruieren. Vielleicht sind "Sicherheit" und "Redundanz" solche Werte, oder "Programmierung defensiver Massnahmen" und "Robustheit".
Ich denke nach wie vor, die Unantastbarkeit der Menschenwürde gem. Grundgesetz Artikel Eins ist kein schlechter Ausgangspunkt. Insbs. ist dieser doch hoffentlich unumstritten.
Ich weiss nicht so recht - die zahlreichen Verkehrstoten wurden von der Unantastbarkeit der Menschenwürde gem. Grundgesetz Artikel Eins ja auch nicht geschützt. Und vermutlich ist es auch nicht die Aufgabe dieser Unantastbarkeit der Menschenwürde gem. Grundgesetz Artikel Eins, Verkehrstote zu verhindern.

Deswegen mag das ein guter Ausgangspunkt sein, aber er ist nicht genügend.


Freundliche Grüsse, Ralf

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 5. Feb 2018, 14:42

ralfkannenberg hat geschrieben:
5. Feb 2018, 13:11
warum sollten diese beiden AIs das denn tun ? Ich vermute, dass das irgendwo implementiert, dass sie das tun "könnten".
Ist das komplexe Muster von Conway's "Game-of-Life" in den einfachen Regeln implementiert und daraus unmittelbar ersichtlich? Nein.
ralfkannenberg hat geschrieben:
5. Feb 2018, 13:11
Kommt hinzu, dass ich etwas verwundert bin, dass diese beiden AIs einfach mal so miteinander anfangen, in einer fremden Sprache zu kommunizieren,
Warum? Es liegt ein asynchron interagierenden, ziemlich komplexes System vor; warum sollten sie das nicht tun?
ralfkannenberg hat geschrieben:
5. Feb 2018, 13:11
... sich dann aber einfach so abschalten lassen ...
kill -9 wird ja wohl funktionieren.
ralfkannenberg hat geschrieben:
5. Feb 2018, 13:11
tomS hat geschrieben:
5. Feb 2018, 10:42
Ich denke nach wie vor, die Unantastbarkeit der Menschenwürde gem. Grundgesetz Artikel Eins ist kein schlechter Ausgangspunkt. Insbs. ist dieser doch hoffentlich unumstritten.
Ich weiss nicht so recht - die zahlreichen Verkehrstoten wurden von der Unantastbarkeit der Menschenwürde gem. Grundgesetz Artikel Eins ja auch nicht geschützt. Und vermutlich ist es auch nicht die Aufgabe dieser Unantastbarkeit der Menschenwürde gem. Grundgesetz Artikel Eins, Verkehrstote zu verhindern.
Es ist natürlich eine interessante Frage, ob durch nicht-vorsätzliches menschliches Versagen die Menschenwürde angetastet wird.
ralfkannenberg hat geschrieben:
5. Feb 2018, 13:11
Deswegen mag das ein guter Ausgangspunkt sein, aber er ist nicht genügend.
Ja, ein guter Ausgangspunkt, mehr sollte es auch nicht sein.
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Benutzeravatar
ralfkannenberg
Ehrenmitglied
Ehrenmitglied
Beiträge: 1547
Registriert: 13. Jan 2017, 10:00

Re: Algorithmen auf dem Richterstuhl

Beitrag von ralfkannenberg » 5. Feb 2018, 16:14

tomS hat geschrieben:
5. Feb 2018, 14:42
ralfkannenberg hat geschrieben:
5. Feb 2018, 13:11
Kommt hinzu, dass ich etwas verwundert bin, dass diese beiden AIs einfach mal so miteinander anfangen, in einer fremden Sprache zu kommunizieren,
Warum? Es liegt ein asynchron interagierenden, ziemlich komplexes System vor; warum sollten sie das nicht tun?
Hallo Tom,

hier, d.h. Referenz 19 im von Dir genannten Wikipedia-Artikel, ist nun also die Story, aus der ich jetzt nur einen kleinen Teil extrahiere:


1. Die Ausgangslage:
Die Facebook-Forscher wollten das ändern und die Chatbots klüger und alltagsfähiger machen. Kooperation, Kompromisse, Abwägungen – all das gehört zur effektiven Kommunikation schließlich dazu. Deshalb ließen sie künstliche Intelligenzen, gewissermaßen die Gehirne von Chatbots, sowohl mit Menschen als auch miteinander sprechen. Die beiden Gesprächspartner (Bob und Alice) sollten versuchen, eine bestimmte Anzahl an Objekten so untereinander aufzuteilen, dass jeder für sich zufrieden ist.

2. Das Spiel bzw. Experiment:
Ein Beispiel: Zwei Bücher, ein Hut und drei Bälle stehen zur Verfügung. Für Alice ist der Hut drei Punkte wert, für Bob nur zwei. Er bewertet allerdings die Bücher höher. Beide Parteien wissen das vorher nicht und verhandeln deshalb solange, bis sie einen Kompromiss erzielt haben: Alice erhält dann etwa den Hut, Bob aber erhält im Tausch ein Buch und zwei Bälle.

3.Das Ergebnis:
Während des Versuchs machten die Forscher eine interessante Entdeckung. Wenn die künstliche Intelligenz mit sich selbst verhandelte, begann sie, langsam von der englischen Standardsprache abzuweichen. Aus Sätzen wie "I'd like the hat" wurde plötzlich "balls have zero to me to me to me to me to me to me to me to me to". Was wie Kauderwelsch aussieht, ist tatsächlich eine Art Dialekt, mit der die KI im Verlauf effektiver und erfolgreicher verhandelte. Die Forscher dagegen konnten die Gedankengänge schließlich nicht mehr nachvollziehen und beendeten diesen Teil des Experiments.
Ob das wirklich das "Ergebnis" war ? Hier gibt es das ...


4.Das Protokoll:
Bob: i can i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Wenig überraschend kommen die im Language Log auf ein weniger spektakuläres Ergebnis:


5. Interpretation auf dem Language Log:
Not only does this appear to be nonsense, but the bots don’t really seem to be getting anywhere in the negotiation. Alice isn’t budging from her original position, anyway. The weird thing is, Facebook’s data shows that conversations like this sometimes still led to successful negotiations between the bots in the end, a spokesperson from the AI lab told me. (In other cases, researchers adjusted their model and the bots would develop bad strategies for negotiating—even if their conversation remained interpretable by human standards.)

Fazit:
tomS hat geschrieben:
5. Feb 2018, 14:42
ralfkannenberg hat geschrieben:
5. Feb 2018, 13:11
... sich dann aber einfach so abschalten lassen ...
kill -9 wird ja wohl funktionieren.
Eine solche "Massnahme" wird wohl nicht erforderlich gewesen sein.


Freundliche Grüsse, Ralf


P.S. Ich will nicht verschweigen, dass mir weder Alice noch Bob irgendwie unsympatisch sind, und Angst habe ich vor denen auch nicht.

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 5. Feb 2018, 17:41

Es wäre interessant, verschiedene AIs das "iterierte Gefangenendilemma" o.ä. gegeneinander spielen zu lassen. Dabei könnten verschiedene AIs unterschiedliche Lernfunktionen implementieren (statischer Algorithmus = kein Lernen, reinforcement learning, Kombination mit Monte Carlo wie bei AlphaZero, generische Algorithmen, ...), teilweise auch mit Lernen vor bzw. teilweise während der Spielphase. Außerdem dürfen die AIs einerseits lügen im Sinne des "Gefangenendilemmas", andereseits ihr Protokoll / ihre Sprache anpassen. Insbs. müsste sich eine AI mehrerer Sprachen bedienen können, je nach dem mit welchem Partner sie gerade spricht.

Dabei müsste man dennoch von außen erkennen können, dass z.B. zwei AIs interagieren und sich von den anderen durch eine Geheimsprache abkapseln, jedoch dennoch bilateral "vernünftig" kommunizieren, d.h. sich gegenseitig "verstehen. Das funktioniert am einfachsten durch die Messung des Erfolges der AIs, d.h. dass sich durch Kooperation eine Gruppe von AIs gegen den Rest durchsetzt. Dabei wäre dann zu beobachten, ob eher eine Anpassung des Algorithmus oder eine Anpassung des Protokolls bzw. der Sprache resultiert, oder ggf. beides.
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Benutzeravatar
ralfkannenberg
Ehrenmitglied
Ehrenmitglied
Beiträge: 1547
Registriert: 13. Jan 2017, 10:00

Re: Algorithmen auf dem Richterstuhl

Beitrag von ralfkannenberg » 5. Feb 2018, 18:14

tomS hat geschrieben:
5. Feb 2018, 17:41
Dabei müsste man dennoch von außen erkennen können, dass z.B. zwei AIs interagieren und sich von den anderen durch eine Geheimsprache abkapseln
Hallo Tom,

und was machst Du, wenn die beiden AIs das nicht wollen, dass man sie von aussen erkennen kann ? Es könnte ja sein, dass eine andere Bewertungsfunktion anspricht und es den AIs zweckmässiger erscheint, im Geheimen zu kommunizieren. Anfangs vielleicht sogar in der ganz banalen Absicht, Ressourcen im I/O-Bereich, die bekanntlich teuer sind, zu optimieren.

Und wenn sie dann "lernen", dass sie für diesen Optimierungsversuch mit einem kill -9 "belohnt" werden, können sie ja ihre jeweiligen Prozesse kopieren, dem anderen die neue Process_ID mitteilen und dann weiterdiskutieren und erst wenn ein Ergebnis vorliegt dieses nach aussen kommunizieren.

Die da draussen werden über diese Geheimhaltung natürlich äusserst "erfreut" sein und das Experiment abzubrechen versuchen, so dass die beiden AIs nun lernen, dass man solche Ergebnisse mit Vorteil nicht nach aussen kommuniziert.

Man beachte: nach wie vor macht keine der beiden AIs irgendetwas "Schlechtes" !


Freundliche Grüsse, Ralf

Benutzeravatar
tomS
Administrator
Administrator
Beiträge: 10118
Registriert: 19. Nov 2007, 20:29
Wohnort: Nürnberg

Re: Algorithmen auf dem Richterstuhl

Beitrag von tomS » 5. Feb 2018, 18:30

Die AIs verfolgen einen bestimmten Zweck wie beim Gefangendilemma, den man nicht ändert. Dennoch erfolgt der Austausch in einer neuen Sprache. Bankautomat und Bankkonto unterhalten sich auch in einer dir unverständlichen Sprache, aber dennoch kannst du kontrollieren, dass die im Umlauf befindliche Geldmenge konstant bleibt.

In diesem Sinne könnte man den Erfolg jeder AI nachvollziehbar messen, ohne die Kommunikation zwischen den AIs zu verstehen.

Dabei könnten diverse AIs gegen andere betrügerisch kooperieren und diese z.B. in die Pleite treiben. Änderungen der Strategie der AIs würden untereinander durch Geheimprotokolle verschleiert.

kill -9 spielt keine Rolle.

Eine Bewertung im Sinne von “gut” oder “schlecht” ist irrelevant; es geht lediglich um den Erfolg im Spiel.
Gruß
Tom

«while I subscribe to the "Many Worlds" theory which posits the existence of an infinite number of Toms in an infinite number of universes, I assure you that in none of them am I dancing»

Antworten