[Vom ADM-Manifest zum KI-Gesetz] Was entscheiden Algorithmen – und wer kontrolliert das?

Dossier

„… Welchen Einfluss haben Algorithmen inzwischen auf Entscheidungen? Wie weit ist schon automatisiert, was wir bisher noch selbst in der Hand zu haben glaubten? Wie weit berechnen Maschinen heute Beurteilungen und Arrangements von Menschen voraus – und welche gesellschaftliche Relevanz hat das? Antwort auf diese Fragen gibt es ab sofort bei der nicht-kommerziellen Initiative AlgorithmWatch.org. »Je weiter Technik entwickelt wird, desto komplexer wird sie. Wir sind der Ansicht, dass Komplexität nicht bedeuten darf, dass Technik nicht mehr nachvollziehbar ist«, heißt es bei dem Projekt, hinter dem unter anderem der Datenexperte Lorenz Matzat steht. Man wolle die Auswirkungen algorithmischer Entscheidungsfindungsprozesse auf menschliches Verhalten aufzeigen und mögliche ethische Konflikte thematisieren…“ Beitrag bei neues deutschland online vom 4. Mai 2016 und das ADM-Manifest von AlgorithmWatch . Neu zur Algorithmen-Debatte:

KI-Verordnung tritt in Kraft: Durchlässig wie ein Perlenvorhang
„Am heutigen 1. August tritt die KI-Verordnung in Kraft. Doch wer jetzt denkt, alles ist geklärt, der täuscht sich. Denn der Kampf für digitale Freiheitsrechte rund um KI ist noch lange nicht vorbei. (…) Der fertige Text der KI-Verordnung ist ein Anfang, aber kein Ende. Erstmals gibt es europaweit Schranken für den Einsatz problematischer KI-Systeme. Manche sind sogar ganz verboten, um Grundrechte von Menschen zu schützen, etwa KI-Systeme zur Bewertung des Sozialverhaltens. Doch in vielen Bereichen ist die KI-Verordnung durchlässig wie ein Perlenvorhang. Das heißt: Man kann einfach hindurchgehen. Und es ist nun an den Mitgliedstaaten, dagegen etwas zu tun. (…) Die EU hatte die Chance, den Einsatz biometrischer Gesichtserkennung gänzlich zu verbieten. Aber sie hat diese Chance verpasst. Stattdessen wurde nur der Einsatz von Echtzeit-Erkennung verboten. Die Erkennung im Nachhinein („retrograd“) bleibt Behörden erlaubt, wenn sie sich dabei an ein gewisses Procedere halten. Bloß, wie viel Zeit muss vergehen, bis eine Erkennung nicht mehr in Echtzeit erfolgt, sondern nur „retrograd“? Unklar! Dabei ist diese Frage absolut entscheidend für unsere Privatsphäre und Grundrechte wie die Bewegungs- und Versammlungsfreiheit. (…) EU-Mitgliedstaaten können nun diese und weitere Fragen rund um Gesichtserkennung zumindest innerhalb ihrer eigenen Grenzen beantworten. Ja, sie können sogar die retrograde Gesichtserkennung auf nationaler Ebene verbieten. (…) Aus der KI-Verordnung geht auch ein Verbot von Gesichtersuchmaschinen hervor, die das Internet nach Fotos durchforsten, um Milliarden von Menschen identifizierbar zu machen. Das prominenteste Beispiel für eine solche Suchmaschine ist PimEyes, über die wir seit dem Jahr 2020 kritisch berichten. Mit PimEyes können nicht etwa Behörden, sondern jeder dahergelaufene Stalker mit Internetzugang Menschen hinterherspionieren. Bereits mit Blick auf die Datenschutzgrundverordnung (DSGVO) ist die Rechtsgrundlage solcher Suchmaschinen höchst fragwürdig. Geändert hat sich trotzdem nichts, weil die Betreiber im Ausland sitzen. Ob die KI-Verordnung diese Suchmaschinen aus dem Internet fegen kann? Unklar! Es gibt eine unbequeme Wahrheit bei den erhofften Auswirkungen der KI-Verordnung. Wie sehr die neuen Regeln uns wirklich vor KI-basierten Gefahren schützen können, das verrät nicht allein der Text im Gesetz. Meist zeigt sich die tatsächliche Schutzwirkung erst dann, wenn etwas Schlimmes passiert ist, und wenn sich Behörden und Gerichte mit konkreten Fällen befassen müssen. Das dauert oft Jahre, und es ist die Aufgabe der Öffentlichkeit, hier Druck zu machen. Auch PimEyes ist erst auf dem Schirm der Datenschutzaufsicht gelandet, nachdem wir darüber berichtet haben. (…) Auch mit der klaffenden Lücke namens nationale Sicherheit dürfen wir uns nicht zufriedengeben. Die KI-Verordnung greift schlichtweg nicht, wenn es um die nationale Sicherheit geht. Wann das genau der Fall ist, bestimmen jedoch die Mitgliedstaaten selbst. Das kann vor allem in autokratisch regierten EU-Staaten Tür und Tor für missbräuchliche KI-Einsätze öffnen. Auch für Menschen auf der Flucht ist der Schutz durch die KI-Verordnung lächerlich gering. Hier zeigt sich schmerzlich der Unterschied zwischen Grund- und Bürgerrechten. Wer nicht EU-Bürger*in ist und Schutz suchend in der EU strandet, bekommt von der KI-Verordnung nur ein Minimalpaket an Rechten zugestanden. Das heutige Inkrafttreten der KI-Verordnung darf also keinesfalls den Eindruck erwecken, das Thema KI sei damit abgehakt. Im Gegenteil: Gerade weil die KI-Verordnung erstmals europaweit festschreibt, wie KI-Systeme Menschen schaden können, muss das Engagement weitergehen. Die Argumentation ist simpel: Die EU hat sehr viele Gefahren durch KI-Systeme in der Verordnung erstmals verbindlich und präzise beschrieben. Und wer das konsequent weiterdenkt, muss den Schutz auch über die aktuellen Grenzen der Verordnung hinaus ausweiten.„ Kommentar von Sebastian Meineck vom 1. August 2024 bei Netzpolitik.org , siehe auch:
- KI-Verordnung – Ratgeber für Unternehmen mit FAQ und Checklisten von Dr. Thomas Schwenke vom 31. Juli 2024
Big Data im Betrieb – Daten als Rohstoff des 21. Jahrhundert
„Daten werden als Rohstoff des 21. Jahrhunderts bezeichnet. Jede Produktionshalle kann als „Drehscheibe“ gesehen werden: Lieferungen kommen an, wandern durch die Stationen, werden bearbeitet, Produkte verlassen das Unternehmen. Diese Abläufe sind heute in der Regel miteinander vernetzt, die Drehscheiben-Funktion zeigt sich auch in der Digitalisierung. Jeder Prozess in der analogen Halle erzeugt mittlerweile digitale Daten. Vernetzte Produktion erleichtert die Überwachung der Belegschaft…“ Beitrag von Marcus Schwarzbach am 04. Juni 2024 bei isw
Predictive Policing: Gefährliche Lücke in der KI-Verordnung
„Polizeibehörden möchten mit Hilfe sogenannter künstlicher Intelligenz quasi in die Zukunft schauen und präventiv tätig werden. Predictive Policing gilt jedoch als hochriskant
„Mitte März verabschiedete das EU-Parlament den AI Act. Es ist das erste umfassende Gesetz weltweit, das den Einsatz sogenannter künstlicher Intelligenz (KI) reguliert. Laut EU-Kommission soll die Verordnung den Risiken vorbeugen, die bestimmte KI-Systeme mit sich bringen. So sei es beispielsweise „oft nicht möglich, herauszufinden, warum ein KI-System eine Entscheidung oder Vorhersage getroffen […] hat“ und damit „zu beurteilen, ob jemand ungerechtfertigt benachteiligt wurde“. Tatsächlich sind Entscheidungsprozesse, die mit Hilfe von KI-Systemen durchgeführt werden, häufig intransparent – und zwar sowohl für die Betroffenen als auch für die Nutzer*innen. Das ist insbesondere dann der Fall, wenn die kommerziellen Anbieter solcher Systeme die technischen Details als Geschäftsgeheimnis klassifizieren. Oder wenn diese Details zwar bekannt sind, der Quellcode aber dennoch nicht erkennen lässt, wie das System ein bestimmtes Resultat generiert. Das ist weit mehr als nur ein akademisches Problem. Denn eine mit Hilfe von KI-Systemen herbeigeführte Entscheidung kann auch bestimmte gesellschaftliche Gruppen diskriminieren. (…) Deutlich wird dies etwa bei dem Einsatz des COMPAS-Systems in den Vereinigten Staaten. Die Abkürzung steht für „Correctional Offender Management Profile for Alternative Sanctions“, zu Deutsch etwa: Straffälligen-Managementprofil für alternative Sanktionen. Das System soll Richter*innen in den USA dabei helfen, die Rückfälligkeit von bereits verurteilten Straftäter*innen einzuschätzen. Die Auswertung der bisherigen Ergebnisse von COMPAS weist jedoch darauf hin, dass das System systematisch dunkelhäutige Menschen diskriminiert – auch wenn die weitere wissenschaftliche Begutachtung des Falls zeigt, dass die Lage nicht so klar ist, wie die Auswertung suggeriert. COMPAS bleibt aber ein Verdachtsfall unter vielen. Auch das Predictive Policing steht im Verdacht, politische Minderheiten zu diskriminieren. (…) Die KI-Verordnung in Europa kann als Versuch gesehen werden, solchen intransparenten und womöglich ungerechten Strukturen entgegenzuwirken. (…) Eine Lücke zeigt sich bei einer näheren Betrachtung des Predictive Policing. Eine solche hat etwa die Rechtswissenschaftlerin Lucia Sommerer in ihrer Dissertation „Personenbezogenes Predictive Policing“ dargelegt. Sommerer zufolge werden im Falle des Predictive Policing „mit algorithmengestützten Verfahren Daten zu in der Vergangenheit straffällig gewordenen Personen analysiert und Merkmale und Verhaltensweisen, die von einer großen Anzahl bekanntermaßen straffälliger Personen vor einer Strafbegehung geteilt wurden, herausgearbeitet. Weist eine mit Blick auf ihr zukünftiges Straftatverhalten neu zu bewertende Person in ihren Merkmalen und Verhaltensweisen eine große Ähnlichkeit zu den herausgearbeiteten Mustern auf, so führt dies zur Zuschreibung einer erhöhten Kriminalitätswahrscheinlichkeit.“ (…) Wie verlässlich solche Theorien sind, soll hier keine Rolle spielen. Entscheidend ist, dass weder Artikel 5 noch andere Artikel der KI-Verordnung ortsbezogenes Predictive Policing verbieten. Das aber deutet darauf hin, dass diese Form in der EU nicht reguliert werden soll. (…) Zudem warnen Expert*innen davor, dass ortsbezogenes Predictive Policing ein ähnlich hohes Diskriminierungspotenzial birgt wie personenbezogene Vorhersagen. (…) Auch in Deutschland werden KI-Systeme mit großen Datensätzen trainiert. Und auch hier ist davon auszugehen, dass die erhobenen Daten verzerrt sind. Es ist daher zu befürchten, dass Predictive Policing in Deutschland vor allem solchen Gegenden einen hohen Risikoscore zuweist, die etwa einen hohen Anteil an Migrant*innen aufweisen. In solchen Vierteln würden dann auch die Polizeieinsätze zunehmen – zum Nachteil der dort lebenden Menschen. Es ist unklar, warum die KI-Verordnung das ortsbezogene Predictive Policing ausklammert. Fest steht aber, dass dies eine gefährliche Lücke in der KI-Verordnung ist. Und dass sie der von der EU-Kommission proklamierten Absicht widerspricht, wonach KI-Systeme „die Grundrechte, die Sicherheit und die ethischen Grundsätze achten“ sollen.“ Gastbeitrag von Daniel Minkin vom 27. Mai 2024 bei Netzpolitik.org
EU-Parlament macht Weg frei für weltweit erstes KI-Gesetz, aber auch für biometrische Gesichtserkennung und weitere große Schlupflöcher für Behörden und Unternehmen
- EU-Parlament gibt grünes Licht für weltweit erstes KI-Gesetz
  „Das EU-Parlament hat den Weg für schärfere Regeln für Künstliche Intelligenz (KI) in der Europäischen Union freigemacht. Die EU-Kommission hatte das Gesetz bereits 2021 vorgeschlagen. Die Parlamentarier stimmten nun am Mittwoch in Straßburg mehrheitlich für das Gesetz. Nach Angaben des Parlaments handelt es sich um das weltweit erste KI-Gesetz. Danach sollen KI-Systeme künftig in verschiedene Risikogruppen eingeteilt werden. Je höher die potenziellen Gefahren einer Anwendung sind, desto höher sollen die Anforderungen sein. (…) Systeme, die als besonders risikoreich gelten und beispielsweise in kritischen Infrastrukturen oder im Bildungs- und Gesundheitswesen eingesetzt werden, müssen nun strenge Anforderungen erfüllen. Ganz verboten wird dagegen unter anderem die Bewertung von sozialem Verhalten („Social Scoring“), wonach die Bürger in China in Verhaltenskategorien eingeteilt werden. Und auch eine Emotionserkennung am Arbeitsplatz, beispielsweise damit Unternehmen im Einstellungsprozess die Gefühle ihrer Mitarbeiter erfassen können, darf es in der EU nicht geben. (…) Mit der Zustimmung des Parlaments kann das Regelwerk nun in Kraft treten. Für die Mitgliedsstaaten bedeutet das, dass sie zunächst schrittweise verbotene Systeme außer Betrieb nehmen müssen. Nach zwei Jahren sollen dann alle Punkte des Gesetzes vollständig umgesetzt sein. Die Mitgliedstaaten müssen außerdem Sanktionen beschließen, wenn Unternehmen die Vorschriften nicht einhalten, beispielsweise Geldstrafen. Privatpersonen, die Verstöße gegen die Vorschriften entdecken, können sich bei nationalen Behörden beschweren. Diese können dann Überwachungsverfahren einleiten und gegebenenfalls Strafen verhängen.“ Meldung vom 13. März 2024 bei LTO , siehe dazu noch:
- EU-Parlament macht Weg frei für KI-Verordnung: Die KI-Verordnung macht den Weg frei für biometrische Gesichtserkennung in der EU. Auch an vielen anderen Stellen bietet sie große Schlupflöcher für Behörden und Unternehmen
  „ Die KI-Verordnung macht den Weg frei für biometrische Gesichtserkennung in der EU. Auch an vielen anderen Stellen bietet sie große Schlupflöcher für Behörden und Unternehmen. Das EU-Parlament wollte Grundrechte besser schützen – und hat dem Kompromiss nun doch zugestimmt. (…) Das Ringen um die finalen Regeln wurde dabei zu einer der größten Lobbyschlachten, die in Brüssel je ausgetragen wurden. Tech-Riesen wie Google und Microsoft investierten Millionen, um ihre Interessen zu schützen. (…) Als die hunderten Seiten Kompromisstext (…) im Februar vorlagen, wurde klar, wie viele Lücken offen bleiben werden. (…) Vor allem in den Regeln zu biometrischer Überwachung ist von den einst starken Forderungen des Parlaments kaum etwas übrig geblieben. Die KI-Verordnung bringt kein Verbot, nicht einmal besonders strenge Einschränkungen für den Einsatz biometrischer Überwachung. EU-Staaten werden also künftig aus vielen Gründen Menschen überwachen und anhand ihrer körperlichen Merkmale identifizieren dürfen, zum Beispiel mit Hilfe öffentlicher Kameras. Das ist selbst in Echtzeit erlaubt und auch dann, wenn nur die Annahme besteht, dass etwas Schlimmes passieren könnte. Die Mitgliedsstaaten konnten sich in diesem Punkt mit ihrer Wunschliste offenbar fast vollständig durchsetzen. Auch Menschen auf der Flucht können von der KI-Verordnung kaum Schutz erwarten. Die wenigen Einschränkungen für Gesichtserkennung im öffentlichen Raum gelten etwa ausdrücklich nicht für Grenzkontrollen. Der Einsatz von umstrittenen Technologien wie Emotionserkennung ist ebenfalls weiterhin erlaubt, Betroffene könnten in Zukunft mit Lügendetektoren an den Grenzübergängen überprüft werden, wie die EU sie bereits in einem Pilotprojekt getestet hat. Und auch die Transparenzverpflichtungen im Gesetz gelten nicht für die Bereiche „Strafverfolgung, Migration, Grenzkontrolle oder Asyl“. (…) Die Hoffnungen für bessere Gesetzgebung verlagern sich derweil auf die Mitgliedstaaten. Sie haben die Möglichkeit, auf nationaler Ebene strengere Regeln zu erlassen als die Verordnung vorsieht, etwa für die biometrische Überwachung. In Deutschland haben die Ampel-Parteien bereits angekündigt, zumindest eine Überwachung in Echtzeit nicht zu wollen. Nachbesserungen fordert jetzt auch AlgorithmWatch und verweist auf die Versprechen, die die Bundesregierung in ihrem Koalitionsvertrag gemacht hat. Die Organisation kritisiert auch, dass gerade für Strafverfolgungs- und Migrationsbehörden keine öffentliche Transparenz gelten soll, wenn sie riskante KI-Systeme einsetzen. Gerade in diesen Bereichen herrsche ein starkes Machtgefälle, Öffentlichkeit sei hier eine wesentliche Voraussetzung demokratischer Kontrolle…“ Beitrag von Chris Köver vom 13. März 2024 bei Netzpolitik.org
- Siehe „Offener Brief zu KI-Verordnung: Bundesregierung soll Biometrie-Überwachung zumindest in Deutschland verbieten“ und weitere Stellungnahmen im Dossier: Gesichtserkennung stoppen! Kampagnen gegen Gesichtserkennung und KI-Verordnung
- Siehe auch von 2020: Kampf um „digitale Souveränität“: EU plant dreistellige Milliardenausgaben zur Schaffung einer von den USA und China unabhängigen digitalen Infrastruktur
EU-Rat: KI-Verordnung erhält grünes Licht
„Die EU-Mitgliedstaaten haben heute den Kompromisstext der KI-Verordnung bestätigt. Das größte Regelwerk der Welt für Künstliche Intelligenz wird damit wahrscheinlich noch vor den EU-Wahlen in Kraft treten – ungeachtet der breiten Kritik am gesetzgeberischen Prozess und an der drohenden Massenüberwachung. Die Entscheidung war mit Spannung erwartet worden: Der Ausschuss der stellvertretenden ständigen Vertreter der einzelnen EU-Mitgliedstaaten (AStV I ) hat heute mehrheitlich den endgültigen Kompromisstext der KI-Verordnung bestätigt . Damit wird die Verordnung nach drei Jahren Verhandlung sehr wahrscheinlich noch vor den EU-Wahlen im Juni in Kraft treten. Die Ausschussabstimmung geht dem Beschluss des EU-Rats voraus. Er setzt sich aus den zuständigen Minister:innen aller EU-Regierungen zusammen und hat die offizielle Entscheidungsbefugnis. Aller Voraussicht nach wird sich der Rat dem heutigen Wahlergebnis anschließen...“ Beitrag von Daniel Leisegang vom 02.02.2024 in Netzpolitik
Grundrechte in Gefahr: Die sieben quälendsten Fragen zur KI-Verordnung
„Wieso hagelt es jetzt so viel Kritik? Wie schlimm wird das mit der Gesichtserkennung? Und was lässt sich jetzt überhaupt noch machen? Wir liefern die wichtigsten Updates zur fast fertigen KI-Verordnung…“ FAQ von Sebastian Meineck, Chris Köver, Daniel Leisegang vom 26.01.2024 in Netzpolitik
Hinter der Fassade der Künstlichen Intelligenz: Auch die neuen Automaten beruhen auf Lohnarbeit – zu einem erheblichen Teil auf Niedriglohnarbeit
„Die Entwicklung der Künstlichen Intelligenz (KI) schreitet voran. Mit ChatGPT werden ganz neue Anwendungen möglich. Die sogenannten großen Sprachmodelle (LLM – Large Language Models) können übersetzen, zusammenfassen, im Internet recherchieren und auf Fragen antworten, sogar Computerprogramme schreiben – scheinbar ohne menschliches Zutun. In Wirklichkeit beruhen auch Computerprogramm wie ChatGPT auf Arbeit, genauer gesagt: auf Lohnarbeit.
Die Arbeitsverhältnisse hinter der KI unterscheiden sich erheblich. Sie reichen von hochqualifizierten Computeringenieuren in den Metropolen über Beschäftigte in Callcenters, die die Systeme beaufsichtigen, bis zu digitalen Hilfsarbeitern im globalen Süden. Diese globale Arbeitsteilung ist möglich, weil es sich bei dem Arbeitsgegenstand um Daten handelt, die mühelos über das Internet verschoben werden können. (…)
Die Möglichkeiten, sich zu wehren und die eigenen Interessen zu vertreten, sind beschränkt, sagt Milagros Miceli. »Die Arbeit ist über die ganze Welt verteilt. Das ist nicht wie die Plattformen der Gig-Economy, Uber oder Lieferando, wo die Beschäftigten einander bei der Arbeit begegnen. Datenarbeiter haben keinen Kontakt untereinander. Außerdem sind die Unternehmen sehr mobil – wenn die Leute in Syrien oder Argentinien sich auflehnen, gehen sie eben woanders hin.«
Die andere Seite der KI-Arbeitsteilung hat Robert Dorschel, ein Soziologe an der niederländischen Universität Tilburg, untersucht. Er spricht von »Tech-Worker … Data Scientists, Softwareprogrammierer oder User-Experience-Designer. Sie sind hochqualifiziert und erzielen ein relativ hohes Gehalt, teilweise mit Telearbeit von zu Hause, teilweise in den Firmenzentralen.« Diese Beschäftigten seien beruflich mobil, auch international, und wechselten im Schnitt alle drei Jahre das Unternehmen. Laut Robert Dorschel verdienen sie im Durchschnitt ungefähr 80000 Euro im Jahr. Anders als häufig angenommen haben diese Beschäftigten ziemlich geregelte Arbeitszeiten, berichtet der Soziologe, »in Deutschland etwa 40 Stunden in der Woche, in den USA etwa 50. Sie sind sehr darauf bedacht, Überlastung und Burnout zu vermeiden«…“ Artikel von Matthias Becker in der Soz Nr. 06/2023
- Siehe dazu auch: Gründung der Content Moderators Union in Afrika: Hinter ChatGPT, Facebook und Co. stecken prekäre und traumatisierende Arbeitsbedingungen und Globaler Süden: Prekäre Klickarbeit hinter den Kulissen des Text-Generators ChatGPT
KI & Datenschutz – Checkliste für den Einsatz künstlicher Intelligenz im beruflichen Alltag
„KI-Tools und Chat-GPT dominieren nicht nur die Medienlandschaft, sondern werden auch zunehmend im beruflichen Alltag eingesetzt. Dabei stellen sich viele Fragen in Bezug auf Datenschutz und Compliance. Eine der größten Hürden ist dabei der Datenschutz. Erst vor wenigen Tagen wurde ChatGPT von der italienischen Datenschutzbehörde gesperrt und auch in Deutschland richten Datenschutzbehören ihren Fokus auf KI-Dienste. Damit steigt auch die Sorge bei den Anwendern. In der folgenden Übersicht erfahren Sie, welche Datenschutzaspekte Sie beim Einsatz von KI-Diensten beachten sollten…“ Checkliste von Dr. Thomas Schwenke vom 6. April 2023
[Biometrische Massenüberwachung] Vorliegende Dokumente belegen: Ampel bricht Koalitionsvertrag
„Auf europäischer Ebene wird gerade das KI-Gesetz verhandelt. Gemeinsam im Bündnis ReclaimYourFace befassen wir uns schon lange mit diesem Gesetz, denn es böte die Chance, biometrische Massenüberwachung europaweit zu verbieten. Im Europäischen Parlament zeichnet sich inzwischen eine Mehrheit für unsere Forderung ab. Dokumente, die uns vorliegen, zeigen aber: Ausgerechnet die deutsche Regierung droht diesen Erfolg zunichte zumachen. Dabei waren die Signale aus der Ampelkoalition bisher ermutigend. In ihrem Koalitionsvertrag schreibt sie eindeutig: „Flächendeckende Videoüberwachung und den Einsatz von biometrischer Erfassung zu Überwachungszwecken lehnen wir ab. Das Recht auf Anonymität sowohl im öffentlichen Raum als auch im Internet ist zu gewährleisten.“ (…) Wir haben mit Informationsfreiheitsgesetz-Anfragen versucht, mehr über die deutsche Position zu erfahren (siehe bei FragDenStaat und AskTheEU. Wir hatten schließlich gehofft, dass die Bundesregierung zu ihrem Versprechen stehen und sich in der EU für ein konsequentes Verbot biometrischer Massenüberwachung einsetzen würde. Das Dokument, welches wir als PDF veröffentlichen, zeigt: Leider wurden diese Hoffnungen enttäuscht. (…) Die Bundesregierung fordert im Rat der EU, das Verbot biometrischer Massenüberwachung nur auf Echtzeitsysteme anzuwenden. Sie besteht darauf, dass biometrische Überwachungssysteme erlaubt bleiben, die erst mit zeitlicher Verzögerung angewendet werden (…) Die Bundesregierung hat großen Schaden angerichtet, als sie im Rat der EU diese Verhandlungsposition unterstützt hat. Jetzt muss sie umlenken und einsehen, dass der Koalitionsvertrag keine Ausnahmen vom Verbot biometrischer Massenüberwachung vorsieht und dass sie sich auf EU-Ebene danach richten muss. Noch kann die Ampel Schadensbegrenzung betreiben. (…) Doch es gibt durchaus auch Lichtblicke. So forderte die Bundesregierung im Rat ein Verbot – der gefährlichen Emotionserkennung, – KI-gestützter Entscheidungen in der Justiz und – systematischer Überwachung von Mitarbeiter.innen an ihrem Arbeitsplatz. Wir sind froh, dass wir hier mit unseren Forderungen durchgedrungen sind. Im Beschluss des Rats vom 6. Dezember finden sich diese Punkte allerdings noch nicht. Im Trilog, bei dem der Rat der EU mit dem Europäischen Parlament die finale Fassung des KI-Gesetzes verhandeln wird, muss die Bundesregierung also sowohl bei diesen Punkten Nachbesserungen einfordern, als auch ihre eigene Position korrigieren. Die Ampel hat jetzt eine zentrale Verantwortung dafür, ob das KI-Gesetz ein Erfolg oder ein Debakel wird.“ Beitrag von Konstantin Macher vom 9. Januar 2022 bei Digitalcourage
- Siehe zum Hintergrund auch: Kampf um „digitale Souveränität“: EU plant dreistellige Milliardenausgaben zur Schaffung einer von den USA und China unabhängigen digitalen Infrastruktur
Vom Algorithmus diskriminiert. Suchmaschinen im Internet benachteiligen all jene, die keine Männer sind. Ihre Technik ist alles andere als geschlechtsneutral
„»Kaum jemand wird auf den Gedanken kommen, dass die Xing-Suche Expertinnen des gleichen Berufszweigs komplett ausschließt«, schrieb die Bloggerin Lisa Ringen bereits 2017 zur Kritik des Online-Karrierenetzwerks. Wer eine männliche Berufsbezeichnung in die Suche eingebe, erhalte aber nur Ergebnisse zu männlichen Experten und auch beim Scrollen durch die Ergebnisliste bei der Konkurrentin Google entstehe der »unterschwellige Eindruck, Männer seien die erfolgreicheren, kompetenteren Fotografie-, Beratungs- und Grafik-Spezialisten«. Mit der Wirklichkeit habe diese selektive Darstellung erst einmal wenig zu tun, Grund sei vielmehr die rein mathematische Logik des genutzten Algorithmus. Gängige Suchmaschinen können zum Beispiel die Wörter Architekt und Architektin nicht als Synonyme erkennen, auf Bildschirmen und Displays erscheint daraufhin die irritierte Nachfrage: »Meinten Sie Architekt?« Die männliche Form einer beruflichen Tätigkeit wird bei Recherchen im Internet viel häufiger eingegeben. Eine sprachliche Kleinigkeit, aber mit gravierenden und ausgrenzenden Folgen: Wenn Anbieterinnen im Netz die weibliche Schreibweise verwenden, sind sie für ihre potenzielle Kundschaft schwieriger auffindbar als ihre männlichen Kollegen. Ein halbes Jahrzehnt nach Lisa Ringens Beschwerde über Xing ist die Debatte über die sogenannte digitale Diskriminierung auch in der Wissenschaft angekommen. Mögliche Betroffene dieser Form der Benachteiligung können neben Frauen auch Menschen mit schwarzer Hautfarbe sein. (…) »Der Algorithmus ist ein Macho«, so bezeichnete es ein Artikel im Magazin Science Notes. Bei Zoom-Konferenzen und ähnlichen Diskussionsformaten erkennt die Software weibliche Stimmen und Gesichter schlechter, fand eine Studie von Wissenschaftlerinnen an der dänischen Universität Sonderborg heraus. Stellengesuche von Frauen behandelt die Künstliche Intelligenz, kurz KI genannt, häufig nachrangig und der elektronische Speicher trägt dazu bei, dass meist Männer auf den ersten Plätzen der Bewerbungslisten landen. Denn gefüttert wird die Maschine vorwiegend mit Erfahrungswerten und Auswahlkriterien aus der Vergangenheit, obwohl die genutzten Informationen manchmal längst überholt sind. Oft stützen sie sich auf die traditionelle Verteilung der Geschlechterrollen, im Extremfall können die Inhalte auch explizit rassistisch oder sexistisch sein…“ Artikel von Thomas Gesterkamp vom 6.01.2023 im ND online
Offener Brief: Die Bundesregierung soll sich bei den EU-Ratsverhandlungen zur KI-Verordnung für ein striktes Verbot der biometrischen Überwachung einsetzen
„… Sehr geehrte Mitglieder der deutschen Bundesregierung, wir wenden uns an Sie im Namen von 24 zivilgesellschaftlichen Organisationen anlässlich der Verhandlungen zur europäischen Verordnung über Künstliche Intelligenz (KI-Verordnung), die in vollem Gange sind und bezüglich derer sich der EU-Rat demnächst auf eine allgemeine Ausrichtung einigen wird. (…) Bedauerlicherweise sehen wir in der letzten Kompromissversion des Rates weiterhin weitgehende Lücken, die ein umfassendes und zuverlässiges Verbot der biometrischen Identifizierung im öffentlichen Raum verhindern würden. Erstens betrifft das Verbot in Artikel 5d nur „Echtzeit“-biometrische Identifizierungssysteme in öffentlich zugänglichen Räumen. Zweitens ist das Verbot auf Strafverfolgungsbehörden oder in deren Auftrag handelnde Akteure beschränkt – eine Einschränkung, die die Überwachung durch andere öffentliche und private Akteure nicht verhindern würde und die im Koalitionsvertrag so nicht erkennbar ist. Drittens sind in den Unterabsätzen im Artikel 5d eine Reihe von Ausnahmen aufgeführt, in denen dieses Verbot nicht gelten sollte, was dessen Gehalt weitgehend aushöhlt. Viertens kann die Absicht des EU-Rates, dass die KI-Verordnung nicht anwendbar sein soll, wenn ein Mitgliedstaat sich auf die «nationale Sicherheit» beruft, zur Rechtfertigung des Einsatzes biometrischer Identifizierungssysteme führen, die eine Massenüberwachung ermöglichen können. In anderen Worten: Das Verbot von biometrischer Überwachung in Art. 5d des KI-Verordnungsentwurfs vermag in seiner aktuellen Form nicht, die vielfältigen Grundrechtsverletzungen, die diese Praktik mit sich bringen kann, zu verhindern. Wir sehen somit eine Diskrepanz zwischen der im Koalitionsvertrag vertretenen Position und dem, was sich derzeit bei der Ratsposition zur KI-Verordnung abzeichnet. Vor dem Hintergrund der Bemühungen der Bundesregierung für ein Verbot von biometrischer Überwachung im öffentlichen Raum – und damit für die Umsetzung dieses zentralen Koalitionsvertragsversprechens – rufen wir Sie auf, sich in dieser entscheidenden Phase der Verhandlungen nochmals explizit dafür stark zu machen…“ Aus dem offenen Brief vom 8. November 2022 bei AlgorithmWatch
[Presseschau] Manifeste zur Unterstützung der informationellen Selbstbestimmung gegenüber Big Data
Notwendig ist ein transatlantisches Manifest – Forschende fordern in einem dringenden Manifest auf „Zur Verteidigung der Demokratie und Rechtsstaatlichkeit im Zeitalter der Künstlichen Intelligenz“ (https://www.sueddeutsche.de/kultur/ki-ai-manifest-demokratie-kapitalismus-monopole-1.5324058?reduced=true ). Initiator ist Paul Nemitz (siehe auch die folgenden Stellungnahmen), Hauptberater bei der Europäischen Kommission (https://www.coleurope.eu/whoswho/person/paul.nemitz ), der auch schon die Datenschutz-Grundverordnung verfasst hatte (https://de.wikipedia.org/wiki/Datenschutz-Grundverordnung und im einzelnen noch https://www.datenschutz-grundverordnung.eu/ ) und jetzt aber weiter zum Schutz gegenüber der Künstlichen Intelligenz in Europa ansetzt (https://ec.europa.eu/commission/presscorner/detail/de/ip_21_1682 )
Droht die zunehmende Verbreitung der Künstlichen Intelligenz doch mehr der Schwächung von Demokratie, Menschenrechten und Rechtsstaatlichkeit als zu ihrer Stärkung (https://www.frankfurter-hefte.de/artikel/demokratie-im-zeitalter-kuenstlicher-intelligenz-2820/ ) beizutragen? Die Bedrohung des Demokratie durch Big Data war schon länger offensichtlich (https://netzpolitik.org/2015/digital-manifest-zehn-prinzipien-gegen-die-entmuendigung-der-buerger/ ; Macht, Freiheit und Demokratie im Zeitatler der Künstlichen Intelligenz (https://www.youtube.com/watch?v=vlQ029wMLTU ) und noch bei der Friedrich-Ebert-Stiftung: https://www.fes.de/politischer-dialog/artikelseite/prinzip-mensch-macht-freiheit-und-demokratie-im-zeitalter-der-kuenstlichen-intelligenz )
So schaltete sich noch die Konrad-Adenauer-Stiftung ein (https://www.kas.de/documents/252038/4521287/Taschenbuch+Digitalisierung+und+K%C3%BCnstliche+Intelligenz.pdf/864e3c1d-1273-a2a4-18c4-c5699f19900a )
Zum aktuellen Manifest schreibt die Süddeutsche noch: Effektive Demokratie erfordert Gegenmacht, die sowohl durch Gesetzgebung als auch durch skalierbare neue Technologien und Geschäftsmodelle entsteht und erhalten werden muss. Unsere Demokratien müssen die Bürger vor staatlichem und nicht-staatlichen Machtmissbrauch schützen, der sich aus dem gezielten Einsatz von prädiktiver Technologie und der Sammlung persönlicher Daten ergibt, d.h. darf es gläserne Belegschaften geben? https://www.labournet.de/interventionen/grundrechte/menschenrechte-betrieb/arbeitnehmerdaten/buch-glaeserne-belegschaften-das-handbuch-zum-beschaeftigtendatenschutz/) Das wirft die Frage auf können die Betriebsräte auch vor den Algorithmen der Künstlichen Intelligenz die Belegschaften schützen (https://www.labournet.de/interventionen/grundrechte/menschenrechte-betrieb/arbeitnehmerdaten/adm-manifest-was-entscheiden-algorithmen-und-wer-kontrolliert-das/)
Wo derzeit die besonderen Gefahren liegen, macht auch jetzt wieder die Verleihung des „Big Brother-Awards“ deutlich (https://www.labournet.de/interventionen/grundrechte/kommunikationsfreiheit/datenschutz/big_brother/verleihung-der-deutschen-bigbrotherawards-2021-am-freitag-11-juni/)
Außerdem müssen sie die Schwächung des lokalen Unternehmertums durch räuberisches, wettbewerbsfeindliches Verhalten verhindern. Unsere Demokratien müssen die Bürger mit fundierten Informationen über die tatsächliche Wirksamkeit und Auswirkung fortschrittlicher Technologien ausstatten, evidenzbasierte politische Dialoge und sinnvolle politische Beteiligung fördern, sich gegen Vereinnahmung wehren und Rechenschaftspflicht bewahren. (https://www.sueddeutsche.de/kultur/ki-ai-manifest-demokratie-kapitalismus-monopole-1.5324058 ) Kommentierte Presseschau von Volker Bahl vom 17.6.2021 – wir danken!
Künstliche Intelligenz: Betriebsräte setzen den Algorithmen Grenzen
„Künstliche Intelligenz zieht in Büros und Werkhallen ein, Algorithmen werten Arbeitsprozesse aus. Betriebsvereinbarungen können verhindern, dass daraus individuelle Überwachung wird. Lernende Maschinen, Künstliche Intelligenz (KI) – das klingt nach spektakulären Supercomputern. Doch selbst in den neueren Versionen normaler Bürosoftware stecken bereits viele Funktionen, die von „intelligenter“ Software gesteuert werden. Über die Benutzung der unterschiedlichen Programmfunktionen wird es möglich, Verhaltensprofile zu erstellen. Die Programme machen auf dieser Basis zum Beispiel Vorschläge, welche Datei als nächste bearbeitet und an wen sie anschließend weitergegeben werden kann. Dies ist eine andere Art der Rationalisierung, als sie früher üblich war: Es geht nicht mehr darum, die Leistungsfähigkeit der Beschäftigten über den Einsatz von Maschinen zu steigern, stattdessen liegt die „potenzielle Produktivkraft hier in den Erkenntnissen, die aus den Daten gezogen werden“, so Andree Thieltges von der Hochschule für Politik der Technischen Universität München in einer Analyse von Betriebs- und Dienstvereinbarungen für das I.M.U. Bei den automatisch erhobenen Daten handelt es sich zu einem großen Teil um „personenbeziehbare“ Daten. Wie die erfassten Informationen genau verarbeitet werden und nach welchen Regeln lernende Maschinen ihre Schlüsse daraus ziehen, bleibt häufig im Dunkeln. Denn die Algorithmen sind das Betriebsgeheimnis der Softwarehersteller. Umso wichtiger ist es Thieltges zufolge für die Arbeitnehmer, zumindest so viel Transparenz herzustellen wie möglich. Schließlich sind sie diejenigen, deren Verhalten von den Computern permanent überwacht und bewertet wird. Der Wissenschaftler hat aus dem Archiv betriebliche Vereinbarungen des I.M.U. Regelungen mit Vorbildcharakter herausgefiltert. Es gibt bereits eine Reihe von Dokumenten zu Fragen der Datenverarbeitung, die auf KI anwendbare Vorschriften enthalten. Sie verhindern unter anderem, dass bei der Computerarbeit anfallende Daten zur individuellen Verhaltens- oder Leistungskontrolle benutzt werden…“ Böckler-impuls 18/2020 zur Analyse von Andree Thieltges „Machine Learning Anwendungen in der betrieblichen Praxis“ in Mitbestimmungspraxis vom Oktober 2020
Digitale-Dienste-Gesetz: Algorithmen sollen nicht willkürlich entscheiden dürfen
„… Im Vorfeld einer neuen europäischen Gesetzesinitiative zur Regulierung von Internet-Plattformen haben EU-Abgeordnete mehr Mitsprache von Nutzer:innen bei automatisierten Entscheidungen gefordert. Wenn etwa ein Facebook-Konto willkürlich wegen angeblicher Regelverstöße von einem automatisierten System gesperrt wird, müsse es einen Anspruch auf Prüfung und Korrektur möglicher Fehlentscheidungen geben. Auch müsse es Rechtsmittel gegen Schäden wegen ungerechtfertiger Eingriffe von solchen Algorithmen geben, heißt es in einem Bericht, den der Binnenmarktausschuss des EU-Parlaments am heutigen Montag verabschiedet hat. Die EU-Kommission möchte am 2. Dezember ihren Entwurf für das Digitale-Dienste-Gesetz vorstellen. Es soll einen grundlegenden europäischen Ansatz zur Regulierung von großen Plattformen wie Google, Facebook und Amazon liefern. Das Gesetzespaket soll die Transparenz von algorithmischen Systemen und den Umgang mit illegalen Inhalten auf Plattformen regeln, aber auch neue Auflagen für den Online-Handel und neue Instrumente im Wettbewerbsrecht schaffen. Der nun verabschiedete, aber noch nicht veröffentlichte Bericht des Parlamentsausschusses soll in den Gesetzesentwurf der Kommission einfließen, diese ist allerdings rechtlich nicht an die Vorschläge gebunden. (…)Das EU-Parlament stellt in dem Bericht klar, was es sich vom Entwurf der Kommission erwartet. Der Bericht des maltesischen Abgeordneten Alex Agius Saliba enthält eine Reihe von Forderungen zum Ausbau digitaler Rechte und mehr Transparenz vonseiten der Plattformen. Die stärkeren Kontrolle von automatisierten Entscheidungssystemen müsse bedeuten, dass Nutzer:innen ein Einspruchsrecht vor einer unabhängigen Stelle haben, fordert der SPD-Europaabgeordnete Tiemo Wölken, der im EU-Parlament am Digitale-Dienste-Gesetz mitarbeitet. Die finale Entscheidung müssten die Gerichte haben, nicht die Plattformen. Abgesehen davon fordert der Bericht, dass Firmen wie Facebook und Google ein Mindestmaß an Transparenz ihrer Algorithmen gewährleisten und sicherstellen, dass diese ihre Nutzer:innen nicht diskriminieren. (…) Die EU-Kommission von Ursula von der Leyen hat das Digitale-Dienste-Gesetz zu einem ihrer Leuchtturmprojekte erklärt. Auf Details zu dem Gesetz will sich die Brüsseler Behörde bislang kaum festlegen, allerdings stelle etwa jüngst der EU-Digitalkommissar Thierry Breton in Aussicht, gegebenenfalls IT-Konzerne zerschlagen zu wollen. Die Vorstellung des Gesetzesentwurfs Anfang Dezember wird nicht nur in Brüssel mit Spannung erwartet.“ Beitrag von Alexander Fanta vom 28. September 2020 bei Netzpolitik.org
ver.di-Bundesvorstand beschließt „Ethische Leitlinien für die Entwicklung und den Einsatz von Künstlicher Intelligenz (KI)“
„Der ver.di-Bundesvorstand hat „Ethische Leitlinien für die Entwicklung und den Einsatz von Künstlicher Intelligenz (KI)“ beschlossen und anlässlich der Eröffnung des „KI-Observatorium“ des BMAS am 3. März 2020 veröffentlicht. Die Leitlinien sollen als Grundlage für die Diskussion mit Entwickler*innen, Programmierer*innen und Entscheider*innen dienen. Zu dem Adressat*innenkreis gehören auch die Beschäftigten, die an der Konzeptionierung, Planung, Entwicklung und dem Einkauf sowie dem Einsatz von KI-Systemen in Unternehmen beteiligt sind und damit Verantwortung tragen. ver.di hat sich erstmalig Ende 2018 zu Künstlicher Intelligenz (KI) positioniert. Denn KI wurde zu diesem Zeitpunkt bereits breit in der Politik diskutiert und es sollten vermehrt Investitionen in diese Technik fließen. Dabei gibt es bis heute keine einheitliche Definition von KI und oft keine klare Abgrenzung zu Software bzw. herkömmliche Algorithmen. Diese Positionierung „Künstliche Intelligenz und Gute Arbeit gestalten“ wurde weiterentwickelt und anlässlich des ver.di-Digitalisierungskongresses 2019 mit dem Schwerpunkt KI veröffentlicht. Die „Ethischen Leitlinien für die Entwicklung und den Einsatz von Künstlicher Intelligenz (KI)“ schließen an diese Positionen an und vertiefen sie.“ ver.di-Meldung vom 03.03.2020 und dort Links zu den „Ethischen Leitlinien für die Entwicklung und den Einsatz von Künstlicher Intelligenz (KI)“ sowie der ver.di-Positionierung zu KI
Programmierte Ungleichheit: Algorithmen sind von Menschen gemacht – und übernehmen deren Vorurteile
„Überraschend strich Bundesinnenminister Horst Seehofer (CSU) im Januar einen umstrittenen Gesetzesentwurf zur biometrischen Gesichtserkennung an 135 Bahnhöfen und 14 Flughäfen deutschlandweit – es seien »Fragen offen geblieben«. Doch an der Ausweitung verschiedener Überwachungsinstrumente soll festgehalten werden. Und die Zahl der mutmaßlichen Straftäter, die in Deutschland mit Gesichtserkennungssystemen über Algorithmen identifiziert werden, steigt stetig an. Dass Algorithmen aber alles andere als eindeutig funktionieren, zeigen viele Beispiele vor allem aus den USA. Im Jahr 2009 verbreitete sich rasend schnell das Video zweier Arbeitskolleg*innen, die sichtlich irritiert mit der Webcam einer renommierten Techfirma rangen. Die Gesichtserkennung konnte nur eine von beiden Personen erkennen, und zwar die weiße, nicht aber die Schwarze. Seifenspender geben in manchen Fällen Flüssigkeit nur an weiße Hände ab, und eine Software markierte einst das Foto eines Schwarzen Mannes als »Gorilla«. Diese und viele andere Beispiele einer algorithmischen Nicht- oder Fehlidentifizierung veranschaulichen, wie Algorithmen gesellschaftlich informiert sind: Sie operieren mit rassistischen und diskriminierenden Vorannahmen. Dieser Umstand wird in der Literatur als algorithmic bias bezeichnet, algorithmische Voreingenommenheit. (…) Die Erklärung dafür ist nicht, dass Algorithmen sich verselbstständigen, sondern dass diejenigen, die diese Werkzeuge entwickeln, systembedingten Rassismus nicht ausreichend in ihre Berechnungen einbeziehen. Auf diese Weise entsteht eine Art programmierte Ungleichheit. Diese geht vor allem auf Kosten jener Personen, die ohnehin überproportional im Visier der Staatsbehörden stehen: arme, kranke, migrantische und nicht-weiße Menschen. Ein Pilotprojekt am Berliner Bahnhof Südkreuz aus dem Jahr 2017, bei dem eine Gesichtserkennungssoftware 300 freiwillige Testpersonen überprüfen sollte, ergab, dass das System zu viele Menschen als verdächtig markierte, nach denen es gar nicht gefahndet hatte. Besonders betroffen von schlechter Gesichtserkennung waren dabei Frauen und nicht-weiße Personen. (…) Und weil Rassismus nicht nur ein individuelles Problem ist, sondern ein Wissenssystem, welches sich durch die genannten Strukturen und Institutionen zieht, manifestiert sich das Paradox zwischen Nicht-Erkennung und Überkennung in algorithmic bias und daraus folgend in rassistischer Praxis. Der Seifenspender wird dann ebenso zentral im Ringen um Standpunkte und kollektive Freiheit für die Zukunft wie die möglicherweise bald implementierte Gesichtserkennungssoftware an Bahnhöfen und Flughäfen, die nicht-weiße Menschen überidentifiziert. Solange Algorithmen auf diese Weise operieren, müssen sie aus Prozessen entfernt werden, die sich auf Einzelpersonen sozial stark benachteiligend auswirken können…“ Beitrag von Nelly Y. Pinkrah bei neues Deutschland vom 15. Februar 2020
Hinter der Rechenmaschine: Eigentum und Profit bestimmen auch einen algorithmischen Kapitalismus
„Mit den sozialen Medien sind Algorithmen zu einem festen Bestandteil unseres Lebens geworden. Sie sortieren die Welt für uns, eröffnen neue Optionen und nehmen uns Entscheidungen ab – schnell, effektiv und gründlich. Die Idee, alle Probleme quasi verlässlich »auszurechnen«, klingt verlockend. Dies, und die Unwissenheit darüber, wie Algorithmen funktionieren – laut einer Umfrage der Bertelsmann Stiftung wissen das nur 10 Prozent der Deutschen -, führt zuweilen dazu, dass Algorithmen wahlweise glorifiziert oder dämonisiert, jedenfalls als eine Art höheres Wesen wahrgenommen werden. Dabei handelt es sich bei Algorithmen, wie die Mathematikerin Hannah Fry in ihrem Buch »Hello World« im Plauderton erklärt, um mathematische Verfahren zur schrittweisen Umformung von Zeichenreihen. Es geht um einen Rechenvorgang nach einem bestimmten, sich wiederholenden Schema. Damit werden Daten für die »reale Welt« verarbeitbar…“ Beitrag von Christopher Wimmer bei neues Deutschland vom 15. Februar 2020
Missing Link: Nur ein Verbot bestimmter Algorithmen kann die Demokratie retten
„Vom Analysten zum Aktivisten: (…) Roger McNamee war ein Angel Investor und Berater von Mark Zuckerberg. Facebooks Einfluss auf die US-Wahlen 2016 machten den US-Analysten und Investor vom Saulus zum Paulus. Nachdem seine Ratschläge, etwas gegen die unheilige Rolle der Plattform im politischen Diskurs zu tun, bei dem Unternehmen auf taube Ohren stießen, wandte sich McNamee gegen den Social-Media-Konzern. In seinem Buch „Zucked“ (deutsch „Die Facebook-Gefahr“, Plassen-Verlag) beschreibt McNamee seine Auseinandersetzung mit seinem früheren Zögling“. Am Rande der Digital Live Design Konferenz des Burda-Verlags sprach McNamee mit Monika Ermert von heise online am 9. Februar 2020 „über ein Verbot von Algorithmen zur Amplifizierung von Hass- und Falschnachrichten, über einen kaputten Markt für Tech-Investoren und die Notwendigkeit, zu Technologie auch mal Nein zu sagen. (…) Roger McNamee: (…) Ich bin zudem wirklich sehr für Experimente im Labor, um schnellstmögliche Fortschritte zu erzielen. Kommerzielle Deployments aber müssen den Menschen und seine Rechte einkalkulieren. Gerade wurde das potentielle Moratorium für die Anwendung von Gesichtserkennung in Europa bekannt. Dadurch will man sich Zeit geben, um gute Entscheidungen in diesem Bereich zu treffen. Es geht immer um den Einsatz, nicht die Entwicklung. Ich glaube, genau diese Vorstellung muss man übertragen auf KI, auf das Quantencomputing. Wir müssen schlicht anerkennen, dass diese Projekte ein Ausmaß angenommen haben, dass sie zwangsläufig Konsequenzen für die Gesellschaft mit sich bringen. (…)Das Grundproblem ist, dass das Geschäftsmodell auf die Monopolisierung von Aufmerksamkeit gerichtet ist. Die Firmen setzen dazu Amplifizierungs-Algorithmen ein, um den Leuten genau die Inhalte zu präsentieren, mit denen sie sie am besten auf der Plattform festhalten können. Für die meisten Leute gilt, dass sie am ehesten dranbleiben, wenn sie wütend sind oder Angst haben. Also bekommen wir Hate Speech, Desinformation und Verschwörungstheorien. Genau da muss die Regulierung ansetzen. Was sollen immer noch mehr Moderatoren bringen. Der Schaden wird innerhalb von Sekunden angerichtet, Moderation dauert viel zu lange, selbst wenn man Millionen von Leuten dafür abstellt. Stattdessen muss man die Algorithmen verbieten, die Botschaften und Themen verstärken. Das wird die Profitabilität von Google und Facebook massiv einschränken, und so sollte es auch sein, analog zur Regulierung anderer Branchen. Wir wissen heute, dass Leute getötet werden können, dass ihr Leben ruiniert werden kann und dass Demokratien abgeschafft werden können. Daher ist es nur billig, die gleichen Ideen zu nutzen, mit denen wir in den vergangenen Jahrzehnten und Jahrhunderten Gebäude, Medizin und chemische Produkte sicher gemacht haben. Wer digitales Gift verbreitet, sollte ökonomisch genauso zur Verantwortung gezogen werden, wie derjenige, der chemische Gifte in Umlauf bringt. (…) Ich weiß nicht genau, wie es weitergeht. Ich weiß nur, die Demokratien in aller Welt stehen vor einer großen Herausforderung und Internetplattformen haben dazu beigetragen, ihren Niedergang zu beschleunigen…“
“Computer says no”: Worüber sollen Algorithmen entscheiden dürfen
„Richtlinien für den ethischen Einsatz von Algorithmen gibt es langsam wirklich genug. Konzerne und Organisationen übertrumpfen sich geradezu damit zu betonen, dass der Mensch bei allen maschinellen Entscheidungen im Mittelpunkt stehen soll, dass die Systeme fair und nachvollziehbar arbeiten müssen. Aber egal, ob sie nun direkt von Google und IBM stammen, von Normungsorganisationen wie IEEE oder der OECD – gemeinsam ist all diesen Richtlinien: Sie sind rechtlich nicht bindend. Die Frage ist also: Wem dienen solche Ansätze der unternehmerischen und staatlichen Selbstregulierung? Und wollen wir uns auf sie verlassen oder brauchen wir klare gesetzliche Auflagen? Welche Regeln sollten für Unternehmen gelten, welche für den Staat? Und wer soll darüber wachen, dass sie eingehalten werden?“ Audio und Video des Vortrags von segal and Chris Köver am 28.12.2019 beim 36c3
Wenn Algorithmen unabsichtlich diskriminieren
„Kein Kredit, weil du nicht oft genug bei Mama anrufst? Keine Versicherung, weil du in der falschen Facebook-Gruppe hängst? Gegen Diskriminierung aufgrund von Geschlecht, Herkunft, Alter oder Religion gibt es Gesetze. Aber was passiert, wenn Algorithmen in ihren Vorhersagen unabsichtlich diskriminieren? (…) Wenn etwa der Algorithmus einer Versicherung beim Durchkämmen von Tausenden Datenpunkten als Muster entdeckt, dass Antragsteller in einer bestimmten Facebook-Gruppe wahrscheinlicher Krebs bekommen werden? Oder ein Bewerbungssystem Frauen systematisch aussortiert, weil diese in der Vergangenheit schon schlechte Chancen im Unternehmen hatten? „Proxy Discrimination“ nennt sich dieses Problem: Stellvertretend für eine unbekannte Variable – Geschlecht, Religion oder genetische Veranlagung – sucht sich das System einen anderen Indikator, um Wahrscheinlichkeiten zu berechnen – einen Proxy eben. Die Menschen, die diese Systeme einsetzten, bemerken das oft nicht mal. Daniel Schwarcz unterrichtet Jura an der University of Minneapolis und beschäftigt sich mit diesen Fragen. Er glaubt: Unsere jetzigen Gesetze gegen Diskriminierung reichen für eine Gegenwart der Algorithmen und Big Data nicht mehr aus. Sie wurden für eine Vergangenheit gemacht, in der es diese Probleme nicht gab. Aber wie müsste ein zeitgemäßes Update für Antidiskriminierung aussehen? Darüber reden wir mit Daniel Schwarcz – per Fernschalte nach Minneapolis…“ Podcast von Netzpolitik mit Chris Köver vom 20. Juli 2019 (Audiolänge: ca. 39 Min., Sprache: Englisch)

Gesichtserkennung: Kritik macht Algorithmen genauer, nicht nur für weiße Männer
„… Joy Buolamwini ist spätestens seit ihrem Ted-Talk eine Art Superstar des Kampfes gegen diskriminierende Algorithmen. Buolamwini ist nicht nur Aktivistin, sondern vor allem Wissenschaftlerin am renommierten MIT in Boston. Dort erforscht sie, wie die Gesichtserkennungssoftware von Microsoft, IBM und anderen Herstellern daran scheitern, die Gesichter von Frauen und Menschen mit dunkler Haut zu erkennen und zu klassifizieren. Im vergangenen Jahr hat Buolamwini in einem Forschungsprojekt eindrucksvoll gezeigt, dass die Produkte von Microsoft, IBM und dem chinesischen Unternehmen Face++ wesentlich schlechter darin sind, das Geschlecht einer Person zu bestimmen, wenn es sich um Frauen handelt, vor allem Frauen mit dunkler Haut. Jetzt hat sie zusammen mit der Co-Autorin Deborah Raji ein Paper nachgelegt, das sich mit den Auswirkungen ihrer Kritik beschäftigt, also der Frage: Was hat es eigentlich gebracht? (…) Die Ergebnisse machen Hoffnung. Keiner hat Buolamwini verklagt. Im Gegenteil. Wie sie schreibt, haben alle drei untersuchten Hersteller auf die unabhängige Kritik positiv reagiert. Binnen weniger Monate haben sie ihre Systeme überarbeitet und die Fehlerquote bei der Klassifikation von Frauen und vor allem Frauen mit dunkler Haut – Buolamwinis Härte-Test – wesentlich reduziert. (…) Noch interessanter als diese Ergebnisse ist womöglich Buolamwinis Vorgehen und die Überlegungen, die sie dazu anstellt. Sie vergleicht die Kritik an diskriminierenden Algorithmen mit den Prozessen in der IT-Sicherheit. Dort gibt es klar definierte Standards dafür, wie Sicherheitslücken und Schwachstellen aufgedeckt und kommuniziert werden: Erst die Firma benachrichtigen, mit einer Frist, um Lücken zu schließen, dann die Öffentlichkeit. Analog, plädiert Buolamwini, müsse es auch in Hinblick auf Diskriminierung ein Verfahren geben, Firmen koordiniert auf solche Fehler hinzuweisen – denn auch dies sei ein Bedrohung, in diesem Fall für die Würde der Nutzer*innen und ihre faire Behandlung. Sie schlägt eine „Koordinierte Offenlegung von Verzerrung“ für Algorithmen vor, die sie in ihrer Untersuchung gleich selbst anwendet. Bevor sie ihre Erkenntnisse Anfang 2018 in einem Beitrag in der New York Times öffentlich machte, schickte sie diese an die jeweiligen Firmen und gab ihnen die Möglichkeit zu reagieren…“ Beitrag von Chris Köver vom 7. Februar 2019 bei Netzpolitik

Die Gesellschaft der Metadaten
„Heute geht es nicht mehr darum, die Position eines Individuums zu bestimmen, sondern die allgemeine Tendenz der Masse zu erkennen. Dadurch wird der Mensch total beherrschbar. Jeden Tag verarbeitet Google 3,5 Milliarden Suchanfragen. Die Nutzer googeln alles: Lebensläufe, Krankheiten, sexuelle Vorlieben, Tatpläne. Und geben damit mehr von sich preis, als ihnen lieb ist. Aus den aggregierten Daten lassen sich in Echtzeit Rückschlüsse über den Gefühlshaushalt der Gesellschaft ziehen. Wie ist die Stimmung? Wie ist die Kauflaune? Welches Produkt wird in dieser Sekunde in welcher Region nachgefragt? Wo wird häufig nach Krediten gesucht? Suchanfragen sind ein konjunktureller Gradmesser. Zentralbanken greifen schon seit Längerem auf Google-Daten zurück und speisen die Daten in ihre makroökonomischen Modelle ein, um das Konsumentenverhalten zu prognostizieren. Die Suchmaschine ist nicht nur ein Seismograf, der die Zuckungen und Regungen der digitalen Gesellschaft erfasst, sondern auch ein Werkzeug, das Präferenzen erzeugt. (…) Das Bedrohliche an dieser algorithmischen Regulierung ist nicht nur die Subtilität der Steuerung, die sich irgendwo in den opaken Maschinenräumen privater Konzerne abspielt, sondern, dass ein techno-autoritärer Politikmodus installiert wird und die Masse als polit-physikalische Größe wiederkehrt. Nur was Datenmasse hat, hat im politischen Diskurs Gewicht. Die Technikvisionäre denken Politik von der Kybernetik her: Es geht darum, „Störungen“ zu vermeiden und das System im Gleichgewicht zu halten. Der chinesische Suchmaschinenriese Baidu hat einen Algorithmus entwickelt, der anhand von Sucheingaben bis zu drei Stunden im Voraus vorhersagen kann, wo sich eine Menschenansammlung („kritische Masse“) bilden wird. Hier wird der Programmcode zu einer präemptiven Politikvermeidung. Das Versprechen von Politik ist, dass sie zukunftsoffen und gestaltbar ist. Wenn aber das Verhalten von Individuen, Gruppen und der Gesellschaft berechenbar wird, wird politische Willensbildung Makulatur. Wo alles determiniert ist, ist nichts mehr veränderbar.“ Beitrag von Adrian Lobe vom 26. Juli 2018 bei der Süddeutschen Zeitung online

Bundestag: Enquete-Kommission untersucht Künstliche Intelligenz
„Zwei Jahre lang soll eine Enquete-Kommission untersuchen, wie sich Künstliche Intelligenz und algorithmische Entscheidungssysteme auf unsere Gesellschaft auswirken. Ob der Bundestag aber die erhofften Handlungsempfehlungen annehmen wird, bleibt bis auf Weiteres offen. Fünf Jahre nach Ende der Enquete-Kommission „Internet und digitale Gesellschaft“ gibt es demnächst eine neue Kommission, die im Bundestag den digitalen Wandel untersuchen soll. Die Arbeitsgruppe wird morgen vom Deutschen Bundestag eingerichtet und soll bis zur Sommerpause 2020 die Entwicklungen der Künstlichen Intelligenz (KI) und algorithmischer Entscheidungssysteme begleiten sowie Vorschläge erarbeiten. Allein am Titel der Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“ lässt sich ablesen, dass sie an vielen Fäden ziehen soll. Laut Antrag sollen am Ende konkrete Handlungsempfehlungen für den Gesetzgeber herauskommen, „wie die Potenziale von KI für das Leben der Menschen, für die Entwicklung unseres Wohlstandes und die Gesellschaft als Ganzes gefördert und die Risiken begrenzt werden können“…“ Artikel von Markus Beckedahl vom 27.06.2018 bei Netzpolitik

Jetzt mitmachen: Wir knacken die Schufa
„Diskriminiert die Schufa? Das will das Projekt OpenSCHUFA ab heute herausfinden. (…) Ob Kredite, Handyverträge oder Wohnungsbewerbungen – bei wichtigen Verbraucherfragen spielt der Schufa-Score eine zentrale Rolle. Wer zu wenige Punkte hat, geht oft leer aus. Das Scoring-Verfahren des Privatunternehmens Schufa, kurz für „Schutzgemeinschaft für allgemeine Kreditsicherung“, ist allerdings höchst intransparent. Als Geschäftsgeheimnis ist es der Öffentlichkeit nicht zugänglich. Das will das Projekt OpenSCHUFA ändern. Die Organisationen Open Knowledge Foundation Deutschland und AlgorithmWatch wollen damit eine Software entwickeln, die den Algorithmus der Schufa mit Reverse Engineering zumindest teilweise rekonstruiert. Dazu rufen sie zur Datenspende auf: Alle Menschen können schon jetzt unter selbstauskunft.net/schufa bei der Schufa kostenlos ihren Schufa-Score anfordern und die Daten – die die Schufa in der Regel per Post zusendet – anschließend an das Projekt spenden. Auch ohne eine Spende ans Projekt kann natürlich eine Selbstauskunft angefordert werden. Kommen ausreichend Datenspenden zusammen, kann OpenSCHUFA möglicherweise nachweisen, ob der Schufa-Score diskriminiert: Welche Auswirkungen hat das Geschlecht oder der Wohnort einer Person auf den Score? Ist der Algorithmus überhaupt zuverlässig? Verstärkt er Ungerechtigkeiten?…“ Update: „Die Schufa hat inzwischen auf die Kampagne reagiert. In ihrer Stellungnahme heißt es unter anderem: „Die SCHUFA bezeichnet das Vorhaben als klar gegen die übergeordneten Interessen von Wirtschaft, Gesellschaft und den Wirtschaftsstandort Deutschland gerichtet.“ Kampagneninfo von Arne Semsrott vom 15. Februar 2018 bei Netzpolitik.org , siehe alle wichtigen Infos zur Aktion:
- DSGVO: Datenschützer prüfen die Auskunftspraxis der Schufa
  „… Getrieben vom Gesetzgeber hat sich die Schufa zwar nach und nach für Verbraucherauskünfte geöffnet und ihr einschlägiges Portal „MeineSchufa.de“ ausgebaut. Es könnte aber fraglich sein, ob die Informationspraxis der Wirtschaftsauskunftei mit der neuen Datenschutzgrundverordnung (DSGVO) übereinstimmt: Wer direkt online Einsicht etwa in die persönliche Kreditwürdigkeit und die zugehörigen Score-Werte nehmen will, muss dafür auf der Plattform eine einmalige Einrichtungsgebühr von 9,95 Euro zahlen, dazu kommen mindestens für ein Jahr Zusatzkosten in Höhe von 3,95 Euro monatlich. In der DSGVO heißt es dagegen in Artikel 15, dass verantwortliche Stellen einem Auskunftssuchenden „eine Kopie der personenbezogenen Daten, die Gegenstand der Verarbeitung sind, zur Verfügung“ stellen müssen. Erst für weitere Anträge könne „ein angemessenes Entgelt auf der Grundlage der Verwaltungskosten“ verlangt werden. (…) Die hessische Datenschutzbehörde, die über die Schufa wacht und bereits Pannen bei dem Unternehmen festgestellt hat, sieht deren Auskunftsverfahren zum Teil kritisch. Ein Referent der Kontrollinstanz erklärte gegenüber der Welt, den Konzern bereits zu einer Stellungnahme aufgefordert zu haben. Er prüfe, ob diese Praxis zulässig sei…“ Beitrag von Stefan Krempl vom 11. Juni 2018 bei heise online
- OpenSCHUFA – Wir knacken die SCHUFA
  „Du bekommst keinen Kredit, keinen Handy-Vertrag, und auch bei der Bewerbung um die schöne Wohnung ziehst Du dauernd den Kürzeren. Woran das liegt? An der SCHUFA natürlich! Wirklich? Benachteiligt die SCHUFA eine Gruppe von Menschen gegenüber einer anderen? Verstärkt sie Ungerechtigkeiten? Das wollen wir herausfinden. Und dazu brauchen wir Dein Geld (wenig) – und Deine Daten (möglichst viele)!…“ Aufruf vom 14. Februar 2018 mit Video von Nico Semsrott in dem alles zur Aktion erklärt wird

Vom Computer gekündigt. Algorithmen könnten in Zukunft großen Einfluss auf die Personalplanung der Unternehmen haben
„»Es ist keine Magie, es ist Watson Analytics.« So bewirbt der Technikkonzern IBM im Internet seine Software zur Auswertung von Firmendaten. Ein Algorithmus soll Firmen etwa zeigen, welche Mitarbeiter mit höherer Wahrscheinlichkeit den Betrieb verlassen wollen und welche Gründe – Gehalt, Arbeitsort oder Überstunden – den Ausschlag geben. Simon Hegelich, Professor für Political Data Science, hat sich den Algorithmus genauer angesehen und findet Schwächen. So entstünden schon bei geringen Modifikationen völlig andere Ergebnisse, zeigt er in einer Simulation auf der Digitalkonferenz re:publica in Berlin. Datenauswertungsprogramme wie IBM Watson Analytics könnten ein zentraler Bestandteil des Personalmanagements werden. Auf Basis der Statistiken würden dann Entscheidungen über Beförderung, Kündigung oder Teamplanung fallen. In anderen Ländern werden solche Programme schon umfassend genutzt, in Deutschland bisher wenig. Aber, ist sich Hegelich sicher, das wird kommen. (…) Wenn etwa ein Computer Bewerbungen auswerte, so die Hoffnung, spielten Hautfarbe, ein ausländisch klingender Name oder das Geschlecht keine Rolle mehr. Professorin Katharina Simbeck ist da skeptisch und glaubt: auch Algorithmen diskriminieren. Sie forscht für die Hans-Böckler-Stiftung zur Benachteiligung durch künstliche Intelligenz. Ein möglicher Grund für die Diskriminierung durch Software: Sie wird von Menschen programmiert…“ Artikel von Josephine Schulz vom 05.05.2018 beim ND online

Wie der Mensch die Kontrolle über den Algorithmus behalten kann
„Software trifft immer häufiger Entscheidungen mit drastischen Auswirkungen auf unser Leben, ob bei der Kreditvergabe oder in der Medizin. Das Recht sollte dabei eine Möglichkeit zur Prüfung und Kontrolle bieten. Aktuelle Gesetzgebung bietet dafür erste Ansätze. Ein Überblick. Seitdem Justizminister Heiko Maas (SPD) die Regulierung von Algorithmen auf die politische Agenda gesetzt hat, ist das Thema fast so prominent wie das Netzwerkdurchsetzungsgesetz (NetzDG). (…) Die Überantwortung menschlicher Entscheidungen an Maschinen steigert die gesellschaftliche Komplexität. Sie birgt ganz neue Herausforderungen gesellschaftlicher Herrschaftskontrolle. Darin nehmen nicht nur Algorithmen, sondern auch Daten eine zentrale Stellung ein. Maschinelles Lernen und andere Formen künstlicher Intelligenz stellen ein ungeheuer spannendes und risikoreiches Experiment mit der Gesellschaft dar. Es sollte nicht der kurzfristigen Innovationseuphorie zum Opfer fallen. Es gilt genau jetzt, die Weichen zu stellen, wozu die Maschinen dem Menschen dienen sollen. Naheliegende Regulierungsoptionen liegen in der Ermöglichung von Prüfung und Kontrolle. Hier nehmen die ordentliche Implementierung der Datenschutz-Grundverordnung, die Verabschiedung der E-Privacy-Verordnung und die Prüfung und Reform von IT-Sicherheitsgesetzen und Urheberrecht eine essentielle Stellung ein.“ Beitrag von Julia Krüger vom 19. Januar 2018 bei Netzpolitik

Raus aus dem Dunkeln: Warum an der Debatte über Algorithmen alle BürgerInnen teilhaben sollten
„Algorithmische Entscheidungsfindung (algorithmic decision making, kurz ADM) ist aus unserem digitalen Leben nicht mehr wegzudenken. Diese Entwicklung bringt Fragen mit sich: Darf eine PKW-Software darüber entscheiden, wer im Falle eines Unfalls zu Schaden kommt? Wer bestimmt über meine Kreditwürdigkeit? Wen ziehe ich zur Verantwortung, wenn mich die Versicherung ablehnt? Das Problem: Als BürgerInnen sind wir derzeit nicht in der Lage, überhaupt mitdiskutieren zu können, da wir über solche komplexen Themen nicht genug wissen. Berliner Gazette-Autorin Kim Ly Lam sucht nach Lösungsansätzen…“ Beitrag von Kim Ly Lam vom 01.03.2017 bei der Berliner Gazette

ADM-Manifest der Initiative AlgorithmWatch.org vom 4. Mai 2016 (dt. und eng): „… 1. ADM ist niemals neutral. 2. Die Schöpfer von ADM-Prozessen sind verantwortlich für ihre Resultate. ADM-Prozesse werden nicht nur von ihren Entwicklern erschaffen. 3. ADM-Prozesse müssen nachvollziehbar sein, damit sie demokratischer Kontrolle unterworfen werden können. 4. Demokratische Gesellschaften haben die Pflicht, diese Nachvollziehbarkeit herzustellen: durch eine Kombination aus Technologien, Regulierung und geeigneten Aufsichtsinstitutionen. 5. Wir müssen entscheiden, wie viel unserer Freiheit wir an ADM übertragen wollen…“

Siehe auch im LabourNet Germany:

Kurzlink: https://www.labournet.de/?p=97915 nach oben