Interview: Norwegian AI Research Consortium (NORA)

Interview: Norwegian AI Research Consortium (NORA)

21 Juli 2022

Drive your life ist eine ganz besondere Gelegenheit. Eric ist 8 Wochen lang unterwegs, erkundet wunderschöne Orte und arbeitet. Aber das ist nicht alles: Er trifft sich mit spannenden Berater:innen, Forscher:innen und Unternehmer:innen. Bei einer unserer jüngsten Veranstaltungen traf er Sachin Gaur, einen leitenden Berater von NORA, dem norwegischen Forschungskonsortium für künstliche Intelligenz.

Hier teilen wir den Austausch der beiden in Form eines Interviews:

Eric: Wir sind heute hier mit Sachin Gaur von NORA und auch mit Thimm Zwiener, der an dieser drive your life-Reise teilnimmt, und ich bin Eric McDermott.
Wir haben gerade ein wenig über NORA gehört und über all die bahnbrechenden norwegischen Technologien und Unternehmen, die gerade entstehen und in der Pipeline sind. Sie haben uns einen kurzen Überblick gegeben, aber vielleicht können Sie sich selbst vorstellen und ein wenig darüber sprechen, was NORA macht.

Sachin: Ja, großartig, ich arbeite bei NORA in der Rolle eines Senior Advisors. Die Arbeit ist sehr lohnend, weil ich mit Menschen spreche, die an vorderster Front stehen und KI bei Themen vom Gesundheitswesen bis zum Klimawandel anwenden. Es ist insofern sehr lohnend, als dass man in einer solchen Funktion nie aufhört zu lernen.
NORA wurde gegründet, um die KI-Bemühungen in Norwegen zu koordinieren. Hinter NORA stehen 8 öffentliche Universitäten, 3 Fachhochschulen und 4 Forschungsinstitute. NORA stellt eine Art nationales Umfeld dar, das natürlich, wie der Name schon sagt, die Forschung umgibt, aber die Forschung muss zu Innovationen führen. NORA beschäftigt sich mit einer Vielzahl von Themen: In der Praxis versuchen wir, Start-ups zu unterstützen, die im Bereich der KI forschen. Wir haben auch ein EU-Netzwerk, mit dem wir unseren Interessenvertretern helfen, mehr EU-Mittel zu erhalten. Wir sind auch an immer mehr Initiativen beteiligt, von denen wir glauben, dass sie den norwegischen Bemühungen helfen können. Zum Beispiel wird gerade etwas aufgebaut, es nennt sich die Norway AI Cloud. Es besteht ein Bedarf, weil die KI-Modelle nicht mehr klein sind, sondern immer größer werden. Neue KI-Modelle haben 500 Milliarden Parameter. Letztes Jahr ist es uns gelungen, einige der großen Modelle auf dieser Infrastruktur zu installieren und sie Forschern als Dienstleistung anzubieten… sie müssen sich nicht um die Infrastruktur kümmern, sondern tun einfach das, was sie lieben.

Thimm: Das ist cool. Müssen Sie sich dafür bewerben? Was ist der Prozess dahinter?

Sachin: Wenn wir über Forschung sprechen, richten wir uns vor allem an Doktoranden, das ist unser primärer Kunde hier. Aber natürlich ist auch jeder andere Forscher relevant. Wenn man heute in der Forschung promoviert, stößt man auf eine Reihe von Engpässen: die Infrastruktur ist einer davon, die Datenmenge ein anderer, und wenn man es auf ein bestimmtes Gebiet anwendet, ist man vielleicht kein Informatik-Experte, aber vielleicht ein Genetik-Experte, und so weiter und so fort.
Wir brauchen auch einen disziplinübergreifenden Ansatz. Deshalb versuchen wir, eine Verbindung zwischen Hochschulen, Universitäten und Forschungsinstituten zu schaffen, bei der die Mitgliedschaft kostenlos ist, wenn man dazugehört. Wir haben auch NORA startup gegründet. Jedes norwegische Startup kann sich bewerben, solange sie ein Forschungs-Ko-Interesse an ihrem Modell haben.

Eric: Wow, es scheint, als wärt ihr von Anfang bis Ende involviert, wie du sagtest, von der Forschung bis zur Industrie, und ihr unterstützt die Leute wirklich auf dieser ganzen Zeitachse.

Sachin: Nun, ja, aber ich weiß nicht, ob ich sagen kann, bis zum Ende. Fertigstellung bedeutet, dass das Unternehmen erfolgreich ist. Ich glaube, wir sind eher auf der Seite der Befähigung, in dieser Hinsicht sind wir ziemlich flink. Norwegen ist von der Bevölkerungszahl her ein kleines Land, aber geografisch gesehen ist es ziemlich groß. Die Menschen leben in verschiedenen Städten; daher braucht man einen übergreifenden Rahmen, damit sie verstehen, wer was tut.
Aber auch, wenn wir international sprechen. Wir haben kürzlich eine Zusammenarbeit mit der Helmholtz-Akademie für Informations- und Datenwissenschaften in Deutschland begonnen. Sie hat 18 Forschungsinstitute zu verschiedenen Themen mit einem 5-Milliarden-Euro-Budget. Das ist die Art von Beziehungen, die NORA herstellt. Wir arbeiten derzeit mit drei deutschen Forschern zusammen, während wir in Norwegen sprechen. Und wir haben gerade ein ähnliches Austauschprogramm mit dem Alan Turing Institute in Großbritannien abgeschlossen.
Das ist etwas, das NORA wirklich gerne fördert: Wie können sich Forscher über die besten KI-Umgebungen der Welt austauschen? Hoffentlich werden wir in Zukunft noch mehr Kooperationen eingehen. Die Forschung im Bereich der KI kann nicht allein betrieben werden, und man muss die besten Köpfe zusammenbringen. Einige der Probleme, mit denen wir heute konfrontiert sind, sind zum Beispiel Probleme von planetarischem Ausmaß, der Klimawandel – wie Ihr Freund Thimm hier und was er zu tun versucht – ich denke, die Menschen müssen sich letztendlich zusammentun. Ich denke, das ist der Geist von NORA: Wie können wir uns mit den relevanten Interessengruppen zusammentun?

Eric: Es ist eine Art Zufall, dass diese KI-Modelle immer größer werden und immer mehr Teile benötigen, und das gilt auch für die Dinge, die wir mit ihnen zu bewältigen versuchen. Wie Sie schon sagten, führen die Probleme, die durch den raschen Klimawandel entstehen, dazu, dass sie immer mehr Teile enthalten, und deshalb brauchen wir bessere Werkzeuge und immer mehr Menschen, die zusammenkommen, um an der Lösung dieses Problems zu arbeiten.

Sachin: NORA arbeitet auch in einigen dieser Bereiche, in Vertrauensbereichen, wenn ich das sagen darf, zum Beispiel haben Sie ein paar Milliarden Euro in dieses Projekt gesteckt, das Long Horn Projekt. Wir versuchen, Kohlendioxid aus einer Zementfabrik abzusaugen und es in Ölquellen zu speichern.
Für diese Art von Projekten braucht man politischen Willen und Geld, oder? Ich denke, Norwegen hat einige gute Möglichkeiten. Ich würde sagen, dass Norwegen über digitale Daten der letzten 50 Jahre verfügt, wenn es beispielsweise um das Gesundheitswesen geht. Wenn man also gute Forschung im Gesundheitswesen betreiben will, braucht man Längsschnittdaten, man muss verstehen, was mit dem Patienten oder der betroffenen Person passiert ist. Diese Daten kann man nicht über Nacht produzieren. Unsere Gesellschaft hat insofern Glück, als dass sie über diese Daten der letzten 50 Jahre verfügt.
Ich denke also an die Gesundheitsfürsorge, den Klimawandel, an andere Themen wie die Schifffahrt, die Fischerei, an all diese Themen, die Nachhaltigkeit für die Zukunft erfordern; ich denke, hier ist ein aufgabenorientierter Ansatz erforderlich. Und ich denke, dass wir hier kluge Köpfe brauchen, die diese Herausforderungen und Probleme lösen.

Eric: Sicherlich. Dieser zyklische Prozess, den Sie erwähnten, mit der Rückgewinnung von Kohlenstoff aus Zementfabriken und dessen Rückführung in Ölquellen, erinnerte mich an dein Projekt, Thimm, mit diesem regenerativen Landwirtschaftsansatz, der versucht, Böden zu regenerieren.

Thimm: Ja, ein großer Teil der regenerativen Landwirtschaft ist genau das: Wir wollen Kohlenstoff in den Böden binden. Das können wir mit Pflanzen tun, und verschiedene Pflanzen tun das auf unterschiedliche Weise. Es ist ein weniger technischer Ansatz. Aber dennoch ist es etwas, das gemessen werden muss, und zwar in großem Maßstab. Ich denke, dass Methoden wie maschinelles Lernen und Fernerkundung eine wichtige Rolle spielen werden.

Eric: Ich denke, dass die Nutzung dieser Technologien auf jeden Fall dazu beitragen wird. Sehen Sie in diesem Zusammenhang irgendwelche Trends, die sich abzeichnen, da Sie den Überblick über viele verschiedene Abteilungen und Initiativen haben?

Sachin: Die KI-Modelle werden immer größer. Es wird für jeden Einzelnen sehr schwierig, etwas zu bewirken, es sei denn, wir unternehmen konzertierte Anstrengungen, um es dem Einzelnen leicht zu machen, einen Beitrag zu leisten. Führende Forschung findet heute in Unternehmen statt, nicht in der offenen Gesellschaft. Als Universitäten oder als demokratische Gesellschaften wollen wir nicht, dass unsere Zukunft von einigen wenigen kontrolliert wird. Wir wollen, dass sie offen ist.
Deshalb halte ich diese EU-weiten Projekte für wichtig, denn nicht jedes einzelne europäische Land hat in diesem Bereich genügend Gewicht. HuggingFace, zum Beispiel, macht viele dieser Open-Source-Modelle. Sie haben EU-Unterstützung erhalten, um offene Modelle zu erstellen, und sie haben diese offenen Modelle jetzt veröffentlicht!
Ich denke, wir brauchen den politischen Willen und die Führung auf höchster Ebene. Emmanuel Macron hatte zum Beispiel zusammen mit Yann LeCun eine große Diskussionsrunde bei VivaTech. Wir brauchen diese Art von Gegenleistung von jedem europäischen Leader. Ich bin mir sicher, dass es die Bürger motivieren wird, über die großen Probleme nachzudenken und darüber, wie Technologie dabei helfen kann, wenn es erst einmal zu einer politischen Sache in Europa geworden ist.

Eric: Ja, und ich denke, diese ganze AutoML-Bewegung basiert darauf, dass jeder, jede Art von Wissenschaftler oder sozusagen ein normaler Bürger diese leistungsstarken maschinellen Lern- und KI-Modelle nutzen kann, um einige Wahrheiten über seine Daten oder sogar die Welt herauszufinden.

Sachin: Es geht um die Werte, die wir in Europa haben. Wir entwickeln diese Dinge nicht nur, sondern wir müssen sie verantwortungsvoll entwickeln, besonders vertrauenswürdig, das ist hier das Schlüsselwort. Ich denke, das erfordert eine größere Beteiligung. Es kann nicht sein, dass nur einige wenige entscheiden, sondern es braucht einen etwas konsultativeren und partizipativeren Ansatz, und deshalb muss das geschehen. Die Spitzenforschung sollte nicht hinter verschlossenen Türen stattfinden, große Unternehmen, von denen wir vielleicht nicht wissen, was sie entwickelt haben, sondern sie sollte in offenener Forschung passieren.

Thimm: Und was sind einige coole Projekte, die NORA finanziert oder unterstützt?

Sachin: Letztes Jahr haben wir zum Beispiel diesen Algorithmus namens AlphaFold installiert. Das war ein Durchbruch in diesem Bereich, ich glaube, dafür muss jemand den Nobelpreis bekommen. Seit 1972 war es ein ständiges Problem, Proteinstrukturen aus der Sequenz von ATGC vorherzusagen und zu prognostizieren, wie sich dieses Protein falten würde. Es war ein norwegischer Amerikaner, Nobelpreisträger, Christian Anfinsen, der diese Herausforderung formulierte. Und alle zwei Jahre gibt es seitdem diese Herausforderung namens CASP (Critical Assessment of Protein Structure Prediction), bei dem Wissenschaftler versuchen, die Molekülstruktur mit mathematischen oder rechnerischen Ansätzen vorherzusagen. Und im Jahr 2020 hat AlphaFold diesen Wettbewerb gewonnen.
Dann gab es eine Menge Druck auf AlphaFold, weil die Welt wissen wollte, wie sie es gemacht haben. Im Jahr 2021, im August, veröffentlichten sie den Code in Form eines Papiers. Aber nicht nur sie, sondern auch eine Frau der University of Washington, vom Institute of Protein Design, Minkyung Baek, die ihr eigenes, von AlphaFold inspiriertes Modell namens RosettaFold entwickelte. Was ein großes Unternehmen gemacht hat, wurde von einem einzelnen Forscher nachgebaut. Als der Code von AlphaFold veröffentlicht wurde, dachten wir, es sei eine hervorragende Gelegenheit, ihn allen zur Verfügung zu stellen. Wir haben fünf Tage gebraucht, um sie zu bekommen.

Thimm: Das Modell selbst umfasste 3 Terabyte an Daten?!

Sachin: Ja, es hat eine Menge Abhängigkeiten. Die Protein-Datenbanken sind riesig. Wir luden es herunter, installierten es und nahmen Kontakt zu einigen der Leute auf, die hinter CASP stehen. Und wir sagten, wir wollen diesen Workshop organisieren. Das war der erste offene Workshop zu diesem Thema auf der ganzen Welt. Und über Nacht – weißt du, wir dachten, wir machen so etwas wie ein kleines norwegisches Ding – mit fünf oder zehn Leuten, die hier versuchen, das zu diskutieren und wir geben einige Sequenzen ein, und wir können sehen, wie die Proteinstruktur aussieht. Aber dann waren wir 700! Einige der besten Köpfe der Welt haben teilgenommen, weil wir die ersten waren, die diese Art von Workshop veranstaltet haben.

Thimm: Wow, läuft dieser Algorithmus also immer noch? Was sind die Voraussetzungen – sagen wir mal als Doktorand – um damit zu arbeiten, was muss ich tun?

Sachin: Du musst gar nichts tun, nur eine E-Mail an uns schreiben, und wie ich schon sagte, sind die meisten unserer Dienste für norwegische Studenten kostenlos. Man muss nur wissen, dass es diese Dienste gibt, und das ist unsere Aufgabe, z.B. Leute aus den Biowissenschaften mit unseren Diensten vertraut zu machen.
Aber wenn morgen etwas anderes dazwischenkommt, kann es Wochen dauern, bis wir das eingerichtet haben, selbst mit unseren Möglichkeiten. Für einen einzelnen Doktoranden bedeutet das, dass er viel Zeit damit verbringt, etwas zu tun, das eigentlich keinen Mehrwert bringt.

Eric: Richtig – die eigentliche Forschung. Es würde so viel Zeit in Anspruch nehmen, ihre Werkzeuge und Methoden einzurichten, und hier bietet ihr diesen Service an. Das ist großartig. Und ist er auch für Nicht-Studenten verfügbar?

Sachin: Im Moment können wir die Arbeit anderer Leute nicht wirklich unterstützen, aufgrund der Wettbewerbsperspektive. Wir können nicht wie Amazon oder andere aus kommerzieller Sicht auf die Straße gehen und aufkaufen. Wir beschränken uns auf die Menschen, die es am meisten brauchen, nämlich Doktoranden.

Eric: Und auch diejenigen, die etwas zurückgeben, weil die Arbeit, die sie machen, oft veröffentlicht wird und dann der Öffentlichkeit zugänglich ist.

Sachin: Es gibt auch Start-ups, die sich an uns wenden, und wir sind mehr als glücklich, ihnen zu helfen. Manchmal verfügen sie nicht über die nötigen Fähigkeiten. Normalerweise helfen wir ihnen dann bei der Berechnung, aber noch wichtiger ist, dass es einen Doktoranden gibt, der ihnen helfen kann, die Strukturen zu berechnen, die sie für ihre Arbeit durch wichtige Forschung benötigen.

Eric: OK. Um noch einmal auf die Frage nach den Trends zurückzukommen… auf der einen Seite geht es darum, dass KI nicht mehr nur für größere Unternehmen, sondern auch für Forscher und Start-ups interessant ist – aber auf der anderen Seite dieser Frage geht es eher um Trends oder Innovationen in Bezug auf bestimmte Themen. Siehst du da etwas sehr Spannendes?

Sachin: Auf der kreativen Seite sehen wir alle Dall-E. Das wirkt sich definitiv auf Ihre Art von Bereich aus.

Eric: Ja, diese ganze Art der synthetischen Datengenerierung. Dall-E ist ein Modell, bei dem man einfach etwas eintippen kann und das dann ein künstlich generiertes Bild erzeugt.

Sachin: Ja, und im Bereich der Verarbeitung natürlicher Sprache kann ich sagen, dass sich ein großes Unternehmen, das ein Modell entwickelt, auf den Markt konzentriert, so dass eine Sprache wie Norwegisch nicht Teil dieser großen Modelle ist. Das bedeutet, dass es von einem bestimmten Land abhängt. Wenn Sie ein Land wie Finnland, Schweden oder Norwegen nehmen, ist das Erste, was Sie aus der KI-Perspektive als strategischen Einfluss sehen, ob die KI-Modelle ihre eigenen Sprachen haben, die der Bevölkerung in dieser Region die gleichen Chancen bieten. Das ist bisher nicht der Fall.
Wenn man von einem großen Unternehmen abhängig ist, das vielleicht erst in fünf Jahren marktrelevant wird, ist das richtig. Aber vor kurzem hat Facebook ein Modell herausgebracht, das viel mehr Sprachen umfasst, es heißt „No Language Left Behind“ und unterstützt zum Beispiel Norwegisch.
Für mich als Einwanderer hat das zum Beispiel Auswirkungen auf meinen Alltag. Könnte ich gesprochenes Norwegisch in Echtzeit in die Sprache übersetzen, die ich bevorzuge? Ich denke, dass die Welt, in die wir uns begeben, die hypervernetzt ist, in der man mit jedem in seiner eigenen Sprache chatten kann, eine große Erleichterung darstellt. Die Frage, die wir uns stellen müssen, lautet: Wer sollte entscheiden, welche Sprache in das Modell aufgenommen werden soll oder nicht? Welche Vorurteile kodieren wir in diesen Modellen?

Eric: Ja, aber es ist sehr wichtig, auf sie zu achten –

Sachin: Ja, stellen wir uns vor, jemand unterhält sich auf Türkisch, und unbewusst werden die Übersetzungen verpfuscht. Du kannst dir vorstellen, wie unangenehm das sein kann.

Eric: Ja, dieses ganze Konzept der sicheren KI, der ethischen KI, ist auch ein wichtiges und relevantes Thema.

Sachin: Ja, wir müssen also Untersuchungen dazu anstellen. Und ich glaube, die Zeitschrift Cosmopolitan hat ein gutes KI-basiertes Magazin-Cover mit Dall-E gemacht. Und es war eine Astronautin. Kürzlich wollte eine Professorin aus Berlin ein Bild für Sally generieren lassen, dass eine Professorin mit einem Rock zeigt, mit einem Blick von unten, okay, man kann sich also vorstellen, dass man in die Grauzone geht. Das ist also die Sache, die man wissen muss, wenn so etwas in die falschen Hände gerät, was die Leute dann damit machen.

Thimm: Was Dall-E angeht, so bin ich mir ziemlich sicher, dass dort bereits einige Filter und so weiter im Einsatz sind, denn ich habe noch kein Dall-E-Bild gesehen, das Nacktheit enthält.

Sachin: Ich bin mir zu 100 % sicher, dass das, was du sagst, richtig ist, aber gleichzeitig meine ich, dass wir Untersuchungen brauchen, die offen sind, damit wir mehr über diese Dinge erfahren können. Es kommen jetzt Ratgeber heraus, in denen man versucht, das zusammenzufassen.

Thimm: Und man möchte nicht, dass diese Filter im Besitz von Unternehmen sind, man möchte sicherstellen, dass die Filter, die verwendet werden, den Konsens der Gesellschaft haben.

Sachin: Ich glaube, diese Dinge sind leichter gesagt als getan, und ich denke, jeder hat einen anderen Ausgangspunkt. Norwegen mag einen anderen Ausgangspunkt haben, Deutschland mag einen anderen Ausgangspunkt haben, Kenia mag einen anderen Ausgangspunkt haben, mit anderen Anforderungen, kulturellen Werten, wie man die Dinge betrachtet.
Und ich glaube, wir sind jetzt so weit, dass die von uns entwickelten KIs sehr homogen sind. Das führt auch dazu, dass man viele seiner Wertesysteme mit Code durchsetzen kann, denn am Ende exportiert man eine Menge Technologie von einem Teil der Welt in einen anderen Teil. KI wird eine Rolle dabei spielen, wie wir die Dinge wahrnehmen.

Eric: Definitiv. Selbst bei dem Beispiel, das du vorhin im Interview mit dem Unternehmen genannt hast, das AR-Overlays für Sportspiele erstellt oder Werbung in Echtzeit in der Sprache des Fernsehzuschauers anzeigt, handelt es sich um subtile Veränderungen, die die Art und Weise, wie wir unsere Welt und unsere Umgebung in Echtzeit wahrnehmen, beeinflussen. KI wird in den kommenden Jahren sicherlich einen immer größeren Einfluss haben, und die Einflusssphären werden sich erweitern.

Sachin: Ursprünglich, als Messaging-Tools populär wurden. Die Emojis, die man verschickte, waren meist in weißen Hautfarben gehalten, und heute sind die Emojis vielfältig und man kann den Hautton auswählen.
Es ist ein allmählicher Prozess, der nur auf dem Ausgangspunkt basiert. Wenn du also ein KI-Modell aus Amerika nimmst, beginnt es vielleicht mit diesem Wertesystem. Aber wenn es in der Lage ist, die Nuancen einer anderen Kultur zu erkennen, kann es sich besser anpassen. Hier brauchen wir einen gesunden Dialog zwischen der Gesellschaft und den Entwicklern von KI, damit sie sich stärker an den Bedürfnissen der Gesellschaft orientiert und nicht an dem, was der Entwickler entwickelt hat.

Eric: Ja, wir müssen uns allmählich und schrittweise aller ethischen Bedenken bewusst werden, die mit diesen leistungsstarken Techniken einhergehen.
Also, Sachin, ich glaube, unsere Zeit ist fast abgelaufen. Lass uns also einfach Danke sagen, für die vielen Einblicke und das gute Gespräch.

Sachin: Ich danke und wünsche alles Gute für die Reise und insbesondere für die Zeit, die du in Norwegen verbringst.

Thimm: Vielen Dank, wir genießen es bereits!

Interview: Norwegian AI Research Consortium (NORA)
Back to top