Energiehungrige Sprachmodelle
So könnten ChatGPT & Co. künftig sparsamer rechnen
Die Leistungen der großen Sprachmodelle beeindrucken zwar, doch haben sie auch einen immensen Energiehunger, den Forscher nun genauer untersuchen. Denn erst, wenn er im Detail bekannt ist, kann er auch effektiv reduziert werden.
Forscher von Google haben 2017 im Fachartikel „Attention is all you need“ ihr erstes Konzept eines Transformermodells präsentiert und damit die Welt der Computerlinguistik auf den Kopf gestellt. Zuvor konnten KI-Algorithmen nur ein Wort eines Textes nach dem anderen analysieren. Die neuen Modelle waren in der Lage, ganze Sätze zu erfassen und haben damit Chatbots wie ChatGPT ermöglicht.
Doch die Sache hat einen Haken. Einige aktuelle Sprachmodelle bestehen aus weit über hundert Milliarden Parametern. Während eines langwierigen Trainingsprozesses analysieren sie riesige Textmengen. Das Training von GPT-3 hat 1287 Megawattstunden an elektrischer Energie verbraucht. Das entspricht in etwa der Menge, die ein mittleres Atomkraftwerk in einer Stunde produziert. Und damit fängt es erst an. In den ersten zwei Monaten nach seiner Einführung hatte der Chatbot bereits 100 Millionen Nutzer gefunden und benötigten Schätzungen zufolge jeden Tag 564 weitere Megawattstunden an elektrischer Energie, um seinen Dienst aufrechtzuerhalten.