Rückwärtsfunktion in PyTorch

9
Elin 2019-07-29 21:13.

Ich habe einige Fragen zur Rückwärtsfunktion von Pytorch. Ich glaube nicht, dass ich die richtige Ausgabe bekomme:

import numpy as np
import torch
from torch.autograd import Variable
a = Variable(torch.FloatTensor([[1,2,3],[4,5,6]]), requires_grad=True) 
out = a * a
out.backward(a)
print(a.grad)

die Ausgabe ist

tensor([[ 2.,  8., 18.],
        [32., 50., 72.]])

Vielleicht ist es 2*a*a

aber ich denke, die Ausgabe soll sein

tensor([[ 2.,  4., 6.],
        [8., 10., 12.]])

2*a. Ursache d(x^2)/dx=2x

machine-learning pytorch gradient-descent autograd

1 answers

28
Shai 2019-07-29 21:48.

Bitte lesen Sie die Dokumentation zu sorgfältig durch https://pytorch.org/docs/stable/tensors.html#torch.Tensor.backward um es besser zu verstehen.

Standardmäßig erwartet pytorch, dass backward()der letzte Ausgang des Netzwerks aufgerufen wird - die Verlustfunktion. Der Verlust Funktion gibt stets eine skalare und daher die Gradienten der skalaren Verlust WRT alle anderen Variablen / Parameter gut definiert ist (der Kettenregel).

Daher wird standardmäßig backward()ein Skalartensor aufgerufen und erwartet keine Argumente.

Zum Beispiel:

a = torch.tensor([[1,2,3],[4,5,6]], dtype=torch.float, requires_grad=True)
for i in range(2):
  for j in range(3):
    out = a[i,j] * a[i,j]
    out.backward()
print(a.grad)

ergibt

tensor([[ 2.,  4.,  6.],
        [ 8., 10., 12.]])

Wie erwartet : d(a^2)/da = 2a.

Wenn Sie jedoch backwardden 2-mal-3- outTensor aufrufen (keine Skalarfunktion mehr), was erwarten Sie a.graddann? Sie benötigen tatsächlich eine 2-mal-3-mal-2-mal-3-Ausgabe: d out[i,j] / d a[k,l](!)

Pytorch unterstützt diese nicht skalaren Funktionsableitungen nicht. Stattdessen nimmt Pytorch an, dass outes sich nur um einen Zwischentensor handelt, und irgendwo "stromaufwärts" gibt es eine Skalarverlustfunktion , die durch die Kettenregel bereitgestellt wird d loss/ d out[i,j]. Dieser "Upstream" -Gradient hat die Größe 2 x 3, und dies ist tatsächlich das Argument, das Sie backwardin diesem Fall angeben: out.backward(g)wo g_ij = d loss/ d out_ij.

Die Gradienten werden dann durch Kettenregel berechnet d loss / d a[i,j] = (d loss/d out[i,j]) * (d out[i,j] / d a[i,j])

Da Sie aals "Upstream" -Gradienten angegeben haben, haben Sie

a.grad[i,j] = 2 * a[i,j] * a[i,j]

Wenn Sie die "Upstream" -Gradienten als alle bereitstellen würden

out.backward(torch.ones(2,3))
print(a.grad)

ergibt

tensor([[ 2.,  4.,  6.],
        [ 8., 10., 12.]])

Wie erwartet.

Es ist alles in der Kettenregel.

Japanese Spanish German French Thai Portuguese Russian Vietnamese Italian Korean Turkish Indonesian Polish Hindi

Related questions

MORE COOL STUFF

Jana Duggar: Alles, was sie über die Liebe gesagt hat und ihr 5-Jahres-Fenster, um den „Einen“ zu finden

Jana Duggar: Alles, was sie über die Liebe gesagt hat und ihr 5-Jahres-Fenster, um den „Einen“ zu finden

Jana Duggar äußerte sich offen zu ihrer Suche nach Liebe. Hier ist alles, was sie zu diesem Thema und ihrem fünfjährigen Zeitfenster für die Ehe gesagt hat.

2023-06-12.

Sam Heughan weiß genau, was er vom „Outlander“-Set mitnehmen wird – „Ich fühle mich wie Jamie, wenn ich sie anziehe“

Sam Heughan weiß genau, was er vom „Outlander“-Set mitnehmen wird – „Ich fühle mich wie Jamie, wenn ich sie anziehe“

„Outlander“-Star Sam Heughan verriet kürzlich, was er vom Set mitnehmen wird, um an Jamie Fraser zu erinnern, die Rolle, die ihn zum Star gemacht hat.

2023-06-12.

Der frühe Beatles-Song, der laut einem Fab-Four-Insider einer der „aufregendsten Auftritte“ der Band war

Der frühe Beatles-Song, der laut einem Fab-Four-Insider einer der „aufregendsten Auftritte“ der Band war

„She Loves You“ wurde in einer Stunde geschrieben, an einem Tag aufgenommen und war der Song der Beatles mit einem ihrer besten Auftritte in ihrer Karriere.

2023-06-11.

Dolly Parton half ihrer „invaliden“ Großmutter, als keines der anderen Enkelkinder es tat – sie machte ihr auch Streiche

Dolly Parton half ihrer „invaliden“ Großmutter, als keines der anderen Enkelkinder es tat – sie machte ihr auch Streiche

Dolly Parton und ihre Oma Bessie hatten eine besondere Beziehung. Oma Parton war sehr krank, aber das hielt Dolly nicht davon ab, ihr einen Streich zu spielen.

2023-06-11.

Welches ist das härteste Holz der Welt?

Welches ist das härteste Holz der Welt?

Man könnte meinen, Eiche oder Hickory seien robust, aber wenn es um die härtesten Hölzer der Welt geht, kommen sie nicht einmal annähernd heran.

2025-10-29.

10 der furchterregendsten Meereskreaturen, die in den Tiefen des Ozeans lauern

10 der furchterregendsten Meereskreaturen, die in den Tiefen des Ozeans lauern

Der Ozean ist voller Schönheit, birgt aber auch einige der furchterregendsten Meeresbewohner unseres Planeten. Viele dieser Tiere lauern tief unter der Meeresoberfläche, in der dunklen, von hohem Druck geprägten Tiefsee.

2025-10-29.

Die 10 besten Schwertverzauberungen in Minecraft

Die 10 besten Schwertverzauberungen in Minecraft

Wenn du gegen feindliche Monster kämpfst oder dich für PvP-Situationen ausrüstest, kann dir das Wissen um die besten Schwertverzauberungen in Minecraft einen entscheidenden Vorteil verschaffen. Durch das Verzaubern von Schwertern verursachst du mehr Schaden, erhältst mehr Beute von Monstern und verlängerst die Haltbarkeit deines Schwertes.

2025-10-29.

13 sozialistische Länder, die sich stark voneinander unterscheiden

13 sozialistische Länder, die sich stark voneinander unterscheiden

Wenn von sozialistischen Ländern die Rede ist, stellt man sich oft die vollständige Kontrolle durch den Staat und das Fehlen von Privateigentum vor. In der Praxis unterscheiden sich sozialistische Wirtschaftssysteme jedoch stark.

2025-10-29.

The Bear-Zusammenfassung: Ist Marcus der netteste, sanfteste und aufrichtigste Mann in Chicago?

The Bear-Zusammenfassung: Ist Marcus der netteste, sanfteste und aufrichtigste Mann in Chicago?

„Children“ hinterlässt einen Cameo-Auftritt eines großen Namens und einige verheerende Neuigkeiten

2024-07-03 19:12.

Würden Sie für 9.800 US-Dollar Ihren Wagen in diesen siebensitzigen Toyota RAV4 Baujahr 2008 packen?

Würden Sie für 9.800 US-Dollar Ihren Wagen in diesen siebensitzigen Toyota RAV4 Baujahr 2008 packen?

Dieser RAV4 soll sich in ausgezeichnetem Zustand befinden und ist bereit für eine Partie Reise nach Jerusalem.

2024-07-03 19:04.

Amazon-Lieferwagen brennt während der Sommerhitze in Houston in Flammen auf

Amazon-Lieferwagen brennt während der Sommerhitze in Houston in Flammen auf

Auf Drohnenaufnahmen ist zu sehen, dass die Feuerwehrleute offenbar Mühe haben, den Brand zu löschen.

2024-07-03 19:04.

Marvels Black Panther Show wird die bisher bedeutendste Animationsserie

Marvels Black Panther Show wird die bisher bedeutendste Animationsserie

„Eyes of Wakanda“ ist direkt mit dem MCU verknüpft und bietet Updates zu „X-Men ’97“, „What If...“, „Daredevil“ und mehr.

2024-07-03 19:03.

Ava Gardners Dating-Geschichte: Ein Rückblick auf die Ehen und Romanzen der Hollywood-Ikone

Ava Gardners Dating-Geschichte: Ein Rückblick auf die Ehen und Romanzen der Hollywood-Ikone

Ava Gardner war mit Mickey Rooney und Frank Sintra verheiratet und datete mehrere andere Hollywoodstars. Hier ist ein Rückblick auf Ava Gardners Dating-Geschichte.

2024-06-23.

Wer ist John Cleeses Frau? Alles über Jennifer Wade

Wer ist John Cleeses Frau? Alles über Jennifer Wade

John Cleese heiratete seine Frau Jennifer Wade im Jahr 2012. Hier erfahren Sie alles Wissenswerte über John Cleeses Frau Jennifer Wade.

2024-06-16.

Alles über Iman und David Bowies Tochter Alexandria „Lexi“ Jones

Alles über Iman und David Bowies Tochter Alexandria „Lexi“ Jones

Iman und David Bowie bekamen im Jahr 2000 ihre Tochter Alexandria „Lexi“ Jones. Hier erfahren Sie alles Wissenswerte über ihre Tochter Alexandria „Lexi“ Jones.

2024-03-10.

Wer ist Walker Scobell? Alles über den Percy Jackson and the Olympians Star

Wer ist Walker Scobell? Alles über den Percy Jackson and the Olympians Star

Walker Scobell ist ein US-amerikanischer Schauspieler. Hier finden Sie alles, was Sie über den Star aus „Percy Jackson und die Olympier“ wissen müssen.

2023-11-13.

Pronomen sind super gruselig

Es fällt mir plötzlich auf, wie so oft. Es ist wieder die Mitte. <Nein, nicht die im Pazifik, du Schlappschwanz, die auf dem Jahrmarkt> Jede Schlagzeile laut…..

3 bewährte Möglichkeiten, Ihre Schreibfähigkeiten zu verbessern

Die Vorteile des Schreibens und Strategien, die Ihnen dabei helfen

3 bewährte Möglichkeiten, Ihre Schreibfähigkeiten zu verbessern

Im Jahr 2022, mit der Veröffentlichung von GPT-3, scheinen Schreibfähigkeiten an Bedeutung zu verlieren. Mit KI können auch Menschen mit schlechten Schreibkenntnissen hochwertiges Personal hervorbringen.

Die langsame Erosion: Enthüllung der Art und Weise, wie Menschen in ihrer Karriere verkümmern

Die langsame Erosion: Enthüllung der Art und Weise, wie Menschen in ihrer Karriere verkümmern

In der heutigen schnelllebigen und wettbewerbsintensiven Welt spielt die Karriere eine wichtige Rolle für das persönliche Wachstum, die finanzielle Stabilität und die allgemeine Lebenszufriedenheit. Viele Menschen befinden sich jedoch in einem unerbittlichen Kreislauf aus Stagnation und Unzufriedenheit, der ihr Berufsleben allmählich verkümmert.

Was macht einen Podcast einflussreich?

Was macht einen Podcast einflussreich?

Letzte Woche fiel mir eine Pressemitteilung auf, die über PressGazette (eine britische Nachrichten-Website für Medien) verschickt wurde. In dem Artikel wurde angekündigt, dass Acast, das skandinavische Podcast-Hosting- und Werbeunternehmen, ein Konsortium der „wahrscheinlich einflussreichsten“ Verlage im Podcasting leiten werde.

Language

Japanese
Spanish
German
French
Thai
Portuguese
Russian
Vietnamese
Italian
Korean
Turkish
Indonesian
Polish
Hindi