Wie implementiert PyTorch Convolution Backward?

Sut 2020-11-05 22:01.

Ich habe über den Quellcode des Pytorch gelesen und finde es seltsam, dass er die convolution_backwardFunktion nicht implementiert . Die einzige convolution_backward_overrideableFunktion ist, dass sie direkt einen Fehler auslöst und nicht hierher fallen soll.

Also habe ich mich auf die CuDNN / MKLDNN-Implementierung bezogen, beide implementieren Funktionen wie cudnn_convolution_backward.

Ich habe folgende Frage:

Was ist die native Implementierung von CUDA / CPU? Ich kann so etwas finden thnn_conv2d_backward_out, aber ich konnte nicht finden, wo das heißt.
Warum hat PyTorch die convolution_backwardFunktion nicht in Convolution.cpp eingefügt ? Es bietet eine _convolution_double_backward()Funktion. Aber dies ist das Doppelte rückwärts, es ist der Gradient des Gradienten. Warum bieten sie keine einzige Rückwärtsfunktion?
Wie soll ich Code schreiben, wenn ich die native Funktion convolution / convolution_backward für meinen reinen CPU / Cuda-Tensor aufrufen möchte? Oder wo könnte ich mich beziehen? Ich konnte kein Beispiel dafür finden.

Vielen Dank !

pytorch convolution

2 answers

unlut 2020-11-05 22:59.

1- Die Implementierung kann je nach verwendetem Backend unterschiedlich sein. Möglicherweise wird die CUDA-Faltungsimplementierung aus einer Bibliothek, die CPU-Faltungsimplementierung aus einer anderen Bibliothek oder die benutzerdefinierte Implementierung verwendet. Siehe hier: pytorch - Wo ist "conv1d" implementiert? .

2- Ich bin mir über die aktuelle Version nicht sicher, aber Single Backward wurde über Autograd berechnet, weshalb es keine explizit andere Funktion dafür gab. Ich kenne die zugrunde liegenden Details von Autograd nicht, aber Sie können dies überprüfenhttps://github.com/pytorch/pytorch/blob/master/torch/csrc/autograd/autograd.cpp. Diese double_backward-Funktion ist nur verfügbar, wenn Sie Ableitungen höherer Ordnung benötigen.

3- Wenn Sie dies in C tun möchten, zeigt Ihnen die von Ihnen verknüpfte Datei (convolution.cpp), wie dies zu tun ist (Funktion unter :: Tensor _convolution ...). Wenn Sie die Funktion überprüfen, sehen Sie, dass nur die zu verwendende Implementierung (params.use_something ...) überprüft und verwendet wird. Wenn Sie dies in Python tun möchten, sollten Sie mit der Ablaufverfolgung von conv bis zum Aufruf dieser Datei convolution.cpp beginnen.

Sut 2020-11-13 22:57.

Ich habe mir eine Ergänzung zu @ unluts Beitrag ausgedacht.

Die Faltungsmethode befindet sich in separaten Dateien für verschiedene Implementierungen. Sie können cudnn_convoluton_backward oder mkldnn_convolution_backward leicht finden. Eine schwierige Sache ist, dass die endgültige native Fallfunktion schwer zu finden ist. Da derzeit Pytorch-Teams die Thnn-Funktion auf ATen portieren, können Sie sich auf PR24507 beziehen .

Die native Funktion könnte als thnn_con2d_backward gefunden werden .

Die Rückfaltung wird nicht über Autograd berechnet, sondern es muss eine Funktion conv_backward vorhanden sein, die in derivatives.yaml aufgezeichnet werden muss. Wenn Sie eine bestimmte Rückwärtsfunktion suchen möchten, ist die Verwendung dieser Datei ein guter Anfang.
Wenn Sie zu diesem Code die Funktion thnn_backward direkt aufrufen möchten, müssen Sie finput und fgrad_input explizit erstellen. Dies sind zwei leere Tensorangebote als Puffer.

at::Tensor finput = at::empty({0},input.options()); 
at::Tensor fgrad_input = at::empty({0}, input.options());
auto kernel_size = weight.sizes().slice(2);
auto &&result = at::thnn_conv2d_backward(grad_output, input, weight,kernel_size , stride, padding, 
finput, fgrad_input, output_mask);

Japanese Spanish German French Thai Portuguese Russian Vietnamese Italian Korean Turkish Indonesian Polish Hindi

MORE COOL STUFF

Jana Duggar: Alles, was sie über die Liebe gesagt hat und ihr 5-Jahres-Fenster, um den „Einen“ zu finden

Jana Duggar äußerte sich offen zu ihrer Suche nach Liebe. Hier ist alles, was sie zu diesem Thema und ihrem fünfjährigen Zeitfenster für die Ehe gesagt hat.

2023-06-12.

Sam Heughan weiß genau, was er vom „Outlander“-Set mitnehmen wird – „Ich fühle mich wie Jamie, wenn ich sie anziehe“

„Outlander“-Star Sam Heughan verriet kürzlich, was er vom Set mitnehmen wird, um an Jamie Fraser zu erinnern, die Rolle, die ihn zum Star gemacht hat.

2023-06-12.

Der frühe Beatles-Song, der laut einem Fab-Four-Insider einer der „aufregendsten Auftritte“ der Band war

„She Loves You“ wurde in einer Stunde geschrieben, an einem Tag aufgenommen und war der Song der Beatles mit einem ihrer besten Auftritte in ihrer Karriere.

2023-06-11.

Dolly Parton half ihrer „invaliden“ Großmutter, als keines der anderen Enkelkinder es tat – sie machte ihr auch Streiche

Dolly Parton und ihre Oma Bessie hatten eine besondere Beziehung. Oma Parton war sehr krank, aber das hielt Dolly nicht davon ab, ihr einen Streich zu spielen.

2023-06-11.

10 der furchterregendsten Meereskreaturen, die in den Tiefen des Ozeans lauern

Der Ozean ist voller Schönheit, birgt aber auch einige der furchterregendsten Meeresbewohner unseres Planeten. Viele dieser Tiere lauern tief unter der Meeresoberfläche, in der dunklen, von hohem Druck geprägten Tiefsee.

2025-10-29.

Die 10 besten Schwertverzauberungen in Minecraft

Wenn du gegen feindliche Monster kämpfst oder dich für PvP-Situationen ausrüstest, kann dir das Wissen um die besten Schwertverzauberungen in Minecraft einen entscheidenden Vorteil verschaffen. Durch das Verzaubern von Schwertern verursachst du mehr Schaden, erhältst mehr Beute von Monstern und verlängerst die Haltbarkeit deines Schwertes.

2025-10-29.

13 sozialistische Länder, die sich stark voneinander unterscheiden

Wenn von sozialistischen Ländern die Rede ist, stellt man sich oft die vollständige Kontrolle durch den Staat und das Fehlen von Privateigentum vor. In der Praxis unterscheiden sich sozialistische Wirtschaftssysteme jedoch stark.

2025-10-29.

The Bear-Zusammenfassung: Ist Marcus der netteste, sanfteste und aufrichtigste Mann in Chicago?

„Children“ hinterlässt einen Cameo-Auftritt eines großen Namens und einige verheerende Neuigkeiten

2024-07-03 19:12.

Würden Sie für 9.800 US-Dollar Ihren Wagen in diesen siebensitzigen Toyota RAV4 Baujahr 2008 packen?

Dieser RAV4 soll sich in ausgezeichnetem Zustand befinden und ist bereit für eine Partie Reise nach Jerusalem.

2024-07-03 19:04.

Marvels Black Panther Show wird die bisher bedeutendste Animationsserie

„Eyes of Wakanda“ ist direkt mit dem MCU verknüpft und bietet Updates zu „X-Men ’97“, „What If...“, „Daredevil“ und mehr.

2024-07-03 19:03.

Ava Gardners Dating-Geschichte: Ein Rückblick auf die Ehen und Romanzen der Hollywood-Ikone

Ava Gardner war mit Mickey Rooney und Frank Sintra verheiratet und datete mehrere andere Hollywoodstars. Hier ist ein Rückblick auf Ava Gardners Dating-Geschichte.

2024-06-23.

3 bewährte Möglichkeiten, Ihre Schreibfähigkeiten zu verbessern

Die Vorteile des Schreibens und Strategien, die Ihnen dabei helfen

Im Jahr 2022, mit der Veröffentlichung von GPT-3, scheinen Schreibfähigkeiten an Bedeutung zu verlieren. Mit KI können auch Menschen mit schlechten Schreibkenntnissen hochwertiges Personal hervorbringen.

Die langsame Erosion: Enthüllung der Art und Weise, wie Menschen in ihrer Karriere verkümmern

In der heutigen schnelllebigen und wettbewerbsintensiven Welt spielt die Karriere eine wichtige Rolle für das persönliche Wachstum, die finanzielle Stabilität und die allgemeine Lebenszufriedenheit. Viele Menschen befinden sich jedoch in einem unerbittlichen Kreislauf aus Stagnation und Unzufriedenheit, der ihr Berufsleben allmählich verkümmert.

Was macht einen Podcast einflussreich?

Letzte Woche fiel mir eine Pressemitteilung auf, die über PressGazette (eine britische Nachrichten-Website für Medien) verschickt wurde. In dem Artikel wurde angekündigt, dass Acast, das skandinavische Podcast-Hosting- und Werbeunternehmen, ein Konsortium der „wahrscheinlich einflussreichsten“ Verlage im Podcasting leiten werde.

Language

Japanese

Spanish

German

French

Thai

Portuguese

Russian

Vietnamese

Italian

Korean

Turkish

Indonesian

Polish

Hindi

Wie implementiert PyTorch Convolution Backward?

2 answers

Related questions

MORE COOL STUFF

Jana Duggar: Alles, was sie über die Liebe gesagt hat und ihr 5-Jahres-Fenster, um den „Einen“ zu finden

Sam Heughan weiß genau, was er vom „Outlander“-Set mitnehmen wird – „Ich fühle mich wie Jamie, wenn ich sie anziehe“

Der frühe Beatles-Song, der laut einem Fab-Four-Insider einer der „aufregendsten Auftritte“ der Band war

Dolly Parton half ihrer „invaliden“ Großmutter, als keines der anderen Enkelkinder es tat – sie machte ihr auch Streiche

Welches ist das härteste Holz der Welt?

10 der furchterregendsten Meereskreaturen, die in den Tiefen des Ozeans lauern

Die 10 besten Schwertverzauberungen in Minecraft

13 sozialistische Länder, die sich stark voneinander unterscheiden

The Bear-Zusammenfassung: Ist Marcus der netteste, sanfteste und aufrichtigste Mann in Chicago?

Würden Sie für 9.800 US-Dollar Ihren Wagen in diesen siebensitzigen Toyota RAV4 Baujahr 2008 packen?

Amazon-Lieferwagen brennt während der Sommerhitze in Houston in Flammen auf

Marvels Black Panther Show wird die bisher bedeutendste Animationsserie

Ava Gardners Dating-Geschichte: Ein Rückblick auf die Ehen und Romanzen der Hollywood-Ikone

Wer ist John Cleeses Frau? Alles über Jennifer Wade

Alles über Iman und David Bowies Tochter Alexandria „Lexi“ Jones

Wer ist Walker Scobell? Alles über den Percy Jackson and the Olympians Star

Pronomen sind super gruselig

3 bewährte Möglichkeiten, Ihre Schreibfähigkeiten zu verbessern

Die Vorteile des Schreibens und Strategien, die Ihnen dabei helfen

Die langsame Erosion: Enthüllung der Art und Weise, wie Menschen in ihrer Karriere verkümmern

Was macht einen Podcast einflussreich?

Language