0% found this document useful (0 votes)
9 views35 pages

Pytorch Recipes: A Problem-Solution Approach To Build, Train and Deploy Neural Network Models, 2Nd Edition Pradeepta Mishra

The document provides information about various eBooks available for download, including titles related to PyTorch, Spring Framework, MATLAB, and machine learning. It highlights the features of these eBooks, such as instant digital formats and problem-solution approaches. Additionally, it includes details about the authors and the content structure of the book 'PyTorch Recipes' by Pradeepta Mishra.

Uploaded by

nayeejoanaw0
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
0% found this document useful (0 votes)
9 views35 pages

Pytorch Recipes: A Problem-Solution Approach To Build, Train and Deploy Neural Network Models, 2Nd Edition Pradeepta Mishra

The document provides information about various eBooks available for download, including titles related to PyTorch, Spring Framework, MATLAB, and machine learning. It highlights the features of these eBooks, such as instant digital formats and problem-solution approaches. Additionally, it includes details about the authors and the content structure of the book 'PyTorch Recipes' by Pradeepta Mishra.

Uploaded by

nayeejoanaw0
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
You are on page 1/ 35

Download the Full Ebook and Access More Features - ebookmass.

com

PyTorch Recipes: A Problem-Solution Approach to


Build, Train and Deploy Neural Network Models, 2nd
Edition Pradeepta Mishra

https://ebookmass.com/product/pytorch-recipes-a-problem-
solution-approach-to-build-train-and-deploy-neural-network-
models-2nd-edition-pradeepta-mishra/

OR CLICK HERE

DOWLOAD NOW

Download more ebook instantly today at https://ebookmass.com


Instant digital products (PDF, ePub, MOBI) ready for you
Download now and discover formats that fit your needs...

Spring 6 Recipes: A Problem-Solution Approach to Spring


Framework Marten Deinum

https://ebookmass.com/product/spring-6-recipes-a-problem-solution-
approach-to-spring-framework-marten-deinum/

ebookmass.com

MATLAB Machine Learning Recipes: A Problem-Solution


Approach 3rd Edition Michael Paluszek

https://ebookmass.com/product/matlab-machine-learning-recipes-a-
problem-solution-approach-3rd-edition-michael-paluszek/

ebookmass.com

Explainable AI Recipes: Implement Solutions to Model


Explainability and Interpretability with Python 1st
Edition Pradeepta Mishra
https://ebookmass.com/product/explainable-ai-recipes-implement-
solutions-to-model-explainability-and-interpretability-with-
python-1st-edition-pradeepta-mishra/
ebookmass.com

Today We Go Home Kelli Estes

https://ebookmass.com/product/today-we-go-home-kelli-estes/

ebookmass.com
Splinter Salem Part Two Wayne Hill

https://ebookmass.com/product/splinter-salem-part-two-wayne-hill/

ebookmass.com

Less Than a Moment Steven F. Havill

https://ebookmass.com/product/less-than-a-moment-steven-f-havill/

ebookmass.com

Advanced Biofuel Technologies: Present Status, Challenges


and Future Prospects D.K. Tuli

https://ebookmass.com/product/advanced-biofuel-technologies-present-
status-challenges-and-future-prospects-d-k-tuli/

ebookmass.com

Working Capital Management : Concept and Strategy Harold


Kent Baker

https://ebookmass.com/product/working-capital-management-concept-and-
strategy-harold-kent-baker/

ebookmass.com

A Curse of Queens Amanda Bouchet

https://ebookmass.com/product/a-curse-of-queens-amanda-bouchet-3/

ebookmass.com
Medical and Psychosocial Aspects of Chronic Illness and
Disability (Ebook PDF)

https://ebookmass.com/product/medical-and-psychosocial-aspects-of-
chronic-illness-and-disability-ebook-pdf/

ebookmass.com
PyTorch Recipes
A Problem-Solution Approach to Build,
Train and Deploy Neural Network Models

Second Edition

Pradeepta Mishra
PyTorch Recipes
A Problem-Solution Approach
to Build, Train and Deploy Neural
Network Models
Second Edition

Pradeepta Mishra
PyTorch Recipes: A Problem-Solution Approach to Build, Train and Deploy Neural
Network Models
Pradeepta Mishra
Bangalore, Karnataka, India

ISBN-13 (pbk): 978-1-4842-8924-2 ISBN-13 (electronic): 978-1-4842-8925-9


https://doi.org/10.1007/978-1-4842-8925-9

Copyright © 2023 by Pradeepta Mishra


This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of the
material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation,
broadcasting, reproduction on microfilms or in any other physical way, and transmission or information
storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now
known or hereafter developed.
Trademarked names, logos, and images may appear in this book. Rather than use a trademark symbol with
every occurrence of a trademarked name, logo, or image we use the names, logos, and images only in an
editorial fashion and to the benefit of the trademark owner, with no intention of infringement of the
trademark.
The use in this publication of trade names, trademarks, service marks, and similar terms, even if they are not
identified as such, is not to be taken as an expression of opinion as to whether or not they are subject to
proprietary rights.
While the advice and information in this book are believed to be true and accurate at the date of publication,
neither the authors nor the editors nor the publisher can accept any legal responsibility for any errors or
omissions that may be made. The publisher makes no warranty, express or implied, with respect to the
material contained herein.
Managing Director, Apress Media LLC: Welmoed Spahr
Acquisitions Editor: Celestin Suresh John
Development Editor: James Markham
Coordinating Editor: Mark Powers
Copy Editor: Mary Behr
Cover designed by eStudioCalamar
Cover image by Marek Piwinicki on Unsplash (www.unsplash.com)
Distributed to the book trade worldwide by Apress Media, LLC, 1 New York Plaza, New York, NY 10004,
U.S.A. Phone 1-800-SPRINGER, fax (201) 348-4505, e-mail [email protected], or visit
www.springeronline.com. Apress Media, LLC is a California LLC and the sole member (owner) is Springer
Science + Business Media Finance Inc (SSBM Finance Inc). SSBM Finance Inc is a Delaware corporation.
For information on translations, please e-mail [email protected]; for reprint,
paperback, or audio rights, please e-mail [email protected].
Apress titles may be purchased in bulk for academic, corporate, or promotional use. eBook versions and
licenses are also available for most titles. For more information, reference our Print and eBook Bulk Sales
web page at www.apress.com/bulk-sales.
Any source code or other supplementary material referenced by the author in this book is available
to readers on GitHub (https://github.com/Apress). For more detailed information, please visit
www.apress.com/source-code.
Printed on acid-free paper
I would like to dedicate this book to my dear parents,
my lovely wife, Prajna, and my daughters, Priyanshi (Aarya)
and Adyanshi (Aadya). This work would not have been possible
without their inspiration, support, and encouragement.
Table of Contents
About the Author���������������������������������������������������������������������������������������������������xvii

About the Technical Reviewer��������������������������������������������������������������������������������xix


Acknowledgments��������������������������������������������������������������������������������������������������xxi

Introduction����������������������������������������������������������������������������������������������������������xxiii

Chapter 1: Introduction to PyTorch, Tensors, and Tensor Operations����������������������� 1


What Is PyTorch?��������������������������������������������������������������������������������������������������������������������������� 5
PyTorch Installation����������������������������������������������������������������������������������������������������������������������� 5
Recipe 1-1. Using Tensors������������������������������������������������������������������������������������������������������������ 7
Problem����������������������������������������������������������������������������������������������������������������������������������� 7
Solution����������������������������������������������������������������������������������������������������������������������������������� 7
How It Works��������������������������������������������������������������������������������������������������������������������������� 8
Conclusion���������������������������������������������������������������������������������������������������������������������������������� 28

Chapter 2: Probability Distributions Using PyTorch����������������������������������������������� 29


Recipe 2-1. Sampling Tensors���������������������������������������������������������������������������������������������������� 29
Problem��������������������������������������������������������������������������������������������������������������������������������� 29
Solution��������������������������������������������������������������������������������������������������������������������������������� 30
How It Works������������������������������������������������������������������������������������������������������������������������� 30
Recipe 2-2. Variable Tensors������������������������������������������������������������������������������������������������������� 33
Problem��������������������������������������������������������������������������������������������������������������������������������� 33
Solution��������������������������������������������������������������������������������������������������������������������������������� 34
How It Works������������������������������������������������������������������������������������������������������������������������� 34
Recipe 2-3. Basic Statistics�������������������������������������������������������������������������������������������������������� 36
Problem��������������������������������������������������������������������������������������������������������������������������������� 36
Solution��������������������������������������������������������������������������������������������������������������������������������� 36
How It Works������������������������������������������������������������������������������������������������������������������������� 36
v
Table of Contents

Recipe 2-4. Gradient Computation���������������������������������������������������������������������������������������������� 40


Problem��������������������������������������������������������������������������������������������������������������������������������� 40
Solution��������������������������������������������������������������������������������������������������������������������������������� 40
How It Works������������������������������������������������������������������������������������������������������������������������� 40
Recipe 2-5. Tensor Operations���������������������������������������������������������������������������������������������������� 42
Problem��������������������������������������������������������������������������������������������������������������������������������� 42
Solution��������������������������������������������������������������������������������������������������������������������������������� 42
How It Works������������������������������������������������������������������������������������������������������������������������� 42
Recipe 2-6. Tensor Operations���������������������������������������������������������������������������������������������������� 43
Problem��������������������������������������������������������������������������������������������������������������������������������� 43
Solution��������������������������������������������������������������������������������������������������������������������������������� 44
How It Works������������������������������������������������������������������������������������������������������������������������� 44
Recipe 2-7. Distributions������������������������������������������������������������������������������������������������������������ 45
Problem��������������������������������������������������������������������������������������������������������������������������������� 45
Solution��������������������������������������������������������������������������������������������������������������������������������� 46
How It Works������������������������������������������������������������������������������������������������������������������������� 46
Conclusion���������������������������������������������������������������������������������������������������������������������������������� 48

Chapter 3: CNN and RNN Using PyTorch����������������������������������������������������������������� 49


Recipe 3-1. Setting Up a Loss Function�������������������������������������������������������������������������������������� 49
Problem��������������������������������������������������������������������������������������������������������������������������������� 49
Solution��������������������������������������������������������������������������������������������������������������������������������� 49
How It Works������������������������������������������������������������������������������������������������������������������������� 50
Recipe 3-2. Estimating the Derivative of the Loss Function������������������������������������������������������� 52
Problem��������������������������������������������������������������������������������������������������������������������������������� 52
Solution��������������������������������������������������������������������������������������������������������������������������������� 52
How It Works������������������������������������������������������������������������������������������������������������������������� 53
Recipe 3-3. Fine-Tuning a Model������������������������������������������������������������������������������������������������ 59
Problem��������������������������������������������������������������������������������������������������������������������������������� 59
Solution��������������������������������������������������������������������������������������������������������������������������������� 59
How It Works������������������������������������������������������������������������������������������������������������������������� 59

vi
Table of Contents

Recipe 3-4. Selecting an Optimization Function������������������������������������������������������������������������� 60


Problem��������������������������������������������������������������������������������������������������������������������������������� 60
Solution��������������������������������������������������������������������������������������������������������������������������������� 60
How It Works������������������������������������������������������������������������������������������������������������������������� 61
Recipe 3-5. Further Optimizing the Function������������������������������������������������������������������������������ 65
Problem��������������������������������������������������������������������������������������������������������������������������������� 65
Solution��������������������������������������������������������������������������������������������������������������������������������� 65
How It Works������������������������������������������������������������������������������������������������������������������������� 65
Recipe 3-6. Implementing a Convolutional Neural Network (CNN)��������������������������������������������� 69
Problem��������������������������������������������������������������������������������������������������������������������������������� 69
Solution��������������������������������������������������������������������������������������������������������������������������������� 69
How It Works������������������������������������������������������������������������������������������������������������������������� 69
Recipe 3-7. Reloading a Model��������������������������������������������������������������������������������������������������� 77
Problem��������������������������������������������������������������������������������������������������������������������������������� 77
Solution��������������������������������������������������������������������������������������������������������������������������������� 77
How It Works������������������������������������������������������������������������������������������������������������������������� 77
Recipe 3-8. Implementing a Recurrent Neural Network������������������������������������������������������������� 81
Problem��������������������������������������������������������������������������������������������������������������������������������� 81
Solution��������������������������������������������������������������������������������������������������������������������������������� 81
How It Works������������������������������������������������������������������������������������������������������������������������� 81
Recipe 3-9. Implementing a RNN for Regression Problems������������������������������������������������������� 87
Problem��������������������������������������������������������������������������������������������������������������������������������� 87
Solution��������������������������������������������������������������������������������������������������������������������������������� 87
How It Works������������������������������������������������������������������������������������������������������������������������� 87
Recipe 3-10. Using PyTorch’s Built-In Functions������������������������������������������������������������������������ 89
Problem��������������������������������������������������������������������������������������������������������������������������������� 89
Solution��������������������������������������������������������������������������������������������������������������������������������� 89
How It Works������������������������������������������������������������������������������������������������������������������������� 89
Recipe 3-11. Working with Autoencoders����������������������������������������������������������������������������������� 93
Problem��������������������������������������������������������������������������������������������������������������������������������� 93
Solution��������������������������������������������������������������������������������������������������������������������������������� 94
How It Works������������������������������������������������������������������������������������������������������������������������� 94
vii
Table of Contents

Recipe 3-12. Fine-Tuning Results Using Autoencoder���������������������������������������������������������������� 98


Problem��������������������������������������������������������������������������������������������������������������������������������� 98
Solution��������������������������������������������������������������������������������������������������������������������������������� 98
How It Works������������������������������������������������������������������������������������������������������������������������� 99
Recipe 3-13. Restricting Model Overfitting������������������������������������������������������������������������������� 102
Problem������������������������������������������������������������������������������������������������������������������������������� 102
Solution������������������������������������������������������������������������������������������������������������������������������� 102
How It Works����������������������������������������������������������������������������������������������������������������������� 102
Recipe 3-14. Visualizing the Model Overfit������������������������������������������������������������������������������� 105
Problem������������������������������������������������������������������������������������������������������������������������������� 105
Solution������������������������������������������������������������������������������������������������������������������������������� 105
How It Works����������������������������������������������������������������������������������������������������������������������� 105
Recipe 3-15. Initializing Weights in the Dropout Rate��������������������������������������������������������������� 109
Problem������������������������������������������������������������������������������������������������������������������������������� 109
Solution������������������������������������������������������������������������������������������������������������������������������� 109
How It Works����������������������������������������������������������������������������������������������������������������������� 109
Recipe 3-16. Adding Math Operations�������������������������������������������������������������������������������������� 110
Problem������������������������������������������������������������������������������������������������������������������������������� 110
Solution������������������������������������������������������������������������������������������������������������������������������� 110
How It Works����������������������������������������������������������������������������������������������������������������������� 110
Recipe 3-17. Embedding Layers in RNN����������������������������������������������������������������������������������� 113
Problem������������������������������������������������������������������������������������������������������������������������������� 113
Solution������������������������������������������������������������������������������������������������������������������������������� 113
How It Works����������������������������������������������������������������������������������������������������������������������� 113
Conclusion�������������������������������������������������������������������������������������������������������������������������������� 115

Chapter 4: Introduction to Neural Networks Using PyTorch��������������������������������� 117


Recipe 4-1. Working with Activation Functions������������������������������������������������������������������������ 117
Problem������������������������������������������������������������������������������������������������������������������������������� 117
Solution������������������������������������������������������������������������������������������������������������������������������� 117
How It Works����������������������������������������������������������������������������������������������������������������������� 118
Linear Function�������������������������������������������������������������������������������������������������������������������� 118

viii
Table of Contents

Bilinear Function����������������������������������������������������������������������������������������������������������������� 119


Sigmoid Function����������������������������������������������������������������������������������������������������������������� 120
Hyperbolic Tangent Function����������������������������������������������������������������������������������������������� 121
Log Sigmoid Transfer Function�������������������������������������������������������������������������������������������� 122
ReLU Function��������������������������������������������������������������������������������������������������������������������� 123
Leaky ReLU�������������������������������������������������������������������������������������������������������������������������� 124
Recipe 4-2. Visualizing the Shape of Activation Functions������������������������������������������������������� 125
Problem������������������������������������������������������������������������������������������������������������������������������� 125
Solution������������������������������������������������������������������������������������������������������������������������������� 125
How It Works����������������������������������������������������������������������������������������������������������������������� 125
Recipe 4-3. Basic Neural Network Model��������������������������������������������������������������������������������� 128
Problem������������������������������������������������������������������������������������������������������������������������������� 128
Solution������������������������������������������������������������������������������������������������������������������������������� 128
How It Works����������������������������������������������������������������������������������������������������������������������� 128
Recipe 4-4. Tensor Differentiation�������������������������������������������������������������������������������������������� 132
Problem������������������������������������������������������������������������������������������������������������������������������� 132
Solution������������������������������������������������������������������������������������������������������������������������������� 132
How It Works����������������������������������������������������������������������������������������������������������������������� 132
Conclusion�������������������������������������������������������������������������������������������������������������������������������� 133

Chapter 5: Supervised Learning Using PyTorch���������������������������������������������������� 135


Introduction to Linear Regression��������������������������������������������������������������������������������������������� 137
Recipe 5-1. Data Preparation for a Supervised Model�������������������������������������������������������������� 140
Problem������������������������������������������������������������������������������������������������������������������������������� 140
Solution������������������������������������������������������������������������������������������������������������������������������� 140
How It Works����������������������������������������������������������������������������������������������������������������������� 140
Recipe 5-2. Forward and Backward PropagationNeural network��������������������������������������������� 142
Problem������������������������������������������������������������������������������������������������������������������������������� 142
Solution������������������������������������������������������������������������������������������������������������������������������� 142
How It Works����������������������������������������������������������������������������������������������������������������������� 142

ix
Table of Contents

Recipe 5-3. Optimization and Gradient Computation���������������������������������������������������������������� 145


Problem������������������������������������������������������������������������������������������������������������������������������� 145
Solution������������������������������������������������������������������������������������������������������������������������������� 145
How It Works����������������������������������������������������������������������������������������������������������������������� 145
Recipe 5-4. Viewing Predictions����������������������������������������������������������������������������������������������� 147
Problem������������������������������������������������������������������������������������������������������������������������������� 147
Solution������������������������������������������������������������������������������������������������������������������������������� 147
How It Works����������������������������������������������������������������������������������������������������������������������� 147
Recipe 5-5. Supervised Model Logistic Regression������������������������������������������������������������������ 151
Problem������������������������������������������������������������������������������������������������������������������������������� 151
Solution������������������������������������������������������������������������������������������������������������������������������� 151
How It Works����������������������������������������������������������������������������������������������������������������������� 151
Conclusion�������������������������������������������������������������������������������������������������������������������������������� 155

Chapter 6: Fine-Tuning Deep Learning Models Using PyTorch����������������������������� 157


Recipe 6-1. Building Sequential Neural Networks�������������������������������������������������������������������� 158
Problem������������������������������������������������������������������������������������������������������������������������������� 158
Solution������������������������������������������������������������������������������������������������������������������������������� 158
How It Works����������������������������������������������������������������������������������������������������������������������� 159
Recipe 6-2. Deciding the Batch Size����������������������������������������������������������������������������������������� 160
Problem������������������������������������������������������������������������������������������������������������������������������� 160
Solution������������������������������������������������������������������������������������������������������������������������������� 160
How It Works����������������������������������������������������������������������������������������������������������������������� 161
Recipe 6-3. Deciding the Learning Rate����������������������������������������������������������������������������������� 163
Problem������������������������������������������������������������������������������������������������������������������������������� 163
Solution������������������������������������������������������������������������������������������������������������������������������� 163
How It Works����������������������������������������������������������������������������������������������������������������������� 164
Recipe 6-4. Performing Parallel Training���������������������������������������������������������������������������������� 167
Problem������������������������������������������������������������������������������������������������������������������������������� 167
Solution������������������������������������������������������������������������������������������������������������������������������� 167
How It Works����������������������������������������������������������������������������������������������������������������������� 168
Conclusion�������������������������������������������������������������������������������������������������������������������������������� 170

x
Table of Contents

Chapter 7: Natural Language Processing Using PyTorch�������������������������������������� 171


Recipe 7-1. Word Embedding���������������������������������������������������������������������������������������������������� 173
Problem������������������������������������������������������������������������������������������������������������������������������� 173
Solution������������������������������������������������������������������������������������������������������������������������������� 174
How It Works����������������������������������������������������������������������������������������������������������������������� 174
Recipe 7-2. CBOW Model in PyTorch����������������������������������������������������������������������������������������� 178
Problem������������������������������������������������������������������������������������������������������������������������������� 178
Solution������������������������������������������������������������������������������������������������������������������������������� 178
How It Works����������������������������������������������������������������������������������������������������������������������� 179
Recipe 7-3. LSTM Model����������������������������������������������������������������������������������������������������������� 181
Problem������������������������������������������������������������������������������������������������������������������������������� 181
Solution������������������������������������������������������������������������������������������������������������������������������� 181
How It Works����������������������������������������������������������������������������������������������������������������������� 181
Summary���������������������������������������������������������������������������������������������������������������������������������� 185

Chapter 8: Distributed PyTorch Modelling, Model Optimization,


and Deployment���������������������������������������������������������������������������������� 187
Recipe 8-1. Distributed Torch Architecture������������������������������������������������������������������������������� 187
Problem������������������������������������������������������������������������������������������������������������������������������� 187
Solution������������������������������������������������������������������������������������������������������������������������������� 188
How It Works����������������������������������������������������������������������������������������������������������������������� 188
Recipe 8-2. Components of Torch Distributed�������������������������������������������������������������������������� 189
Problem������������������������������������������������������������������������������������������������������������������������������� 189
Solution������������������������������������������������������������������������������������������������������������������������������� 190
How It Works����������������������������������������������������������������������������������������������������������������������� 190
Recipe 8-3. Setting Up Distributed PyTorch������������������������������������������������������������������������������ 190
Problem������������������������������������������������������������������������������������������������������������������������������� 190
Solution������������������������������������������������������������������������������������������������������������������������������� 191
How It Works����������������������������������������������������������������������������������������������������������������������� 191
Recipe 8-4. Loading Data to Distributed PyTorch��������������������������������������������������������������������� 192
Problem������������������������������������������������������������������������������������������������������������������������������� 192
Solution������������������������������������������������������������������������������������������������������������������������������� 193

xi
Table of Contents

How It Works����������������������������������������������������������������������������������������������������������������������� 193


Recipe 8-5. Quantization of Models in PyTorch������������������������������������������������������������������������ 195
Problem������������������������������������������������������������������������������������������������������������������������������� 195
Solution������������������������������������������������������������������������������������������������������������������������������� 195
How It Works����������������������������������������������������������������������������������������������������������������������� 195
Recipe 8-6. Quantization Observer Application������������������������������������������������������������������������ 197
Problem������������������������������������������������������������������������������������������������������������������������������� 197
Solution������������������������������������������������������������������������������������������������������������������������������� 198
How It Works����������������������������������������������������������������������������������������������������������������������� 198
Recipe 8-7. Quantization Application Using the MNIST Dataset����������������������������������������������� 199
Problem������������������������������������������������������������������������������������������������������������������������������� 199
Solution������������������������������������������������������������������������������������������������������������������������������� 199
How It Works����������������������������������������������������������������������������������������������������������������������� 199
Summary���������������������������������������������������������������������������������������������������������������������������������� 212

Chapter 9: Data Augmentation, Feature Engineering, and Extractions for


Image and Audio��������������������������������������������������������������������������������������������������� 213
Recipe 9-1. Spectogram for Audio Processing������������������������������������������������������������������������� 214
Problem������������������������������������������������������������������������������������������������������������������������������� 214
Solution������������������������������������������������������������������������������������������������������������������������������� 214
How It Works����������������������������������������������������������������������������������������������������������������������� 214
Recipe 9-2. Installation of Torchaudio��������������������������������������������������������������������������������������� 216
Problem������������������������������������������������������������������������������������������������������������������������������� 216
Solution������������������������������������������������������������������������������������������������������������������������������� 216
How It Works����������������������������������������������������������������������������������������������������������������������� 216
Recipe 9-3. Loading Audio Files into PyTorch��������������������������������������������������������������������������� 217
Problem������������������������������������������������������������������������������������������������������������������������������� 217
Solution������������������������������������������������������������������������������������������������������������������������������� 218
How It Works����������������������������������������������������������������������������������������������������������������������� 218
Recipe 9-4. Installation of Librosa for Audio����������������������������������������������������������������������������� 219
Problem������������������������������������������������������������������������������������������������������������������������������� 219
Solution������������������������������������������������������������������������������������������������������������������������������� 219

xii
Table of Contents

How It Works����������������������������������������������������������������������������������������������������������������������� 219


Recipe 9-5. Spectogram Transformation���������������������������������������������������������������������������������� 221
Problem������������������������������������������������������������������������������������������������������������������������������� 221
Solution������������������������������������������������������������������������������������������������������������������������������� 221
How It Works����������������������������������������������������������������������������������������������������������������������� 221
Recipe 9-6. Griffin-Lim Transformation������������������������������������������������������������������������������������� 222
Problem������������������������������������������������������������������������������������������������������������������������������� 222
Solution������������������������������������������������������������������������������������������������������������������������������� 223
How It Works����������������������������������������������������������������������������������������������������������������������� 223
Recipe 9-7. Mel Scale Transformation Using a Filter Bank������������������������������������������������������� 224
Problem������������������������������������������������������������������������������������������������������������������������������� 224
Solution������������������������������������������������������������������������������������������������������������������������������� 224
How It Works����������������������������������������������������������������������������������������������������������������������� 225
Recipe 9-8. Librosa Mel Scale Conversion vs. the Torchaudio Version������������������������������������� 226
Problem������������������������������������������������������������������������������������������������������������������������������� 226
Solution������������������������������������������������������������������������������������������������������������������������������� 227
How It Works����������������������������������������������������������������������������������������������������������������������� 227
Recipe 9-9. MFCC and LFCC Using Librosa and Torchaudio����������������������������������������������������� 229
Problem������������������������������������������������������������������������������������������������������������������������������� 229
Solution������������������������������������������������������������������������������������������������������������������������������� 229
How It Works����������������������������������������������������������������������������������������������������������������������� 229
Recipe 9-10. Data Augmentation for Images���������������������������������������������������������������������������� 233
Problem������������������������������������������������������������������������������������������������������������������������������� 233
Solution������������������������������������������������������������������������������������������������������������������������������� 233
How It Works����������������������������������������������������������������������������������������������������������������������� 234
Conclusion�������������������������������������������������������������������������������������������������������������������������������� 236

Chapter 10: PyTorch Model Interpretability and Interface to Sklearn������������������ 237


Recipe 10-1. Installation of Captum������������������������������������������������������������������������������������������ 238
Problem������������������������������������������������������������������������������������������������������������������������������� 238
Solution������������������������������������������������������������������������������������������������������������������������������� 238

xiii
Table of Contents

How It Works����������������������������������������������������������������������������������������������������������������������� 238


Recipe 10-2. Primary Attribution Feature Importance of a Deep Learning Model�������������������� 239
Problem������������������������������������������������������������������������������������������������������������������������������� 239
Solution������������������������������������������������������������������������������������������������������������������������������� 239
How It Works����������������������������������������������������������������������������������������������������������������������� 240
Recipe 10-3. Neuron Importance of a Deep Learning Model���������������������������������������������������� 244
Problem������������������������������������������������������������������������������������������������������������������������������� 244
Solution������������������������������������������������������������������������������������������������������������������������������� 244
How It Works����������������������������������������������������������������������������������������������������������������������� 245
Recipe 10-4. Installation of Skorch������������������������������������������������������������������������������������������� 246
Problem������������������������������������������������������������������������������������������������������������������������������� 246
Solution������������������������������������������������������������������������������������������������������������������������������� 246
How It Works����������������������������������������������������������������������������������������������������������������������� 246
Recipe 10-5. Skorch Components for a Neuralnet Classifier���������������������������������������������������� 247
Problem������������������������������������������������������������������������������������������������������������������������������� 247
Solution������������������������������������������������������������������������������������������������������������������������������� 247
How It Works����������������������������������������������������������������������������������������������������������������������� 247
Recipe 10-6. Skorch Neuralnet Regressor�������������������������������������������������������������������������������� 251
Problem������������������������������������������������������������������������������������������������������������������������������� 251
Solution������������������������������������������������������������������������������������������������������������������������������� 251
How It Works����������������������������������������������������������������������������������������������������������������������� 251
Recipe 10-7. Skorch Model Save and Load������������������������������������������������������������������������������ 253
Problem������������������������������������������������������������������������������������������������������������������������������� 253
Solution������������������������������������������������������������������������������������������������������������������������������� 253
How It Works����������������������������������������������������������������������������������������������������������������������� 253
Recipe 10-8. Skorch Model Pipeline Creation��������������������������������������������������������������������������� 254
Problem������������������������������������������������������������������������������������������������������������������������������� 254
Solution������������������������������������������������������������������������������������������������������������������������������� 254
How It Works����������������������������������������������������������������������������������������������������������������������� 254
Recipe 10-9. Skorch Model Epoch Scoring������������������������������������������������������������������������������� 256
Problem������������������������������������������������������������������������������������������������������������������������������� 256
Solution������������������������������������������������������������������������������������������������������������������������������� 256
xiv
Table of Contents

How It Works����������������������������������������������������������������������������������������������������������������������� 256


Recipe 10-10. Grid Search for Best Hyper Parameter�������������������������������������������������������������� 258
Problem������������������������������������������������������������������������������������������������������������������������������� 258
Solution������������������������������������������������������������������������������������������������������������������������������� 258
How It Works����������������������������������������������������������������������������������������������������������������������� 258
Conclusion�������������������������������������������������������������������������������������������������������������������������������� 260

Index��������������������������������������������������������������������������������������������������������������������� 261

xv
Another Random Document on
Scribd Without Any Related Topics
Hän nyökäytti päätään ja hymähti lempeästi. Ja se että hän
hymähti hänelle lempeästi, eikä siis ollut mitään unohtanut ja se, että
häntä, tuota ylpeätä ja niin hyvää pidettiin puolialastomana ja
halveksittiin, täytti äkkiä tytön sydämen hellällä rakkauden ja
leppymättömällä vihan tunteella. Kiljahtaen lankesi Ljuba polvilleen
märälle lattialle ja tarttui hänen karvaisiin jalkoihinsa.

— Pukeudu, rakas! — huudahti hän tylsästi: — pukeudu!

— Ljubka, jätä! — veti päällikkö pois tyttöä. — Hän ei ansaitse


sitä!

Tyttö hypähti pystyyn.

— Pidä suusi kiinni vanha roisto! Hän on parempi, kuin te kaikki


yhteensä!

— Hän on konna!

— Itse olet konna!

— Kuinka? — äkkiä tokasi päällikkö. — Hoi Fedosejanko, korjaa


pois tyttö. Pane nyt pyssysi pois tolvana!

— Rakas! minkätähden annoit pois revolverisi, — parkui tyttö


polisin käsissä. — Miksi et tuonut pommia… Kyllä me olisimme
heidät… me olisimme… heidät kaikki…

— Tuki hänen suunsa!

Hengästyksissään, ja vaieten, taisteli nainen epätoivoissaan ja


koetti purra häntä piteleviä paksuja sormia. Hämillään, tietämättä
miten painia naisen kanssa, repien häntä hiuksista ja rinnoista,
kaatoi vaalea poliisi hänet lattialle ja honotti hirveästi. Eteisestä
kuului ääniä ja santarmien kannukset kilisivät. Ja jotain jutteli
suloisen sydämellinen, sointuva barytoni, aivan kuin olisi
oopperalaulaja lähestynyt, ikäänkuin juuri olisi alkanut vakava
todellinen ooppera.

Polisipäällikkö korjasi takkiaan.


*** END OF THE PROJECT GUTENBERG EBOOK PIMEYTTÄ ***

Updated editions will replace the previous one—the old editions will
be renamed.

Creating the works from print editions not protected by U.S.


copyright law means that no one owns a United States copyright in
these works, so the Foundation (and you!) can copy and distribute it
in the United States without permission and without paying copyright
royalties. Special rules, set forth in the General Terms of Use part of
this license, apply to copying and distributing Project Gutenberg™
electronic works to protect the PROJECT GUTENBERG™ concept
and trademark. Project Gutenberg is a registered trademark, and
may not be used if you charge for an eBook, except by following the
terms of the trademark license, including paying royalties for use of
the Project Gutenberg trademark. If you do not charge anything for
copies of this eBook, complying with the trademark license is very
easy. You may use this eBook for nearly any purpose such as
creation of derivative works, reports, performances and research.
Project Gutenberg eBooks may be modified and printed and given
away—you may do practically ANYTHING in the United States with
eBooks not protected by U.S. copyright law. Redistribution is subject
to the trademark license, especially commercial redistribution.

START: FULL LICENSE


THE FULL PROJECT GUTENBERG LICENSE
PLEASE READ THIS BEFORE YOU DISTRIBUTE OR USE THIS WORK

To protect the Project Gutenberg™ mission of promoting the free


distribution of electronic works, by using or distributing this work (or
any other work associated in any way with the phrase “Project
Gutenberg”), you agree to comply with all the terms of the Full
Project Gutenberg™ License available with this file or online at
www.gutenberg.org/license.

Section 1. General Terms of Use and


Redistributing Project Gutenberg™
electronic works
1.A. By reading or using any part of this Project Gutenberg™
electronic work, you indicate that you have read, understand, agree
to and accept all the terms of this license and intellectual property
(trademark/copyright) agreement. If you do not agree to abide by all
the terms of this agreement, you must cease using and return or
destroy all copies of Project Gutenberg™ electronic works in your
possession. If you paid a fee for obtaining a copy of or access to a
Project Gutenberg™ electronic work and you do not agree to be
bound by the terms of this agreement, you may obtain a refund from
the person or entity to whom you paid the fee as set forth in
paragraph 1.E.8.

1.B. “Project Gutenberg” is a registered trademark. It may only be


used on or associated in any way with an electronic work by people
who agree to be bound by the terms of this agreement. There are a
few things that you can do with most Project Gutenberg™ electronic
works even without complying with the full terms of this agreement.
See paragraph 1.C below. There are a lot of things you can do with
Project Gutenberg™ electronic works if you follow the terms of this
agreement and help preserve free future access to Project
Gutenberg™ electronic works. See paragraph 1.E below.
1.C. The Project Gutenberg Literary Archive Foundation (“the
Foundation” or PGLAF), owns a compilation copyright in the
collection of Project Gutenberg™ electronic works. Nearly all the
individual works in the collection are in the public domain in the
United States. If an individual work is unprotected by copyright law in
the United States and you are located in the United States, we do
not claim a right to prevent you from copying, distributing,
performing, displaying or creating derivative works based on the
work as long as all references to Project Gutenberg are removed. Of
course, we hope that you will support the Project Gutenberg™
mission of promoting free access to electronic works by freely
sharing Project Gutenberg™ works in compliance with the terms of
this agreement for keeping the Project Gutenberg™ name
associated with the work. You can easily comply with the terms of
this agreement by keeping this work in the same format with its
attached full Project Gutenberg™ License when you share it without
charge with others.

1.D. The copyright laws of the place where you are located also
govern what you can do with this work. Copyright laws in most
countries are in a constant state of change. If you are outside the
United States, check the laws of your country in addition to the terms
of this agreement before downloading, copying, displaying,
performing, distributing or creating derivative works based on this
work or any other Project Gutenberg™ work. The Foundation makes
no representations concerning the copyright status of any work in
any country other than the United States.

1.E. Unless you have removed all references to Project Gutenberg:

1.E.1. The following sentence, with active links to, or other


immediate access to, the full Project Gutenberg™ License must
appear prominently whenever any copy of a Project Gutenberg™
work (any work on which the phrase “Project Gutenberg” appears, or
with which the phrase “Project Gutenberg” is associated) is
accessed, displayed, performed, viewed, copied or distributed:
This eBook is for the use of anyone anywhere in the United
States and most other parts of the world at no cost and with
almost no restrictions whatsoever. You may copy it, give it away
or re-use it under the terms of the Project Gutenberg License
included with this eBook or online at www.gutenberg.org. If you
are not located in the United States, you will have to check the
laws of the country where you are located before using this
eBook.

1.E.2. If an individual Project Gutenberg™ electronic work is derived


from texts not protected by U.S. copyright law (does not contain a
notice indicating that it is posted with permission of the copyright
holder), the work can be copied and distributed to anyone in the
United States without paying any fees or charges. If you are
redistributing or providing access to a work with the phrase “Project
Gutenberg” associated with or appearing on the work, you must
comply either with the requirements of paragraphs 1.E.1 through
1.E.7 or obtain permission for the use of the work and the Project
Gutenberg™ trademark as set forth in paragraphs 1.E.8 or 1.E.9.

1.E.3. If an individual Project Gutenberg™ electronic work is posted


with the permission of the copyright holder, your use and distribution
must comply with both paragraphs 1.E.1 through 1.E.7 and any
additional terms imposed by the copyright holder. Additional terms
will be linked to the Project Gutenberg™ License for all works posted
with the permission of the copyright holder found at the beginning of
this work.

1.E.4. Do not unlink or detach or remove the full Project


Gutenberg™ License terms from this work, or any files containing a
part of this work or any other work associated with Project
Gutenberg™.

1.E.5. Do not copy, display, perform, distribute or redistribute this


electronic work, or any part of this electronic work, without
prominently displaying the sentence set forth in paragraph 1.E.1 with
active links or immediate access to the full terms of the Project
Gutenberg™ License.
1.E.6. You may convert to and distribute this work in any binary,
compressed, marked up, nonproprietary or proprietary form,
including any word processing or hypertext form. However, if you
provide access to or distribute copies of a Project Gutenberg™ work
in a format other than “Plain Vanilla ASCII” or other format used in
the official version posted on the official Project Gutenberg™ website
(www.gutenberg.org), you must, at no additional cost, fee or expense
to the user, provide a copy, a means of exporting a copy, or a means
of obtaining a copy upon request, of the work in its original “Plain
Vanilla ASCII” or other form. Any alternate format must include the
full Project Gutenberg™ License as specified in paragraph 1.E.1.

1.E.7. Do not charge a fee for access to, viewing, displaying,


performing, copying or distributing any Project Gutenberg™ works
unless you comply with paragraph 1.E.8 or 1.E.9.

1.E.8. You may charge a reasonable fee for copies of or providing


access to or distributing Project Gutenberg™ electronic works
provided that:

• You pay a royalty fee of 20% of the gross profits you derive from
the use of Project Gutenberg™ works calculated using the
method you already use to calculate your applicable taxes. The
fee is owed to the owner of the Project Gutenberg™ trademark,
but he has agreed to donate royalties under this paragraph to
the Project Gutenberg Literary Archive Foundation. Royalty
payments must be paid within 60 days following each date on
which you prepare (or are legally required to prepare) your
periodic tax returns. Royalty payments should be clearly marked
as such and sent to the Project Gutenberg Literary Archive
Foundation at the address specified in Section 4, “Information
about donations to the Project Gutenberg Literary Archive
Foundation.”

• You provide a full refund of any money paid by a user who


notifies you in writing (or by e-mail) within 30 days of receipt that
s/he does not agree to the terms of the full Project Gutenberg™
License. You must require such a user to return or destroy all
copies of the works possessed in a physical medium and
discontinue all use of and all access to other copies of Project
Gutenberg™ works.

• You provide, in accordance with paragraph 1.F.3, a full refund of


any money paid for a work or a replacement copy, if a defect in
the electronic work is discovered and reported to you within 90
days of receipt of the work.

• You comply with all other terms of this agreement for free
distribution of Project Gutenberg™ works.

1.E.9. If you wish to charge a fee or distribute a Project Gutenberg™


electronic work or group of works on different terms than are set
forth in this agreement, you must obtain permission in writing from
the Project Gutenberg Literary Archive Foundation, the manager of
the Project Gutenberg™ trademark. Contact the Foundation as set
forth in Section 3 below.

1.F.

1.F.1. Project Gutenberg volunteers and employees expend


considerable effort to identify, do copyright research on, transcribe
and proofread works not protected by U.S. copyright law in creating
the Project Gutenberg™ collection. Despite these efforts, Project
Gutenberg™ electronic works, and the medium on which they may
be stored, may contain “Defects,” such as, but not limited to,
incomplete, inaccurate or corrupt data, transcription errors, a
copyright or other intellectual property infringement, a defective or
damaged disk or other medium, a computer virus, or computer
codes that damage or cannot be read by your equipment.

1.F.2. LIMITED WARRANTY, DISCLAIMER OF DAMAGES - Except


for the “Right of Replacement or Refund” described in paragraph
1.F.3, the Project Gutenberg Literary Archive Foundation, the owner
of the Project Gutenberg™ trademark, and any other party
distributing a Project Gutenberg™ electronic work under this
agreement, disclaim all liability to you for damages, costs and
expenses, including legal fees. YOU AGREE THAT YOU HAVE NO
REMEDIES FOR NEGLIGENCE, STRICT LIABILITY, BREACH OF
WARRANTY OR BREACH OF CONTRACT EXCEPT THOSE
PROVIDED IN PARAGRAPH 1.F.3. YOU AGREE THAT THE
FOUNDATION, THE TRADEMARK OWNER, AND ANY
DISTRIBUTOR UNDER THIS AGREEMENT WILL NOT BE LIABLE
TO YOU FOR ACTUAL, DIRECT, INDIRECT, CONSEQUENTIAL,
PUNITIVE OR INCIDENTAL DAMAGES EVEN IF YOU GIVE
NOTICE OF THE POSSIBILITY OF SUCH DAMAGE.

1.F.3. LIMITED RIGHT OF REPLACEMENT OR REFUND - If you


discover a defect in this electronic work within 90 days of receiving it,
you can receive a refund of the money (if any) you paid for it by
sending a written explanation to the person you received the work
from. If you received the work on a physical medium, you must
return the medium with your written explanation. The person or entity
that provided you with the defective work may elect to provide a
replacement copy in lieu of a refund. If you received the work
electronically, the person or entity providing it to you may choose to
give you a second opportunity to receive the work electronically in
lieu of a refund. If the second copy is also defective, you may
demand a refund in writing without further opportunities to fix the
problem.

1.F.4. Except for the limited right of replacement or refund set forth in
paragraph 1.F.3, this work is provided to you ‘AS-IS’, WITH NO
OTHER WARRANTIES OF ANY KIND, EXPRESS OR IMPLIED,
INCLUDING BUT NOT LIMITED TO WARRANTIES OF
MERCHANTABILITY OR FITNESS FOR ANY PURPOSE.

1.F.5. Some states do not allow disclaimers of certain implied


warranties or the exclusion or limitation of certain types of damages.
If any disclaimer or limitation set forth in this agreement violates the
law of the state applicable to this agreement, the agreement shall be
interpreted to make the maximum disclaimer or limitation permitted
by the applicable state law. The invalidity or unenforceability of any
provision of this agreement shall not void the remaining provisions.

1.F.6. INDEMNITY - You agree to indemnify and hold the


Foundation, the trademark owner, any agent or employee of the
Foundation, anyone providing copies of Project Gutenberg™
electronic works in accordance with this agreement, and any
volunteers associated with the production, promotion and distribution
of Project Gutenberg™ electronic works, harmless from all liability,
costs and expenses, including legal fees, that arise directly or
indirectly from any of the following which you do or cause to occur:
(a) distribution of this or any Project Gutenberg™ work, (b)
alteration, modification, or additions or deletions to any Project
Gutenberg™ work, and (c) any Defect you cause.

Section 2. Information about the Mission of


Project Gutenberg™
Project Gutenberg™ is synonymous with the free distribution of
electronic works in formats readable by the widest variety of
computers including obsolete, old, middle-aged and new computers.
It exists because of the efforts of hundreds of volunteers and
donations from people in all walks of life.

Volunteers and financial support to provide volunteers with the


assistance they need are critical to reaching Project Gutenberg™’s
goals and ensuring that the Project Gutenberg™ collection will
remain freely available for generations to come. In 2001, the Project
Gutenberg Literary Archive Foundation was created to provide a
secure and permanent future for Project Gutenberg™ and future
generations. To learn more about the Project Gutenberg Literary
Archive Foundation and how your efforts and donations can help,
see Sections 3 and 4 and the Foundation information page at
www.gutenberg.org.
Section 3. Information about the Project
Gutenberg Literary Archive Foundation
The Project Gutenberg Literary Archive Foundation is a non-profit
501(c)(3) educational corporation organized under the laws of the
state of Mississippi and granted tax exempt status by the Internal
Revenue Service. The Foundation’s EIN or federal tax identification
number is 64-6221541. Contributions to the Project Gutenberg
Literary Archive Foundation are tax deductible to the full extent
permitted by U.S. federal laws and your state’s laws.

The Foundation’s business office is located at 809 North 1500 West,


Salt Lake City, UT 84116, (801) 596-1887. Email contact links and up
to date contact information can be found at the Foundation’s website
and official page at www.gutenberg.org/contact

Section 4. Information about Donations to


the Project Gutenberg Literary Archive
Foundation
Project Gutenberg™ depends upon and cannot survive without
widespread public support and donations to carry out its mission of
increasing the number of public domain and licensed works that can
be freely distributed in machine-readable form accessible by the
widest array of equipment including outdated equipment. Many small
donations ($1 to $5,000) are particularly important to maintaining tax
exempt status with the IRS.

The Foundation is committed to complying with the laws regulating


charities and charitable donations in all 50 states of the United
States. Compliance requirements are not uniform and it takes a
considerable effort, much paperwork and many fees to meet and
keep up with these requirements. We do not solicit donations in
locations where we have not received written confirmation of
compliance. To SEND DONATIONS or determine the status of
compliance for any particular state visit www.gutenberg.org/donate.

While we cannot and do not solicit contributions from states where


we have not met the solicitation requirements, we know of no
prohibition against accepting unsolicited donations from donors in
such states who approach us with offers to donate.

International donations are gratefully accepted, but we cannot make


any statements concerning tax treatment of donations received from
outside the United States. U.S. laws alone swamp our small staff.

Please check the Project Gutenberg web pages for current donation
methods and addresses. Donations are accepted in a number of
other ways including checks, online payments and credit card
donations. To donate, please visit: www.gutenberg.org/donate.

Section 5. General Information About Project


Gutenberg™ electronic works
Professor Michael S. Hart was the originator of the Project
Gutenberg™ concept of a library of electronic works that could be
freely shared with anyone. For forty years, he produced and
distributed Project Gutenberg™ eBooks with only a loose network of
volunteer support.

Project Gutenberg™ eBooks are often created from several printed


editions, all of which are confirmed as not protected by copyright in
the U.S. unless a copyright notice is included. Thus, we do not
necessarily keep eBooks in compliance with any particular paper
edition.

Most people start at our website which has the main PG search
facility: www.gutenberg.org.

This website includes information about Project Gutenberg™,


including how to make donations to the Project Gutenberg Literary
Archive Foundation, how to help produce our new eBooks, and how
to subscribe to our email newsletter to hear about new eBooks.
Welcome to our website – the ideal destination for book lovers and
knowledge seekers. With a mission to inspire endlessly, we offer a
vast collection of books, ranging from classic literary works to
specialized publications, self-development books, and children's
literature. Each book is a new journey of discovery, expanding
knowledge and enriching the soul of the reade

Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.

Let us accompany you on the journey of exploring knowledge and


personal growth!

ebookmass.com

You might also like