Download Full Version ebookmass - Visit ebookmass.

com

Bayesian Optimization : Theory and Practice Using

Python Peng Liu

https://ebookmass.com/product/bayesian-optimization-theory-
and-practice-using-python-peng-liu/

OR CLICK HERE

DOWLOAD NOW

Discover More Ebook - Explore Now at ebookmass.com

 Instant digital products (PDF, ePub, MOBI) ready for you
Download now and discover formats that fit your needs...

Bayesian Optimization: Theory and Practice Using Python

1st Edition Peng Liu

https://ebookmass.com/product/bayesian-optimization-theory-and-
practice-using-python-1st-edition-peng-liu/

ebookmass.com

Quantitative Trading Strategies Using Python: Technical

Analysis, Statistical Testing, and Machine Learning
Peng Liu
https://ebookmass.com/product/quantitative-trading-strategies-using-
python-technical-analysis-statistical-testing-and-machine-learning-
peng-liu/
ebookmass.com

Machine learning: A Bayesian and optimization perspective

2nd Edition Theodoridis S

https://ebookmass.com/product/machine-learning-a-bayesian-and-
optimization-perspective-2nd-edition-theodoridis-s/

ebookmass.com

Global History with Chinese Characteristics: Autocratic

States along the Silk Road in the Decline of the Spanish
and Qing Empires 1680-1796 1st ed. Edition Manuel Perez-
Garcia
https://ebookmass.com/product/global-history-with-chinese-
characteristics-autocratic-states-along-the-silk-road-in-the-decline-
of-the-spanish-and-qing-empires-1680-1796-1st-ed-edition-manuel-perez-
garcia/
ebookmass.com
Como aumentar o seu próprio salário 1st Edition Napoleon
Hill

https://ebookmass.com/product/como-aumentar-o-seu-proprio-salario-1st-
edition-napoleon-hill/

ebookmass.com

Making Refugees in India (Oxford Historical Monographs)

Ria Kapoor

https://ebookmass.com/product/making-refugees-in-india-oxford-
historical-monographs-ria-kapoor/

ebookmass.com

The Rise and Fall of Animal Experimentation: Empathy,

Science, and the Future of Research Richard J. Miller

https://ebookmass.com/product/the-rise-and-fall-of-animal-
experimentation-empathy-science-and-the-future-of-research-richard-j-
miller/
ebookmass.com

Free Traders: Elites, Democracy, And The Rise Of

Globalization In North America Malcolm Fairbrother

https://ebookmass.com/product/free-traders-elites-democracy-and-the-
rise-of-globalization-in-north-america-malcolm-fairbrother/

ebookmass.com

Essentials of Business Law and the Legal Environment 13th

Edition Richard A. Mann

https://ebookmass.com/product/essentials-of-business-law-and-the-
legal-environment-13th-edition-richard-a-mann/

ebookmass.com
Cannibalism: a perfectly natural history First Edition
Schutt

https://ebookmass.com/product/cannibalism-a-perfectly-natural-history-
first-edition-schutt/

ebookmass.com
Peng Liu

Bayesian Optimization
Theory and Practice Using Python
Peng Liu
Singapore, Singapore

ISBN 978-1-4842-9062-0 e-ISBN 978-1-4842-9063-7

https://doi.org/10.1007/978-1-4842-9063-7

© Peng Liu 2023

Apress Standard

The use of general descriptive names, registered names, trademarks,

service marks, etc. in this publication does not imply, even in the
absence of a specific statement, that such names are exempt from the
relevant protective laws and regulations and therefore free for general
use.

The publisher, the authors and the editors are safe to assume that the
advice and information in this book are believed to be true and accurate
at the date of publication. Neither the publisher nor the authors or the
editors give a warranty, expressed or implied, with respect to the
material contained herein or for any errors or omissions that may have
been made. The publisher remains neutral with regard to jurisdictional
claims in published maps and institutional affiliations.

This Apress imprint is published by the registered company APress

Media, LLC, part of Springer Nature.
The registered company address is: 1 New York Plaza, New York, NY
10004, U.S.A.
For my wife Zheng and children Jiaxin, Jiaran, and Jiayu.
Introduction
Bayesian optimization provides a unified framework that solves the
problem of sequential decision-making under uncertainty. It includes
two key components: a surrogate model approximating the unknown
black-box function with uncertainty estimates and an acquisition
function that guides the sequential search. This book reviews both
components, covering both theoretical introduction and practical
implementation in Python, building on top of popular libraries such as
GPyTorch and BoTorch. Besides, the book also provides case studies on
using Bayesian optimization to seek a simulated function's global
optimum or locate the best hyperparameters (e.g., learning rate) when
training deep neural networks. The book assumes readers with a
minimal understanding of model development and machine learning
and targets the following audiences:
Students in the field of data science, machine learning, or
optimization-related fields
Practitioners such as data scientists, both early and middle in their
careers, who build machine learning models with good-performing
hyperparameters
Hobbyists who are interested in Bayesian optimization as a global
optimization technique to seek the optimal solution as fast as
possible
All source code used in this book can be downloaded from
github.com/apress/Bayesian-optimization.
Any source code or other supplementary material referenced by the
author in this book is available to readers on GitHub
(https://github.com/Apress). For more detailed information, please
visit http://www.apress.com/source-code.
Acknowledgments
This book summarizes my learning journey in Bayesian optimization
during my (part-time) Ph.D. study. It started as a personal interest in
exploring this area and gradually grew into a book combining theory
and practice. For that, I thank my supervisors, Teo Chung Piaw and
Chen Ying, for their continued support in my academic career.
Table of Contents
Chapter 1:​Bayesian Optimization Overview
Global Optimization
The Objective Function
The Observation Model
Bayesian Statistics
Bayesian Inference
Frequentist vs.​Bayesian Approach
Joint, Conditional, and Marginal Probabilities
Independence
Prior and Posterior Predictive Distributions
Bayesian Inference:​An Example
Bayesian Optimization Workflow
Gaussian Process
Acquisition Function
The Full Bayesian Optimization Loop
Summary
Chapter 2:​Gaussian Processes
Reviewing the Gaussian Basics
Understanding the Covariance Matrix
Marginal and Conditional Distribution of Multivariate
Gaussian
Sampling from a Gaussian Distribution
Gaussian Process Regression
The Kernel Function
Extending to Other Variables
 Learning from Noisy Observations
Gaussian Process in Practice
Drawing from GP Prior
Obtaining GP Posterior with Noise-Free Observations
Working with Noisy Observations
Experimenting with Different Kernel Parameters
Hyperparameter Tuning
Summary
Chapter 3:​Bayesian Decision Theory and Expected Improvement
Optimization via the Sequential Decision-Making
Seeking the Optimal Policy
Utility-Driven Optimization
Multi-step Lookahead Policy
Bellman’s Principle of Optimality
Expected Improvement
Deriving the Closed-Form Expression
Implementing the Expected Improvement
Using Bayesian Optimization Libraries
Summary
Chapter 4:​Gaussian Process Regression with GPyTorch
Introducing GPyTorch
The Basics of PyTorch
Revisiting GP Regression
Building a GP Regression Model
Fine-Tuning the Length Scale of the Kernel Function
Fine-Tuning the Noise Variance
 Delving into Kernel Functions
Combining Kernel Functions
Predicting Airline Passenger Counts
Summary
Chapter 5:​Monte Carlo Acquisition Function with Sobol Sequences
and Random Restart
Analytic Expected Improvement Using BoTorch
Introducing Hartmann Function
GP Surrogate with Optimized Hyperparameters
Introducing the Analytic EI
Optimization Using Analytic EI
Grokking the Inner Optimization Routine
Using MC Acquisition Function
Using Monte Carlo Expected Improvement
Summary
Chapter 6:​Knowledge Gradient:​Nested Optimization vs.​One-Shot
Learning
Introducing Knowledge Gradient
Monte Carlo Estimation
Optimizing Using Knowledge Gradient
One-Shot Knowledge Gradient
Sample Average Approximation
One-Shot Formulation of KG Using SAA
One-Shot KG in Practice
Optimizing the OKG Acquisition Function
Summary
Chapter 7:​Case Study:​Tuning CNN Learning Rate with BoTorch
 Seeking Global Optimum of Hartmann
Generating Initial Conditions
Updating GP Posterior
Creating a Monte Carlo Acquisition Function
The Full BO Loop
Hyperparameter Optimization for Convolutional Neural
Network
Using MNIST
Defining CNN Architecture
Training CNN
Optimizing the Learning Rate
Entering the Full BO Loop
Summary
Index
About the Author
Peng Liu
is an assistant professor of quantitative
finance (practice) at Singapore
Management University and an adjunct
researcher at the National University of
Singapore. He holds a Ph.D. in Statistics
from the National University of
Singapore and has ten years of working
experience as a data scientist across the
banking, technology, and hospitality
industries.
About the Technical Reviewer
Jason Whitehorn
is an experienced entrepreneur and
software developer and has helped many
companies automate and enhance their
business solutions through data
synchronization, SaaS architecture, and
machine learning. Jason obtained his
Bachelor of Science in Computer Science
from Arkansas State University, but he
traces his passion for development back
many years before then, having first
taught himself to program BASIC on his
family’s computer while in middle
school. When he’s not mentoring and
helping his team at work, writing, or
pursuing one of his many side-projects,
Jason enjoys spending time with his wife and four children and living in
the Tulsa, Oklahoma, region. More information about Jason can be
found on his website: https://jason.whitehorn.us.
© The Author(s), under exclusive license to APress Media, LLC, part of Springer
Nature 2023
P. Liu, Bayesian Optimization
https://doi.org/10.1007/978-1-4842-9063-7_1

1. Bayesian Optimization Overview

Peng Liu1
(1) Singapore, Singapore

As the name suggests, Bayesian optimization is an area that studies

optimization problems using the Bayesian approach. Optimization aims
at locating the optimal objective value (i.e., a global maximum or
minimum) of all possible values or the corresponding location of the
optimum in the environment (the search domain). The search process
starts at a specific initial location and follows a particular policy to
iteratively guide the following sampling locations, collect new
observations, and refresh the guiding policy.
As shown in Figure 1-1, the overall optimization process consists of
repeated interactions between the policy and the environment. The
policy is a mapping function that takes in a new input observation (plus
historical ones) and outputs the following sampling location in a
principled way. Here, we are constantly learning and improving the
policy, since a good policy guides our search toward the global
optimum more efficiently and effectively. In contrast, a good policy
would save the limited sampling budget on promising candidate
locations. On the other hand, the environment contains the unknown
objective function to be learned by the policy within a specific
boundary. When probing the functional value as requested by the
policy, the actual observation revealed by the environment to the policy
is often corrupted by noise, making learning even more challenging.
Thus, Bayesian optimization, a specific approach for global
optimization, would like to learn a policy that can help us efficiently and
effectively navigate to the global optimum of an unknown, noise-
corrupted environment as quickly as possible.

Figure 1-1 The overall Bayesian optimization process. The policy digests the
historical observations and proposes the new sampling location. The environment
governs how the (possibly noise-corrupted) observation at the newly proposed
location is revealed to the policy. Our goal is to learn an efficient and effective policy
that could navigate toward the global optimum as quickly as possible

Global Optimization
Optimization aims to locate the optimal set of parameters of interest
across the whole domain through carefully allocating limited resources.
For example, when searching for the car key at home before leaving for
work in two minutes, we would naturally start with the most promising
place where we would usually put the key. If it is not there, think for a
little while about the possible locations and go to the next most
promising place. This process iterates until the key is found. In this
example, the policy is digesting the available information on previous
searches and proposing the following promising location. The
environment is the house itself, revealing if the key is placed at the
proposed location upon each sampling.
 This is considered an easy example since we are familiar with the
environment in terms of its structural design. However, imagine
locating an item in a totally new environment. The policy would need to
account for the uncertainty due to unfamiliarity with the environment
while sequentially determining the next sampling location. When the
sampling budget is limited, as is often the case in real-life searches in
terms of time and resources, the policy needs to argue carefully on the
utility of each candidate sampling location.
Let us formalize the sequential global optimization using
mathematical terms. We are dealing with an unknown scalar-valued
objective function f based on a specific domain Α. In other words, the
unknown subject of interest f is a function that maps a certain sample
in Α to a real number in ℝ, that is, f : Α → ℝ. We typically place no
specific assumption about the nature of the domain Α other than that it
should be a bounded, compact, and convex set.
Unless otherwise specified, we focus on the maximization setting
instead of minimization since maximizing the objective function is
equivalent to minimizing the negated objective, and vice versa. The
optimization procedure thus aims at locating the global maximum f∗ or
its corresponding location x∗ in a principled and systematic manner.
Mathematically, we wish to locate f∗ where

Or equivalently, we are interested in its location x∗ where

Figure 1-2 provides an example one-dimensional objective function

with its global maximum f ∗ and its location x∗ highlighted. The goal of
global optimization is thus to systematically reason about a series of
sampling decisions within the total search space Α, so as to locate the
global maximum as fast as possible, that is, sampling as few times as
possible.
Figure 1-2 An example objective function with the global maximum and its location
marked with star. The goal of global optimization is to systematically reason about a
series of sampling decisions so as to locate the global maximum as fast as possible
Note that this is a nonconvex function, as is often the case in real-life
functions we are optimizing. A nonconvex function means we could not
resort to first-order gradient-based methods to reliably search for the
global optimum since it will likely converge to a local optimum. This is
also one of the advantages of Bayesian optimization compared with
other gradient-based optimization procedures.

The Objective Function

There are different types of objective functions. For example, some
functions are wiggly shaped, while others are smooth; some are convex,
while others are nonconvex. An objective function is an unknown object
to us; the problem would be considered solved if we could access its
underlying mathematical form. Many complex functions are almost
impossible to be expressed using an explicit expression. For Bayesian
optimization, the specific type of objective function typically bears the
following attributes:
We do not have access to the explicit expression of the objective
function, making it a “black-box” function. This means that we can
 only interact with the environment, that is, the objective function, to
perform a functional evaluation by sampling at a specific location.
The returned value by probing at a specific location is often
corrupted by noise and does not represent the exact true value of the
objective function at that location. Due to the indirect evaluation of
its actual value, we need to account for such noise embedded in the
actual observations from the environment.
Each functional evaluation is costly, thus ruling out the option for an
exhaustive probing. We need to have a sample-efficient method to
minimize the number of evaluations of the environment while trying
to locate its global optimum. In other words, the optimizer needs to
fully utilize the existing observations and systematically reason
about the next sampling decision so that the limited resource is well
spent on promising locations.
We do not have access to its gradient. When the functional evaluation
is relatively cheap and the functional form is smooth, it would be
very convenient to compute the gradient and optimize using the first-
order procedure such as gradient descent. Access to the gradient is
necessary for us to understand the adjacent curvature of a particular
evaluation point. With gradient evaluations, the follow-up direction
of travel is easier to determine.
The “black-box” function is challenging to optimize for the
preceding reasons. To further elaborate on the possible functional form
of the objective, we list three examples in Figure 1-3. On the left is a
convex function with only one global minimum; this is considered easy
for global optimization. In the middle is a nonconvex function with
multiple local optima; it is difficult to ascertain if the current local
optimum is also globally optimal. It is also difficult to identify whether
this is a flat region vs. a local optimum for a function with a flat region
full of saddle points. All three scenarios are in a minimization setting.
Figure 1-3 Three possible functional forms. On the left is a convex function whose
optimization is easy. In the middle is a nonconvex function with multiple local
minima, and on the right is also a nonconvex function with a wide flat region full of
saddle points. Optimization for the latter two cases takes a lot more work than for
the first case
Let us look at one example of hyperparameter tuning when training
machine learning models. A machine learning model is a function that
involves a set of parameters to be optimized given the input data. These
parameters are automatically tuned via a specific optimization
procedure, typically governed by a set of corresponding meta
parameters called hyperparameters, which are fixed before the model
training starts. For example, when training deep neural networks using
the gradient descent algorithm, a learning rate that determines the step
size of each parameter update needs to be manually selected in
advance. If the learning rate is too large, the model may diverge and
eventually fails to learn. If the learning rate is too small, the model may
converge very slowly as the weights are updated by only a small margin
in this iteration. See Figure 1-4 for a visual illustration.
Figure 1-4 Slow convergence due to a small learning rate on the left and divergence
due to a large learning rate on the right
Choosing a reasonable learning rate as a preset hyperparameter
thus plays a critical role in training a good machine learning model.
Locating the best learning rate and other hyperparameters is an
optimization problem that fits Bayesian optimization. In the case of
hyperparameter tuning, evaluating each learning rate is a time-
consuming exercise. The objective function would generally be the
model’s final test set loss (in a minimization setting) upon model
convergence. A model needs to be fully trained to obtain a single
evaluation, which typically involves hundreds of epochs to reach stable
convergence. Here, one epoch is a complete pass of the entire training
dataset. The book’s last chapter covers a case study on tuning the
learning rate using Bayesian optimization.
The functional form of the test set loss or accuracy may also be
highly nonconvex and multimodal for the hyperparameters. Upon
convergence, it is not easy to know whether we are in a local optimum,
a saddle point, or a global optimum. Besides, some hyperparameters
may be discrete, such as the number of nodes and layers when training
a deep neural network. We could not calculate its gradient in such a
case since it requires continuous support in the domain.
The Bayesian optimization approach is designed to tackle all these
challenges. It has been shown to deliver good performance in locating
the best hyperparameters under a limited budget (i.e., the number of
evaluations allowed). It is also widely and successfully used in other
fields, such as chemical engineering.
Next, we will delve into the various components of a typical
Bayesian optimization setup, including the observation model, the
optimization policy, and the Bayesian inference.

The Observation Model

Earlier, we mentioned that a functional evaluation would give an
observation about the true objective function, and the observation may
likely be different from the true objective value due to noise. The
observations gathered for the policy learning would thus be inexact and
corrupted by an additional noise term, which is often assumed to be
additive. The observation model is an approach to formalize the
relationship between the true objective function, the actual
observation, and the noise. It governs how the observations would be
revealed from the environment to the policy.
Figure 1-5 illustrates a list of observations of the underlying
objective function. These observations are dislocated from the objective
function due to additive random noises. These additive noises manifest
as the vertical shifts between the actual observations and the
underlying objective function. Due to these noise-induced deviations
inflicted on the observations, we need to account for such uncertainty
in the observation model. When learning a policy based on the actual
observations, the policy also needs to be robust enough to focus on the
objective function’s underlying pattern and not be distracted by the
noises. The model we use to approximate the objective function, while
accounting for uncertainty due to the additive noise, is typically a
Gaussian process. We will cover it briefly in this chapter and in more
detail in the next chapter.
Figure 1-5 Illustrating the actual observations (in dots) and the underlying
objective function (in dashed line). When sampling at a specific location, the
observation would be disrupted by an additive noise. The observation model thus
determines how the observation would be revealed to the policy, which needs to
account for the uncertainty due to noise perturbation
To make our discussion more precise, let us use f (x) to denote the
(unknown) objective function value at location x. We sometimes write f
(x) as f for simplicity. We use y to denote the actual observation at
location x, which will slightly differ from f due to noise perturbation. We
can thus express the observation model, which governs how the policy
sees the observation from the environment, as a probability
distribution of y based on a specific location x and true function value f:

Let us assume an additive noise term ε inflicted on f; the actual

observation y can thus be expressed as

Here, the noise term ε arises from measurement error or inaccurate

statistical approximation, although it may disappear in certain
computer simulations. A common practice is to treat the error as a
random variable that follows a Gaussian distribution with a zero mean
and fixed standard deviation σ, that is, ε~N(0, σ2). Note that it is
unnecessary to fix σ across the whole domain A; the Bayesian
optimization allows for both homoscedastic noise (i.e., fixed σ across A)
and heteroskedastic noise (i.e., different σ that depends on the specific
location in A).
Therefore, we can formulate a Gaussian observation model as
follows:

This means that for a specific location x, the actual observation y is

treated as a random variable that follows a Gaussian/normal
distribution with mean f and variance σ2. Figure 1-6 illustrates an
example probability distribution of y centered around f. Note that the
variance of the noise is often estimated by sampling a few initial
observations and is expected to be small, so that the overall observation
model still strongly depends on and stays close to f.

Figure 1-6 Assuming a normal probability distribution for the actual observation as
a random variable. The Gaussian distribution is centered around the objective
function f value evaluated at a given location x and spread by the variance of the
noise term
The following section introduces Bayesian statistics to lay the
theoretical foundation as we work with probability distributions along
the way.

Bayesian Statistics
Bayesian optimization is not a particular algorithm for global
optimization; it is a suite of algorithms based on the principles of
Bayesian inference. As the optimization proceeds in each iteration, the
policy needs to determine the next sampling decision or if the current
search needs to be terminated. Due to uncertainty in the objective
function and the observation model, the policy needs to cater to such
uncertainty upon deciding the following sampling location, which bears
both an immediate impact on follow-up decisions and a long-term
effect on all future decisions. The samples selected thus need to
reasonably contribute to the ultimate goal of global optimization and
justify the cost incurred due to sampling.
Using Bayesian statistics in optimization paves the way for us to
systematically and quantitatively reason about these uncertainties
using probabilities. For example, we would place a prior belief about
the characteristics of the objective function and quantify its
uncertainties by assigning high probability to specific ranges of values
and low probability to others. As more observations are collected, the
prior belief is gradually updated and calibrated toward the true
underlying distribution of the objective function in the form of a
posterior distribution.
We now cover the fundamental concepts and tools of Bayesian
statistics. Understanding these sections is essential to appreciate the
inner workings of Bayesian optimization.

Bayesian Inference
Bayesian inference essentially relies on the Bayesian formula (also
called Bayes’ rule) to reason about the interactions among three
components: the prior distribution p(θ) where θ represents the
parameter of interest, the likelihood p(data| θ) given a specific
parameter θ, and the posterior distribution p(θ| data). There is one
more component, the evidence of the data p(data), which is often not
computable. The Bayesian formula is as follows:

Let us look closely at this widely used, arguably the most important
formula in Bayesian statistics. Remember that any Bayesian inference
procedure aims to derive the posterior distribution p(θ| data) (or
calculate its marginal expectation) for the parameter of interest θ, in
the form of a probability density function. For example, we might end
up with a continuous posterior distribution as in Figure 1-7, where θ
varies from 0 to 1, and all the probabilities (i.e., area under the curve)
would sum to 1.

Figure 1-7 Illustrating a sample (continuous) posterior distribution for the

parameter of interest. The specific shape of the curve will change as new data are
being collected

We would need access to three components to obtain the posterior

distribution of θ. First, we need to derive the probability of seeing the
actual data given our choice of θ, that is, p(data| θ). This is also called
the likelihood term since we are assessing how likely it is to generate
the data after specifying a certain observation model for the data. The
likelihood can be calculated based on the assumed observation model
for data generation.
The second term p(θ) represents our prior belief about the
distribution of θ without observing any actual data; we encode our pre-
experimental knowledge of the parameter θ in this term. For example,
p(θ) could take the form of a uniform distribution that assigns an equal
probability to any value between 0 and 1. In other words, all values in
this range are equally likely, and this is a common prior belief we would
place on θ given that we do not have any information that suggests a
preference over specific values. However, as we collect more
observations and gather more data, the prior distribution will play a
decreasing role, and the subjective belief will gradually reduce in
support of the factual evidence in the data. As shown in Figure 1-8, the
distribution of θ will progressively approach a normal distribution
given that more data is being collected, thus forming a posterior
distribution that better approximates the true distribution of θ.

Figure 1-8 Updating the prior uniform distribution toward a posterior normal
distribution as more data is collected. The role of the prior distribution decreases as
more data is collected to support the approximation to the true underlying
distribution

The last term is the denominator p(data), also referred to as the

evidence, which represents the probability of obtaining the data over
all different choices of θ and serves as a normalizing constant
independent of θ in Bayes’ theorem. This is the most difficult part to
compute among all the components since we need to integrate over all
possible values of θ by taking an integration. For each given θ, the
likelihood is calculated based on the assumed observation model for
data generation, which is the same as how the likelihood term is
calculated. The difference is that the evidence considers every possible
value of θ and weights the resulting likelihood based on the probability
of observing a particular θ. Since the evidence is not connected to θ, it is
often ignored when analyzing the proportionate change in the
posterior. As a result, it focuses only on the likelihood and the prior
alone.
A relatively simple case is when the prior p(θ) and the likelihood
p(data| θ) are conjugate, making the resulting posterior p(θ| data)
analytic and thus easy to work with due to its closed-form expression.
Bayesian inference becomes much easier and less restrictive if we can
write down the explicit form and generate the exact shape of the
posterior p(θ| data) without resorting to sampling methods. The
posterior will follow the same distribution as the prior when the prior
is conjugate with the likelihood function. One example is when both the
prior and the likelihood functions follow a normal distribution, the
resulting posterior will also be normally distributed. However, when
the prior and the likelihood are not conjugate, we can still get more
insight on the posterior distribution via efficient sampling techniques
such as Gibbs sampling.

Frequentist vs. Bayesian Approach

The Bayesian approach is a systematic way of assigning probabilities to
possible values of θ and updating these probabilities based on the
observed data. However, sometimes we are only interested in the most
probable (expected) value of θ that gives rise to the data we observe.
This can be achieved using the frequentist approach, treating the
parameter of interest (i.e., θ) as a fixed quantity instead of a random
variable. This approach is often adopted in the machine learning
community, placing a strong focus on optimizing a specific objective
function to locate the optimal set of parameters.
More generally, we use the frequentist approach to find the correct
answer about θ. For example, we can locate the value of θ by
maximizing the joint probability of the actual data via maximum
likelihood estimation (MLE), where the resulting solution is
. There is no distribution involved with θ since
we treat it as a fixed quantity, which makes the calculation easier as we
only need to work with the probability distribution for the data. The
final solution using the frequentist approach is a specific value of θ. And
since we are working with samples that come from the underlying data-
generating distribution, different samples would vary from each other,
and the goal is to find the optimal parameter θ that best describes the
current sample we are observing.
On the other hand, the Bayesian approach takes on the extra
complexity by treating θ as a random variable with its own probability
distribution, which gets updated as more data is collected. This
approach offers a holistic view on all possible values of θ and the
corresponding probabilities instead of the most probable value of θ
alone. This is a different approach because the data is now treated as
fixed and the parameter θ as a random variable. The optimal
probability distribution for θ is then derived, given the observed fixed
sample. There is no right or wrong in the Bayesian approach, only
probabilities. The final solution is thus a probability distribution of θ
instead of one specific value. Figure 1-9 summarizes these two different
schools of thought.
Figure 1-9 Comparing the frequentist approach and the Bayesian approach
regarding the parameter of interest. The frequentist approach treats θ as a fixed
quantity that can be estimated via MLE, while the Bayesian approach employs a
probability distribution which gets refreshed as more data is collected

Joint, Conditional, and Marginal Probabilities

We have been characterizing the random variable θ using a
(continuous) probability distribution p(θ). A probability distribution is
a function that maps a specific value of θ to a probability, and the
probabilities of all values of θ sum to one, that is, ∫ p(θ)dθ = 1.
Things become more interesting when we work with multiple
(more than one) variables. Suppose we have two random variables x
and y, and we are interested in two events x = X and y = Y, where both X
and Y are specific values that x and y may assume, respectively. Also, we
assume the two random variables are dependent in some way. This
would lead us to three types of probabilities commonly used in modern
machine learning and Bayesian optimization literature: joint
probability, marginal probability, and conditional probability, which we
will look at now in more detail.
The joint probability of the two events refers to the probability of
them occurring simultaneously. It is also referred to as the joint
probability distribution since the probability now represents all
possible combinations of the two simultaneous events.
We can write the joint probability of the two events as p(X and
Y) = p(x = X ∩ y = Y) = p(X ∩ Y). Using the chain rule of probability, we
can further write p(X and Y) = p(X given Y) ∗ p(Y) = p(X| Y)p(Y), where
p(X| Y) denotes the probability of event x = X occurs given that the
event y = Y has occurred. It is thus referred to as conditional probability,
as the probability of the first event is now conditioned on the second
event. All conditional probabilities for a (continuous) random variable x
given a specific value of another random variable (i.e., y = Y) form the
conditional probability distribution p(x| y = Y). More generally, we can
write the joint probability distribution of random variables x and y as
p(x, y) and conditional probability distribution as p(x ∣ y).
The joint probability is also symmetrical, that is, p(X and Y) = p(Y
and X), which is a result of the exchangeability property of probability.
Plugging in the definition of joint probability using the chain rule gives
the following:

If you look at this equation more closely, it is not difficult to see that
it can lead to the Bayesian formula we introduced earlier, namely:

Understanding this connection gives us one more reason not to

memorize the Bayesian formula but to appreciate it. We can also
replace a single event x = X with the random variable x to get the
corresponding conditional probability distribution p(x| y = Y).
Lastly, we may only be interested in the probability of an event for
one random variable alone, disregarding the possible realizations of the
other random variable. That is, we would like to consider the
probability of the event x = X under all possible values of y. This is
called the marginal probability for the event x = X. The marginal
probability distribution for a (continuous) random variable x in the
presence of another (continuous) random variable y can be calculated
as follows:

The preceding definition essentially sums up possible values p(x| y)

weighted by the likelihood of occurrence p(y). The weighted sum
operation resolves the uncertainty in the random variable y and thus in
a way integrates it out of the original joint probability distribution,
keeping only one random variable. For example, the prior probability
p(θ) in Bayes’ rule is a marginal probability distribution of θ, which
integrates out other random variables, if any. The same goes for the
evidence term p(data) which is calculated by integrating over all
possible values of θ.
Similarly, we have the marginal probability distribution for random
variable y defined as follows:
 Figure 1-10 summarizes the three common probability
distributions. Note that the joint probability distribution focuses on two
or more random variables, while both the conditional and marginal
probability distributions generally refer to a single random variable. In
the case of the conditional probability distribution, the other random
variable assumes a specific value and thus, in a way, “disappears” from
the joint distribution. In the case of the marginal probability
distribution, the other random variable is instead integrated out of the
joint distribution.

Figure 1-10 Three common probability distributions. The joint probability

distribution represents the probability distribution for two or more random
variables, while the conditional and marginal probability distributions generally
refer to the probability distribution for one random variable. The conditional
distribution represents the probabilities of a random variable by
assuming/conditioning a specific value for other variables, while the marginal
distribution converts a joint probability to a single random variable by integrating
out other variables

Let us revisit Bayes’ rule in the context of conditional and marginal

probabilities. Specifically, the likelihood term p(data| θ) can be treated
as the conditional probability of the data given the parameter θ, and the
evidence term p(data) is a marginal probability that needs to be
evaluated across all possible choices of θ. Based on the definition of
marginal probability, we can write the calculation of p(data) as a
weighted sum (assuming a continuous θ):

where we have a different likelihood conditioned by a specific

parameter θ, and these likelihood terms are weighted by the prior
probabilities. Thus, the evidence considers all the different ways we
could use to get to the particular data.

Independence
A special case that would impact the calculation of the three
probabilities mentioned earlier is independence, where the random
variables are now independent of each other. Let us look at the joint,
conditional, and marginal probabilities with independent random
variables.
When two random variables are independent of each other, the
event x = X would have nothing to do with the event y = Y, that is, the
conditional probability for x = X given y = Y becomes p(X| Y) = p(X). The
conditional probability distribution for two independent random
variables thus becomes p(x| y) = p(x). Their joint probability becomes
the multiplication of individual probabilities: p(X ∩ Y) = P(X|
Y)P(Y) = p(X)p(Y), and the joint probability distribution becomes a
product of individual probability distributions: p(x, y) = p(x)p(y). The
marginal probability of x is just its own probability distribution:

where we have used the fact that p(x) can be moved out of the
integration operation due to its independence with y, and the total area
under a probability distribution is one, that is, ∫ p(y)dy = 1.
We can also extend to conditional independence, where the random
variable x could be independent from y given another random variable
z. In other words, we have p(x, y| z) = p(x| z)p(y| z).

Prior and Posterior Predictive Distributions

Let us shift gear to focus on the actual predictions by quantifying the
uncertainties using Bayes’ rule. To facilitate the discussion, we will use
y to denote the data in Bayes’ formula or the actual observations as in
the Bayesian optimization setting. We are interested in its predictive
distribution p(y), that is, the possible values of y and the corresponding
probabilities. Our decision-making would be much more informed if we
had a good understanding of the predictive distribution of the future
unknown data, particularly in the Bayesian optimization framework
where one needs to decide the next sampling location carefully.
Before we collect any data, we would work with a prior predictive
distribution that considers all possible values of the underlying
parameter θ. That is, the prior predictive distribution for y is a marginal
probability distribution that could be calculated by integrating out all
dependencies on the parameter θ:

which is the exact definition of the evidence term in Bayes’ formula.

In a discrete world, we would take the prior probability for a specific
value of the parameter θ, multiply the likelihood of the resulting data
given the current θ, and sum across all weighted likelihoods.
Now let us look at the posterior predictive distribution for a new
data point y′ after observing a collection of data points collectively
denoted as We would like to assess how the future data would be
distributed and what value of y′ we would likely to observe if we were
to run the experiment and acquire another data point again, given that
we have observed some actual data. That is, we want to calculate the
posterior predictive distribution .
We can calculate the posterior predictive distribution by treating it
as a marginal distribution (conditioned on the collected dataset ) and
applying the same technique as before, namely:

where the second term is the posterior distribution of the

parameter θ that can be calculated by applying Bayes’ rule. However,
the first term is more involved. When assessing a new data
point after observing some existing data points, a common assumption
is that they are conditionally independent given a particular value of θ.
Such conditional independence implies that ,
which happens to be the likelihood term. Thus, we can simplify the
posterior predictive distribution as follows:

which follows the same pattern of calculation compared to the prior

predictive distribution. This would then give us the distribution of
observations we would expect for a new experiment (such as probing
the environment in the Bayesian optimization setting) given a set of
previously collected observations. The prior and posterior predictive
distributions are summarized in Figure 1-11.

Figure 1-11 Definition of the prior and posterior predictive distributions. Both are
calculated based on the same pattern of a weighted sum between the prior and the
likelihood

Let us look at an example of the prior predictive distribution under

a normal prior and likelihood function. Before the experiment starts,
we assume the observation model for the likelihood of the data y to
follow a normal distribution, that is, y~N(θ, σ2), or p(y| θ, σ2) = N(θ, σ2),
where θ is the underlying parameter and σ2 is a fixed variance. For
example, in the case of the observation model in the Bayesian
optimization setting introduced earlier, the parameter θ could
represent the true objective function, and the variance σ2 originates
from an additive Gaussian noise. The distribution of y is dependent on
θ, which itself is an uncertain quantity. We further assume the
parameter θ to follow a normal distribution as its prior, that is,
, or , where θ0 and are the mean
and variance of our prior normal distribution assumed before
collecting any data points. Since we have no knowledge of the
environment of interest, we would like to understand how the data
point (treated as a random variable) y could be distributed in this
unknown environment under different values of θ.
Understanding the distribution of y upon the start of any
experiment amounts to calculating its prior predictive distribution p(y).
Since we are working with a continuous θ, the marginalization needs to
consider all possible values of θ from negative to positive infinity in
order to integrate out the uncertainty due to θ:

The prior predictive distribution can thus be calculated by plugging

in the definition of normal likelihood term p(y| θ) and the normal prior
term p(θ). However, there is a simple trick we can use to avoid the
math, which would otherwise be pretty heavy if we were to plug in the
formula of the normal distribution directly.
Let us try directly working with the random variables. We will start
by noting that y = (y − θ) + θ. The first term y − θ takes θ away from y,
which decentralizes y by changing its mean to zero and removes the
dependence of y on θ. In other words, (y − θ)~N(0, σ2), which also
represents the distribution of the random noise in the observation
model of Bayesian optimization. Since the second term θ is also
normally distributed, we can derive the distribution of y as follows:

where we have used the fact that the addition of two independent
normally distributed random variables will also be normally
distributed, with the mean and variance calculated based on the sum of
individual means and variances.
Therefore, the marginal probability distribution of y becomes
. Intuitively, this form also makes sense. Before
we start to collect any observation about y, our best guess for its mean
would be θ0, the expected value of the underlying random variable θ. Its
variance is the sum of individual variances since we are considering
uncertainties due to both the prior and the likelihood; the marginal
distribution needs to absorb both variances, thus compounding the
resulting uncertainty. Figure 1-12 summarizes the derivation of the
prior predictive distributions under the normality assumption for the
likelihood and the prior for a continuous θ.

Figure 1-12 Derivation process of the prior predictive distribution for a new data
point before collecting any observations, assuming a normal distribution for both the
likelihood and the prior

We can follow the same line of reasoning for the case of posterior
predictive distribution for a new observation y′ after collecting some
data points under the normality assumption for the likelihood p(y′|
θ) and the posterior , where p(y′| θ) = N(θ, σ2) and
. We can see that the posterior distribution for θ
has an updated set of parameters θ′ and using Bayes’ rule as more
data is collected.
Now recall the definition of the posterior predictive distribution
with a continuous underlying parameter θ:

Again, plugging in the expression of two normally distributed

density functions and working with an integration operation would be
too tedious. We can instead write y′ = (y′ − θ) + θ, where (y′ − θ)~N(0,
σ2) and . Adding the two independent normal
distributions gives the following:

Figure 1-13 summarizes the derivation of the posterior predictive

distributions under normality assumption for the likelihood and the
prior for a continuous θ.

Figure 1-13 Derivation process of the posterior predictive distribution for a new
data point after collecting some observations, assuming a normal distribution for
both the likelihood and the prior

Bayesian Inference: An Example

After going through a quick and essential primer on Bayesian inference,
let us put the mathematics in perspective by going through a concrete
example. To start with, we will choose a probability density function for
the prior and the likelihood p(y| θ) = N(θ, σ2), both
of which are normally distributed. Note that the prior and the
likelihood are with respect to the random variables θ and y,
respectively, where θ represents the true underlying objective value
that is unknown, and y is the noise-corrupted actual observation that
follows an observation model y = θ + ε with an additive and normally
distributed random noise ε~N(0, σ2). We would like to infer the
distribution of θ based on actual observed realization of y.
The choice for the prior is based on our subjective experience with
the parameter of interest θ. Using the Bayes’ theorem, it helps jump-
start the learning toward its real probability distribution. The range of
possible values of θ spans across the full support of the prior normal
distribution. Upon observing an actual realization Y of y, two things will
happen: the probability of observing θ = Y will be calculated and
plugged in Bayes’ rule as the prior, and the likelihood function will be
instantiated as a conditional normal distribution p(y| θ = Y) = N(Y, σ2).
Figure 1-14 illustrates an example of the marginal prior distribution
and the conditional likelihood function (which is also a probability
distribution) along with the observation Y. We can see that both
distributions follow a normal curve, and the mean of the latter is
aligned to the actual observation Y due to the conditioning effect from
Y = θ. Also, the probability of observing Y is not very high based on the
prior distribution p(θ), which suggests a change needed for the prior in
the posterior update of the next iteration. We will need to change the
prior in order to improve such probability and conform the subjective
expectation to reality.
Figure 1-14 Illustrating the prior distribution and the likelihood function, both
following a normal distribution. The mean of the likelihood function is equal to the
actual observation due to the effect of conditioning
The prior distribution will then gradually get updated to
approximate the actual observations by invoking Bayes’ rule. This will
give the posterior distribution in solid line,
whose mean is slightly nudged from θ0 toward Y and updated to θ′, as
shown in Figure 1-15. The prior distribution and likelihood function
are displayed in dashed lines for reference. The posterior distribution
of θ is now more aligned with what is actually observed in reality.
Figure 1-15 Deriving the posterior distribution for θ using Bayes’ rule. The updated
mean θ′ is now between the prior mean θ0 and actual observation Y, suggesting an
alignment between subjective preference and reality
Finally, we would be interested in the predictive distribution of the
actual data point if we acquired a new observation. Treating it as a
random variable y′ enables us to express our uncertainty in the form of
an informed probability distribution, which benefits follow-up tasks
such as deciding where to sample next (more on this later). Based on
our previous discussion, the resulting probability distribution for y′ will
assume a normal distribution with the same mean as the posterior
distribution of θ and an inflated variance that absorbs uncertainties
from both θ and the observation model for y, as shown in Figure 1-16.
The prior and posterior distributions and the likelihood function are
now in the dashed line for reference.

Figure 1-16 Illustrating the posterior predictive distribution if we acquire another

observation from the system/environment under study. The posterior predictive
distribution shares the same mean as the posterior distribution of θ but now has a
larger spread due to uncertainty from both θ and the observation model

Bayesian Optimization Workflow

Having gone through the essentials in Bayesian statistics, you may
wonder how it connects to the Bayesian optimization setting. Recall
that the predictive posterior distribution quantifies the probabilities of
Random documents with unrelated
content Scribd suggests to you:
niin sekotetaan ne' yhteen, hyvin sekasin. Nyt leikataan elikkä
viilletään keitetyistä ja kuorituista perunoista ja puna-juurikoista
henttuja lohkoja, joista painetaan sarvella ymmyriäisiä kynnen
kokosia palasia. Näitä ymmyrkeitä elikkä palasia ladotaan ruoka-
öljyllä voideltun kaavan elikkä vormun pohjalle' ja laidoille kauniiksi
ruutuiksi elikkä neliskulmikkeiksi. Vormuun pannaan sitte' visusti
näiden päälle' Sallatti-sekotus, ja puserretaan hiljaksellen täyteen.
Vormu kaadetaan sen perästä vadille' kumoon, ja annetaan olla
siinnä vähän aikaa, että sallatti ehtii yhtyä koossa pysyväiseksi,
jonka perästä se nostetaan visusti päältä pois. Kuin tämä tuodaan
pöytään, niin pannaan sen kanssa syötäväksi ruoka-öljyä, etikkaa,
sokeria, nuorta taaletta ja pienennettyjä pippuroita. Pienennettyä
sipulia sopii myös antaa sille', joka sitä tahtoo sallattiin
sekotettavaksi.

N:o 205. Lohi-Sallattia.

Vuorokauden vedessä liotetusta suolatusta lohen puolikkaasta

tehdään sallattia samalla lailla, kuin tämän edellä neuvottua Silli-
sallattiakin (204).

N:o 206. Keitettyä Lohi-Sallattia.

Palanen lohen-puolikkaasta liotettuna ja vedessä keitettynä

perataan ruodoista ja nahasta puhtaaksi, jonka perästä se
palotetaan pieneksi ja kaadetaan karotille'. Tämän päälle' kaadetaan
kasta, jota tehdään 3:sta pieneksi likistetystä kovaksi keitetystä
munan-ruskuaisesta, 3:sta lusikallisesta nuoresta taaleesta, 3:sta
lusikallisesta ruoka-öljystä ja 6:sta lusikallisesta etikasta, johon
sekotetaan hiukan pippuroita, sokeria ja sinappia mielen perästä.
Tämän sallatin ympäristölle pannaan sitte' keitettyjä perunoita ja
puna-juurikoita pieniin rippuloihin paloitettuina, niin myös keitettyjä
sipulin puolikkaita.

N:o 207. Peruna-Sallattia.

Keitettyjä perunoita kuoritaan ja leikataan pieniksi rippuloiksi,

jonka perästä ne' pannaan rautapannuun, kannen alla vähäsessä
voissa ja pienissä suoloissa paistumaan hiljasella valkialla ruskeiksi.
Paistuneena pannaan ne' jähtymään. Sitte' otetaan mitä laija
paistettua lihaa hyvänsä, sama verta kuin perunoitakin, ja puoleksi
siittä puna-juurikoita, ja neljänneksen verta suolattuja gurkkuja ja
koviksi keitettyjä munia; jotka kaikki myös hakataan pieniksi
rippuloiksi ja sekotetaan yhteen hyvin sekasin. Tähän sekaan
kaadetaan sitte' sakeata kasta, jota tehdään puuroksi nuijituista
keitetyistä perunoista, etikasta ja nuoresta taaleesta, puoleksi
kumpiakin, johon myös pannaan hiukan siirappia, suoloja ja karvaita-
pippuroita mielen perästä. Sallatti tässä kasessa oltuansa pari tuntia,
on valmis syötää. Se tuodaan pöytään, pieniä persiljan-oksia
ympäristöllä.

N:o 208. Peruna-Sallattia toisella lailla.

Keitetyt perunat kuoritaan ja leikataan ohkosiksi lohoiksi, jonka

perästä ne' ladotaan karotille' rivi-riviltä päällystyksin, ja joka
latomuskerran väliin priiskotetaan pieneksi hakattuja munia. Tähän
sekaan kaadetaan sitte' kasta, jota tehdään kahdesta pieneksi
hierotusta kovaksi-keitetystä munan-ruskuaisesta, 2:ta lusikallisesta
ruoka-öljystä, 2:ta lusikallisesta sakiasta nuoresta taaleesta, 4:tä
lusikallisesta etikasta, pannen hiukan suoloja, sinappia, sokeria ja
pienennettyjä karvaita-pippuroita sekaan. Tämmösenä on se
valmista pöytään tuotaa.

N:o 209. Pää-Sallattia.

Sallatin-pää, hyvin puhtaaksi ruokottuna ja virutettuna, leikataan

halki muutamaan osaan ja pannaan sitte' kaseen, jota tehdään
seuraavalla lailla: 3 kovaksikeitettyä munan-ruskuaista likistellään
lusikalla hyvin pieneksi ja sekotetaan 3:meen lusikalliseen nuoreen
taaleeseen, 3:meen lusikalliseen ruoka-öljyyn ja 3:meen lusikalliseen
etikkaan. Sekaan pannaan myös hiukan pienennettyjä pippuroita,
sokeria ja suoloja (mutta joka ei tahdo öljyä, niin jättäköön sen pois).
Kaikki nämät sekotetaan hyvin sekasin ja kaadetaan sallatin sekaan,
joka tähän sekotetaan sekasin. Tämä tuodaan nyt karotilla pöytään,
pantuna ylisten ympärille' pieneksi hakattuja koviksikeitettyjä munan-
valkuaisia.

N:o 210. Astioittuja Puna-juurikoita.

Suurempia laija puna-juurikoita keitetään, ja kypsiksi kiehuneena

pannaan ne' jähtymään. Jähtyneinä ne' kuoritaan, lohotaan ja
pannaan klasi-pulliin elikkä purkkiin, johonka niiden päälle'
varistetaan piparuuttia, siltä joka sitä tahtoo. Sitte' kaadetaan etikkaa
niiden päälle' niin paljon, että ovat peitossa. Näitä sopii nyt
yksinänsä nauttia sallattina, taikka myöskin pantaa muun sallatin
ympäristölle', pöytään tuotaissa.

N:o 211. Nuorta Gurkku-Sallattia.

 Nuoria gurkkuja, jotka eivät vielä ole ehtineet vanhentua, kuoritaan
visusti ja leikataan sitte' elikkä viileskellään ohkoisiksi lohoiksi.
Nämät lohot suolataan hiukan pienillä suoloilla ja pannaan pariksi
tuntia painon alle' kahden lautasen väliin. Sitte' kaadetaan näistä
pois päälle' herunut suolavesi ja varistellaan päälle' pienennettyjä
karvaita pippuroita. Vähän viina-etikkaa ja ruoka-öljyä kaadetaan
myös sekaan. (Öljyn saa pois jättää, joka tahtoo). Nämät tuodaan
pikkusella posliini-lautasella pöytään, pantuna pienennettyä persiljaa
ympäristölle'.

N:o 212. Tavallista Gurkku-Sallattia.

Vihriäisiä ja valkosia gurkkuja leikataan ohkosiksi lohoiksi elikää

viilekkeiksi, ennen kuin siemenet heissä ovat ehtineet
täysikasvoisiksi; Näihin sekotetaan sitte' pienennettyjä karvaita-
pippuroita, hiukan pienennettyjä suoloja ja etikkaa, ja tuodaan
semmosina, pikkusella posliini-lautasella, syötää, pienennettyä
persiljaa ympäristölle pantuna.

7:mäs Jako.
PUTENKEJA.

Huomattava: Putinkit, kroppanat ja pannukakot tietään olevan

kypsiä, jos kuiva ja puhdas varpu niiden keskeltä läpitte pistettyä ei
ole kastunut.

N:o 213. Liha-Putinkia.

Kaksi naulaa vasikan- taikka här'än-lihaa, suonista ja kalvoista

puhdistettuna, nuijitaan ja hakataan yhdessä, kahden naulan sian-
silavan seassa pieneksi ja sitkeäksi; sitte' sekotetaan siihen
puolentoista korttelia maitoa, 3 taikka 4 munaa, 2 taikka 3 vähästä
pieneksi hakattua sipulia, hiukan pippuroita ja suoloja. Nämät kaikki
sekotetaan ja vaivataan yhteen hyvin sekasin. Tästä sekotuksesta
tehdään nyt pytkyljänen taikka ymmyriäinen käärö, joka pannaat
voilla voideltuun kastrulliin tuliselle' hiilustalle' vähän kankistumaan.
Sitte' pistetään siihen pieniä sianlihan-rippuloita sinne' ja tänne', ja
nostetaan taas hiljaselle' valkialle' kiehumaan elikkä kärisemään
kannen alla, ja kannelle' lasketaan tulisia hiiliä. Tätä pitää usein
katsottaman ja pidettämän tarkka vaari ett'ei se saa kuivaa, jonka
esteeksi siihen kaadetaan hiukan lihanlientä, jos nähdään
tarvittevan. Kastrullia huiskutetaan hiljaksellen, sillon tällön, ett'ei
putinki pohjaan tarttuisi. Tällä lailla kaksi runsasta tuntia yhtämittaa
kiehuttuansa on se valmis vadille' pantaa. Kastrullissa olevaan
kaseen pannaan muutama palasiksi leikattu ja keitetty sipuli. Näiden
kiehumaan ruvetessa sekotetaan sekaan pari lusikallista nuorta
taaletta, ja sitte' taas, vähän kiehuttua, kaadetaan hiukan kasta
putinkiin ja loppu kasipilkkumiin.

N:o 214. Putinkia Vasikan-lihasta ja Riis-kryyneistä.

Vasikan etupuolen neljännes keitetään, niinkuin N:o 69 on

neuvottu, varsin hauraaksi, jona se otetaan pois ja liemi kuurnataan
elikkä siivilöitään. Tässä liemessä lyöpätään sitte' puolen naulaa
hyvin puhtaiksi pestyjä ja varittuja riis'kryynejä. Kuin riiskryynit ovat
pois otettuina joksikin jähtyneet, niin sekotetaan niihin voin rippula, 5
vispilöittyä munaa, hiukan pienennetyjä karvaita-pippuroita ja
sokeria, vähän myöskin raastittua muskottia ja kortteli nuorta
taaletta. Tästä pannaan sitte' vähän, hyvin sekasin sekotettuna,
voilla voideltuun Putinki-vormuun elikkä kaavaan ja sen päälle'
kertaaseensa tässä mainittua vasikanlihaa. Lihan päälle' pannaan
taas riiskryyni-sekotusta, ja sen päälle' lihaa kertaaseensa, vähän
kumpiakin vuorottaisin, siksi että vormu täytyy, mutta niin että
riiskryynejä tulee viimmeseksi. Lihan pitää oleman leikatun niin että
luuta on joka palasessa. — Sitte' sekotetaan 2 munaa, 1 jumfura
taaletta ja 2 lusikallista sulattua voita hyvin sekasin, ja kaadetaan
vormuun putingin päälle'. Tämä putinki-vormu pistetään nyt
parahultasen lämpöseen uuniin kypsymään. Kypsenä syödään sitä
keltasella kasella (N:o 235).

N:o 215. Putinkia Kanan- taikka Kalkkunan-lihasta.

 Riiskryyneistä tehdään tätä putinkia samalla lailla kuin tämän
edellisessä on neuvottu.

N:o 216. Kala-Putinkia.

Kuuden naulan paikoilla painava perattu hauki halastaan seljästä

ja ruokotaan kaikista ruodoista puhtaaksi, jonka perästä se pyhitään
puhtosella liina-rievulla. Sitte' leikataan siittä liha, nahkaa myöden,
ohkosiksi pytkyiksi ja hakataan puhtosessa hakkurissa hyvin
pieneksi ja sekasin naulan verran puhdistetun munaskuuntalin
kanssa. Tämä pannaan sitte' kivi-huhmariin, jossa se mäntätään
sitkeäksi taikinaksi kahdessa kourallisessa hyvissä nisu-jauhoissa ja
yhdessä naulassa nuoressa voissa. Sen perästä sekotetaan tähän
taikinaan puolenkolmatta korttelia nuorta ja sakiaa taaletta ja 10
taikka 12 munaa — mutta munista sekotetaan yksi erältänsä. Vähän
suoloja, sokeria ja muskotblommaa sekotetaan myös yhdessä
siihen. Sitte' voidellaan vormu voilla ja tuiskutetaan voin päälle
hiukan hyviä nisu-jauhoja. Tämä sekotus kaadetaan sitte' vormuun
ja vormu nostetaan kiehuvaan vesikattilaan kiehumaan kolmeksi
tuntia ja vormun kannella pidetään hyvin tulinen hiilusta. Kypsenä
kaadetaan putinki vadille' ja syödään keltasella kaprisi-kasella. Katso
N:o 235.

N:o 217. Putinkia keitetyistä kaloista.

Jähtyneitä haukia taikka ahvenia ruokotaan ruodoista ja nahoista

puhtosiksi; niiden lihat palotetaan ja pannaan sekaan siirtoihin
leikattuja kalan-maksoja. Tässä pitää nyt oleman saapuvilla kasta,
jota tehdään seuraavalla lailla: Hiukan voita ja nisu-jauhoja keitetään
sekasin, johonka myös lisätään vähän kalan-lientä, eine'
pienennettyjä pippuroita ja suoloja pannaan myös sekaan, ja vähän
kiehuttua suurustetaan se yhdellä vispilöityllä munan-ruskuaisella.
Tämä kasi kaadetaan jähtyneenä, mutta ei lämpösenä, kalojen
sekaan, niin myöskin pari lusikallista sulattua voita, jotka kaikki
sekotetaan hyvin sekasin ja kaadetaan sitte' vormuun. Jos vormu on
puolentoista toopin vetonen, niin sekotetaan 4 munaa ja kortteli
nuorta taaletta sekasin, ja kaadetaan viimmeseksi vormuun putingin
päälle'. Tämä pistetään nyt parahultasen lämpöseen uuniin
kypsymään, ja syödään kaseta lämpösenä.

N:o 218. Siika-Putinkia.

Neljä naulaa siikaa ruokotaan puhtaaksi ruodoista ja nahasta, ja

liotetaan myös vedessä jos se on suolattua. Sitte' likistellään se
kuivaksi puhtosen liina-rievun välissä, jonka perästä se survotaan ja
nuijitaan sekasin kolmeneljännes naulan puhdistetun munaskuun
talin kanssa, siksi että hän tulee pieneksi ja sitkeäksi kuin taikina.
Tähän sekotetaan sitte' kourallinen hyviä nisu jauhoja, 10 taikka 12
munaa, kortteli nuorta taaletta taikka maitoa, niin myös hiukan
suoloja, sokeria ja eine' muskotblommaa. Kaikki tämä kaadetaan
voilla voideltuun ja jauhoilla päälle' varisteltuun vormuun; pistetään
sitte' lämpöseen uuniin kypsymään, jonka perästä se syödään
kaseta lämpösenä, taikka seuraavalla lailla tehdyllä kasella: Nökkälä
voita keitetään sekasin nisu-jauhoissa ja kalan-liemessä, taikka
kiehuneessa vedessä — suoloja pannaan myös hiukan sekaan, jos
huomataan tarvittevan; kuin tämä yhtämittasella sekotuksella on
vähän kiehahtanut, niin kaadetaan sekaan muutama pisara sitronin-
nestettä.
 N:o 219. Silli-Putinkia Perunoissa.

Sillit, liotettuina vedessä, halastaan ja ruokotaan puhtaiksi

ruodoista ja nahoista, likistellään sitte' kuiviksi liina-rievussa ja
leikataan palasiksi. — Keitettyjä perunoita kuoritaan ja leikataan
myös ohkosiksi lohoiksi. Voilla voideltuun vormuun ladotaan sitte'
kertaaseensa perunan-lohkoja ja silliä päälle', vuorottaisin
kumpiakin, niin paljon kuin tahdotaan; jonka perästä vispilöitään
sekasin 5 munaa, kortteli nuorta taaletta ja hiukan pienennettyä
sokeria. Tämä sekotus kaadetaan valmiina vormuun sillien ja
perunoiden päälle', jotka pitää oleman niin höllään ladotut että tämä
kasi pääsee rakoin juoksemaan. Sitte' pistetään vormu parahultasen
lämpöseen uuniin kypsymään, jona se syödään ruskealla kaprisi
kasella, N:o 234.

N:o 220. Silli-Putinkia Riiskryyneissä.

Riiskryynit ruokotaan ja pestään hyvin, ensin kylmässä, sitte'

haleassa ja viimmeseksi kiehuvassa vedessä. Sen perästä
lyöpätään ne' maidossa ja kaadetaan vatiin jähtymään. Sitte' kuin
enin kuumuus on niistä lähtenyt, sekotetaan niihin palanen nuorta
voita, sokeria, karvaita-pippuroita ja inkivääriä — kaikki
pienennettyinä — niinmyös raastittua muskottia, ja joka riiskryyni
korttelia kohden 5 hyvin vispilöittyä munaa. — Vedessä liotettuja
paistettuja sillejä halastaan ja ruokotaan ruodoista puhtaiksi ja
leikataan palasiksi. Sitte' voidellaan voilla vormu, johonka ladotaan
vuorottaisin: ensiksi riiskryynejä, sitte' silliä, mutta viimmeseksi
riiskryynejä. — Muutama muna sekotetaan taaleessa hyvin sekasin
ja kaadetaan sitte' vormuun, jonka perästä se kypsennetään
parahultasesti lämmitetyssä uunissa. Tätä syödään samalla kasella,
kuin tämän edellistäkin, N:o 219.
 N:o 221. Lohi-Putinkia.

Tätä tehdään joko perunoissa taikka riiskryyneissä, niinkuin tämän

edellisetkin.

N:o 222. Peruna-Putinkia.

Puoleen tooppiin keitetyihin ja mäihä-raudalla raastittuihin

perunoihin otetaan 8 luodia raastittuja makosia-manteleita, puolen
korttelia sulattua voita ja puolen korttelia taaletta, ja sekotetaan
kaikki hyvin sekasin. Sitte' vispilöitään 5 munaa lusikallisessa
pienennetyssä sokerissa hyvin sekasin ja sekotetaan peruna-
sekotukseen, joka sitte' kaadetaan voilla voideltuun vormuun ja
kypsennetään uunissa. Tätä syödään suolasilla liha-ru'illa.

N:o 223. Peruna-Putinkia toisella lailla.

Naula keitettyjä, kuorittuja ja mäihä-raudalla raastittuja perunoita

nuijitaan hyvin pieniksi, jonka perästä niihin sekotetaan neljäsosa
naulaa sulattua voita, 6 munan-ruskuaista, sokeria, eine'
pienennettyä muskotblommaa, puolen tooppia nuorta taaletta ja
viimmeseksi 2 hyvin sekotettua munan-valkuaista. Tämä sekotus
kaadetaan voilla voideltuun vormuun ja pannaan oitis uuniin
kypsymään.

N:o 224. Veri-Putinkia.

Kolmeen kortteliin puhtaaksi kuurnattuun taikka siilattuun vereen

sekotetaan kortteli maitoa, hiukan siirappia, suoloja, pippuroita,
inkivääriä ja pieneksi hierottua meiramia, niin myös senverran
sekasin-jauhettuja rukiisia-jauhoja, että hän tuskin pyörielee vispilää
ylösnostaissa. Nyt paistetaan 2 taikka 3 pienennettyä sipulia voissa
ja sekotetaan tämän putingin sekaan yhdessä puolen naulan
puhdistetun ja pieneksi hakatun munaskuun-talin kanssa. Kuin
nämät kaikki ovat hyvin sekasin sekotetut, niin pannaan viimmeseksi
siihen 4 vispilöittyä munaa sekottaen, jonka perästä kaikki
kaadetaan voilla silattuun vormuun. — Vormussa pitää oleman hyvin
tivis kansi, joka niotaan siihen kiini. Tämä nostetaan sitte' kiehuvaan
vesikattilaan, jossa sitä hyvällä valkialla keitetään lakkaamata 3
tuntia. Vormua ei saa panna juuri täyteen, sillä putingin paisuessa
pakkoontuisi kansi pois sialtansa. Valmiiksi kiehuneena annetaan
sen olla alallansa kajoomata neljäsosa tuntia, jonka perästä se
kumotaan vadille' ja syödään sulatulla voilla.

N:o 225. Maksa-Putinkia.

Juotetun vasikan-maksa raastitaan raastimella, ja jota ei saada

raastituksi se nuijitaan puu-nuijalla pieneksi, jonka perästä kaikki
kuurnataan ruoka-siivilän läpitte'. — Puolentoista korttelia raastittua
nisuleipää liotetaan maidossa, johonka sitte' pannaan se kuurnattu
maksa, niin myöskin puolen naulaa pieneksi survottua munaskuun-
talia, runsas kourallinen korinttereitä, hiukan pienennettyä pippuroita,
suoloja, sokeria, muskotblommaa ja 6 taaleessa vispilöittyä munaa.
Sitte' voidellaan vormu voilla ja vasikan-kalvo levitetään siihen, jonka
päälle' putinki hyvin sekotettuna kaadetaan ja käännetään kalvon-
partaat päälle'. Tämä pistetään nyt uuniin kypsymään. Sill'aikana
käristetään sekasin valkialla voita ja nisujauhoja, pannen lisäksi
hiukan saksan-viinaa ja vettä, puoliksi kumpiakin; hiukan
korinttereitä, raastittuja sitronin-kuoria, sokeria ja pienennettyä
piparikakkoa pannaan myös sekaan, ja kuin korintterit ovat tarpeeksi
kiehuneet, kaadetaan tähän muutama pisara sitronin-nestettä, elikkä
märkyyttä. — Putinki kumotaan kypsenä vadille' ja kalvo otetaan
pois, jonka perästä hiukan kasesta kaadetaan sekaan ja loppu
pannaan kasi-pilkkumiin putingin kanssa syötäväksi.

N:o 226. Penaatti-Putinkia.

Puolen naulaa jauhoiksi pienennettyä nisu-leipää liotetaan

puolessa toopissa maidossa ja kortteli lyöpättyä ja pieneksihakattua
penaattia pannaan sekaan, niin myöskin puolen korttelia sulattua
voita, puolentoista lusikallista pienennettyä sokeria, hiukan suoloja ja
raastittua muskottia ja 10 sekasin vispilöittyä munaa. Tämä
kaadetaan tivis-kantiseen voilla voideltuun vormuun, ja nostetaan
kastrulliin vedessä kiehumaan lähes kaksi tuntia; taikka myöskin
kypsennetään se uunissa. Sill'aikana keitetään hiukan nisujauhoja ja
palanen voita sekasin ja pannaan senverran nuorta taaletta lisäksi,
että siittä tulee parahultasen vetelä kasta, jonka kiehuessa siihen
vispilöitään muutama munan-ruskuainen. Putinki tuodaan pöytään,
lautasliina elikkä salvetti vormun ymmäri kiedottuna. Vähän kasesta
kaadetaan siihen ja loppu kasta tuodaan pilkkumilla pöytään.

N:o 227. Rusina-Putinkia.

Naula hyviä nisu-korppuja sullotaan jauhoiksi; niihin kaadetaan

sitte' sulattua voita ja keitettyä maitoa, puoleksi kumpiakin, niin
paljon että ovat liossa. Tähän pannaan nyt puolentoista naulaa
siemenistä ja oksista ruokottuja hyviä rusinoita, pari lusikallista
pienennettyä sokeria ja raastittuja sitronin-kuoria hiukan, sitte' myös
puolessatoista jumfurassa taaleessa vispilöittyä 10 munaa, jotka
kaikki sekotetaan hyvin sekasin. Tämä sekotus kaadetaan kylmällä
voilla voideltuun vormuun, sitte' kuin voin päälle' ensin on tuiskutettu
pieneksiraastittua leipää. Vormu, jossa pitää oleman tivis kansi,
nostetaan kattilaan vedessä kiehumaan hyvällä valkialla puolen-
neljättä tuntia. Sill'aikana pannaan kortteli vettä valkialle' kiehumaan
ja sen sekaan sokeria ja sitronin-nestettä niin paljon, että tuntuu
enemmän makoselta kuin happamalta, jonka perästä 8 munan-
ruskuaista vispilöittynä kaadetaan joukkoon. Kuin tämä
yhtämittasella sekottamisella on vähän kiehunut, niin kaadetaan
siittä muutama lusikallinen putingin päälle' ja loppu tuodaan kasi-
pilkkumissa putingin kanssa pöytään.

N:o 228. Saaku-Putinkia.

Neljännes-naulaa saaku-kryynejä ja tooppi maitoa keitetään

pakaraksi puuroksi, johonka kuumana sekotetaan palanen nuorta
voita, 10 luodia pienennettyä nisuleipää, hiukan muskot-blommaa, ja
sen verran pienennettyä sokeria että tuntuu makoselta. Sitte', kuin
tämä on jähtynyt, vispilöitään 10 munaa puolessa korttelissa
nuoressa taaleessa ja kaadetaan sekaan, jonka perästä kaikki
sekotetaan yhteen hyvin sekasin. Sitte' voidellaan kannellinen vormu
voilla, ja tuiskutetaan pieneksiraastittua leipää päälle'. Tähän
kaadetaan tämä putinki ja pannaan kattilaan, vedessä kiehumaan
kannen alla 3 tuntia. Tämä tuodaan lämpösenä syötäväksi marja-
kasella (N:o 247). Vormun ympärille' kiedotaan puhdas lautasliina eli
salvetti pöytään tuotaissa.

N:o 229. Riisi-Putinkia.

Naula riis-kryynejä varitaan ja pestään sekä haleassa että

kylmässä vedessä, jonka perästä ne' keitetään maidossa
puolikypsiksi ja pakaraksi, elikkä sakeaksi puuroksi. Tähän puuroon
sekotetaan, astiaan ajettuna, ennen jähtymistänsä, kanan-munan
kokonen palanen nuorta voita. Jähtyneenä sekotetaan siihen 4
luodia varittuja ja kuorittuja pienennettyiä makosia-manteleita ja
muutama karvas-manteli, niinmyös yhden sitronin päällimmäinen
keltanen kuori pieneksi raastittuna ja jumfura pienennettyä sokeria.
Sitte' voidellaan vormu voilla ja tuiskutetaan voiteen päälle' raastittua
leipää. Nyt sekotetaan 8 munaa ja 1 iumfura taaletta yhteen ja
kaadetaan myös puuroon, jotka kaikki sekotetaan hyvin sekasin ja
kaadetaan vormuun, ja vormu pannaan parahultasen lämpöseen
uuniin kypsymään. Putinki tuodaan, puhdas lautasliina ympäri
kiedottuna, pöytään lämpösenä syötää kylmällä' ajakka-marja-
kasella (N:o 247).

N:o 230. Manteli-Putinkia.

Puolen naulaa pieneksi sullottuja nisu-korppuja, 5 luodia varittuja

ja pienennettyjä makosia-manteleita ja muutama karvas-manteli, niin
myös puolen jumfuraa pienennettyä sokeria, hiukan pienennettyä
kanelia, ja 3 taikka 4 lusikallista sulattua voita sekotetaan sekasin.
Sitte' kaadetaan tähän puolen tooppia kiehuvaa taaletta ja
sekotetaan taas sekasin, niin että se tulee notkiaksi kuin
vetelämäinen taikina. Jähtyneenä kaadetaan tähän 8 sekotettua
munaa, ja sitte' kaikki sekasin sekotettuna kaadetaan vormuun, ja
vormu pannaan parahultasesti lämminneeseen uuniin kypsymään.
Vormun pitää oleman ensin voideltu voilla ja voin päälle' tuiskutettu
raastittua leipää, ennenkuin putinki siihen kaadetaan. — Sill'aikana
keitetään kasta hiukasta voista ja jauhoista, pannen sekaan saksan-
viinaa ja vettä, runsas puoli korttelia kumpaakin, niin myös hiukan
sokeria ja sitroninkuoria. Kiehuessa kaadetaan tähän 4 munan-
ruskuaista ja sekotetaan siksi, että kasi toistamiseen rupee
kiehumaan, jonka perästä se otetaan pois. Putinki kumotaan
kypsenä vadille'; kasesta kaadetaan puoli päälle' ja toinen puoli
tuodaan kasi-pilkkumissa putingin kanssa pöytään. Tähän kaseen
saa myös veden ja saksan-viinan verosta panna maitoa.

N:o 231. Omena-Putinkia.

Hyviä omenoita kuorittuina, lohottuina ja siemenistä ja siemen-

pesistä ruokottuina, pannaan raastittujen sitronin-kuorien ja sokerin
seassa hiukkaan valkoseen Saksan-viinaan kiehumaan hiljasella
valkialla mäihäksi, ja kaadetaan sitte' jähtymään. Sill'aikana liotetaan
puolen naulaa pienennettyjä nisu-korppuja kolmessa korttelissa
nuoressa taaleessa, johon myös lisätään 10 lusikallista sulattua voita
ja 3 korttelia tätä jähtynyttä omena-mäihää, niinmyös viimmeksi 10
kokonaista munaa ja 6 munan-ruskuaista sekasin sekotettuina. Nyt
sekotetaan kaikki yhteen sekasin, ja kaadetaan hyvin voideltuun
vormuun ja pannaan uuniin kypsymään, taikka nousemaan, jonka
perästä se tuodaan vormussansa lämpösenä syötää.

8:sas Jako.
KASIA.

N:o 232. Kasien keitoksista yhteisesti.

Tavallisesti tehdään kakki kaset sillä lailla, että hiukan nisujauhoja

ja palanen voita pannaan valkialle' kärisemään elikkä kiehumaan, ja
lientä kaadetaan sekaan siittä ruokalaista, jollekka kasi tehdään,
jonka perästä sen annetaan vähän kiehahtaa. — Vaikka muutamihin
ruoka-laihin tällainen kasi sopiskin, on kuitenkin parempi tehdä sitä
sillä lailla, että voi ja nisujauhot sekotetaan pannussa kylmänä
sekasin, ja kaadetaan lientä lisäksi, jonka perästä sen annetaan
vähän kiehahtaa yhtämittasella sekottamisella. Syy tämän pareuteen
on se, että voi ja sen rasvasuus vähenee keittäessä. Kasen saa oitis,
kiehumaan ruvettua ottaa valkialta pois, jos ei persiljaa taikka muuta
sellaista, joka tarvittee kiehumista, ole joukossa. Mutta jos kasi on
ensimmäisellä kiehumisella liian sakiaa, niin lisättäköön
vetelämmäksi ja annettakoon kiehua. Jos kasta suurustetaan
munilla, niin älköön sitä tehtäkö kasen kiehuessa, vaan munat
sekotettakoon posliini-astiassa sekasin, ja kasi kaadettakoon niihin
kuumana, jolla ajalla tätä pitää yhtämittaa sekotettaman.

N:o 233. Kasta Vasikan-reidelle'.

 Tämän edellä neuvotulla tavalla sotketaan jauhot ja voi sekasin,
pannaan sitte' reiden lientä sekaan, ja hiukan suoloja kiehuessa,
jonka perästä se suurustetaan kahdella munan-ruskuaisella.

N:o 234. Ruskeaa Kaprisi-kasta.

Voita ja nisujauhoja sotketaan sekasin, niinkuin N:o 232 on

neuvottu; puljonkia, elikkä lihan-lientä, pannaan sekaan, ja sen
kiehuessa kaprisia. Tämä tehdään siirapilla ja etikalla parahultasen
varikoiseksi, elikkä makosen-happamaksi.

N:o 235. Kellasta Kaprisi-kasta.

Tätä tehdään samalla lailla kuin tämän edellistäkin, ainoastansa

sillä erotuksella, että tämä tehdään makosen-happamaksi sitronin-
nesteellä ja sokerilla, ja kaadetaan kahden hyvin vispilöityn munan-
ruskuaisen sekaan.

N:o 236. Vihriäistä Kasta tuoreeseen Här'änrinta-lihaan.

Voita ja nisujauhoja sekotetaan sekasin, N:o 232 neuvotulla

tavalla. Penaatista puserrettua märkyyttä pannaan sekaan, taikka
sen puutteessa lihan-lientä ja pienennettyä happamutta ja palotettuja
olivereita. Tämä, vähän kiehuttuansa, kaadetaan kahden hyvin
vispilöityn munan-ruskuaisen sekaan.

N:o 237. Sinappi-Kasta Kaloihin.

 Voita ja nisujauhoja sotketaan sekasin, niinkuin N:o 232 on
neuvottu, sitte' kaadetaan kalan-lientä sekaan ja annetaan vähän
kiehua, jona siihen pannaan sinappia niin paljon, että hän tulee
väkeväksi ja kauniin muotoseksi. Sitte' kuin tämä, sinapin sekaan
pantua, on kiehunut, on se myös valmista.

N:o 238. Varikoista Kasta.

Voita ja nisujauhoja sotketaan sekasin, niinkun N:o 232 on

neuvottu, vettä kaadetaan sitte' sekaan, ja kuin tämä rupee
kiehumaan, pannaan siihen kourallinen pestyjä korinttereitä, vähän
siirappia ja etikkaa. Ja kuin korintterit ovat hyvin paisuneet, on kasi
valmista syötää minkä paistin kanssa hyvänsä. — Joka tahtoo, saa
tähän kaseen myös sekottaa hiukan pieneksi raastittua sitronin-
kuorta.

N:o 239. Voi-Kasta.

Kalkkunan-munan kokonen voinpala sotketaan sekasin hiukassa

nisujauhoissa ja pannaan kalan-lientä lisäksi taikka kiehunutta vettä.
Kuin tämä, yhtämittaa sekottaessa, rupee kiehumaan, lisätään voita,
eikä lakata sekottamasta ennen kuin hyvin vahtoilee, jonka perästä
se on valmista livekalojen kanssa syötää.

N:o 240. Piparuutti-Kasta.

Sitte' kuin edellä mainittu kasi on valmista, sekotetaan siihen

raastittua raakaa piparuuttia niin paljon että kasi tulee parahultasen
väkeväksi, jona se on valmis keitetyn hauen kanssa syötää. — Jos
tätä kasta tahdotaan nauttia tuoreen- taikka suolasen-lihan kanssa,
niin pitää lihanlientä taikka maitoa pantaman kalanliemen verosta.

N:o 241. Kasta Piparuutista ja sulatusta voista.

Runsas pala voita pannaan pannuun kärisemään, mutta ei anneta

ruskeaksi paistua; siihen sekotetaan raastittua piparuuttia,
läpikotasin kuumenemaan, jonka perästä se on valmis syötää lahnan
taikka hauen kanssa. — Tämä sulattu voi ja piparuutti sopii myös
erinänsä tuotaa pöytään, mutta niihin annetaan sitte' sokeria ja
etikkaa lisäksi.

N:o 242. Persilja-Kasta.

Voita, nisujauhoja ja pienennettyä persiljaa sotketaan sekasin,

jonka perästä siihen lisätään lientä siittä ruoka-laista, jollekka tätä
kasta tehdään, ja nostetaan sitte' muutamaksi minuuttia kiehumaan.
— Tätä nautitaan kalojen kanssa.

N:o 243. Tilli-Kasta.

Voita, nisujauhoja ja pieniksi hakattuja tillejä sotketaan sekasin;

sitte' kaadetaan lientä lisäksi ja nostetaan kiehumaan. Kiehuessa
tehdään tämä varikoiseksi, elikkä makosen-happamaksi, etikalla ja
pienennetyllä sokerilla, ja kuin sitte' taas rupee kiehumaan,
kaadetaan se astiaan, jossa saa olla kaksi munan-ruskuaista
sekotettuna, joka niitä tahtoo. — Jos kasi munan-ruskuaisiin
kaadetaan, niin saa se kiehuessa olla vähän vetelämäistä, sillä
munista se sakoo.
 N:o 244. Ruoho-löökki-Kasta.

Voita, nisujauhoja ja pienennettyjä ruoho-löökkejä sotketaan

sekasin, ja kaadetaan vettä taikka kalanlientä lisäksi. Kuin tämä saa
muutaman minuutin kiehua, on se valmista.

N:o 245. Sipuli-Kasta.

Yksi pieneksi hakattu sipuli keitetään kasi-pannussa voi-rippulassa

ja sitte' lusikallisessa nisujauhoissa; tähän lisätään sen perästä vettä
taikka kalan-lientä, ja kiehumaan ruvetessa suolataan se
parahultaseksi, ja pannaan myös rippula voita sekaan. Tämän
perästä kiehumaan ruvetessa on se valmis kalojen kaseksi.

N:o 246. Muna-Kasta.

Tätä tehdään samalla-lailla kuin voi-kastakin (N:o 239); mutta kuin

kasi on valmis, niin se kaadetaan kahden kovaksi keitetyn ja
pieneksi hakatun munan sekaan. Tämä kasi sopii monellaisien
keitettyjen kalojen kaseksi.

N:o 247. Kirsi-marja-Kasta.

Kuivia kirsi-marjoja (elikkä ajakka-marjoja) nuijitaan hyvin pieniksi

ja keitetään sitte' vedessä mäihäksi, sokerin, kanelin ja
sitroninkuoren palasen seassa. Sen perästä juoksutetaan se hius-
kankaan taikka hius-siivilän läpitte. Tämä juoksutus nostetaan
valkialle', ja kiehuessa kaadetaan siihen kahdessa lusikallisessa
vedessä hiukan sulatettuja perunajauhoja, niin että se tulee
parahultasen sakeaksi kaseksi, jonka perästä se kaadetaan kasi-
Welcome to our website – the ideal destination for book lovers and
knowledge seekers. With a mission to inspire endlessly, we offer a
vast collection of books, ranging from classic literary works to
specialized publications, self-development books, and children's
literature. Each book is a new journey of discovery, expanding
knowledge and enriching the soul of the reade

Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.

Let us accompany you on the journey of exploring knowledge and

personal growth!

ebookmass.com