Data Analysis Using Hierarchical Generalized

Linear Models With R 1st Edition Lee download

https://ebookbell.com/product/data-analysis-using-hierarchical-
generalized-linear-models-with-r-1st-edition-lee-55540290

Explore and download more ebooks at ebookbell.com

Here are some recommended products that we believe you will be
interested in. You can click the link to download.

Data Analysis Using Regression And Multilevelhierarchical Models

Andrew Gelman Jennifer Hill

https://ebookbell.com/product/data-analysis-using-regression-and-
multilevelhierarchical-models-andrew-gelman-jennifer-hill-2630560

Data Analysis Using Sql And Excel 1st Edition Gordon S Linoff

https://ebookbell.com/product/data-analysis-using-sql-and-excel-1st-
edition-gordon-s-linoff-4638738

Data Analysis Using Sas Chaoying Joanne Peng

https://ebookbell.com/product/data-analysis-using-sas-chaoying-joanne-
peng-4937560

Data Analysis Using Stata Third Edition 3rd Edition Ulrich Kohler

https://ebookbell.com/product/data-analysis-using-stata-third-
edition-3rd-edition-ulrich-kohler-4952628
Data Analysis Using Sql And Excel 2nd Edition Gordon S Linoff

https://ebookbell.com/product/data-analysis-using-sql-and-excel-2nd-
edition-gordon-s-linoff-5670786

Data Analysis Using The Leastsquares Method 1st Edition John Wolberg

https://ebookbell.com/product/data-analysis-using-the-leastsquares-
method-1st-edition-john-wolberg-932870

Data Analysis Using Sas Enterprise Guide

https://ebookbell.com/product/data-analysis-using-sas-enterprise-
guide-1566344

Data Analysis Using Sql And Excel Gordon S Linoff

https://ebookbell.com/product/data-analysis-using-sql-and-excel-
gordon-s-linoff-230947040

Guerrilla Data Analysis Using Microsoft Excel Conquering Crap Data And
Excel Skirmishes Excel Skirmishes 3rd Edition Bill Jelen

https://ebookbell.com/product/guerrilla-data-analysis-using-microsoft-
excel-conquering-crap-data-and-excel-skirmishes-excel-skirmishes-3rd-
edition-bill-jelen-49154772
 DATA ANALYSIS USING
HIERARCHICAL GENERALIZED
LINEAR MODELS WITH R
 DATA ANALYSIS USING
HIERARCHICAL GENERALIZED
LINEAR MODELS WITH R

Youngjo Lee
Lars Rönnegård
Maengseok Noh
CRC Press
Taylor & Francis Group
6000 Broken Sound Parkway NW, Suite 300
Boca Raton, FL 33487-2742

© 2017 by Taylor & Francis Group, LLC

CRC Press is an imprint of Taylor & Francis Group, an Informa business

No claim to original U.S. Government works

Printed on acid-free paper

Version Date: 20170502

International Standard Book Number-13: 978-1-138-62782-6 (Hardback)

This book contains information obtained from authentic and highly regarded sources. Reasonable
efforts have been made to publish reliable data and information, but the author and publisher cannot
assume responsibility for the validity of all materials or the consequences of their use. The authors and
publishers have attempted to trace the copyright holders of all material reproduced in this publication
and apologize to copyright holders if permission to publish in this form has not been obtained. If any
copyright material has not been acknowledged please write and let us know so we may rectify in any
future reprint.

Except as permitted under U.S. Copyright Law, no part of this book may be reprinted, reproduced,
transmitted, or utilized in any form by any electronic, mechanical, or other means, now known or
hereafter invented, including photocopying, microfilming, and recording, or in any information
storage or retrieval system, without written permission from the publishers.

For permission to photocopy or use material electronically from this work, please access
www.copyright.com (http://www.copyright.com/) or contact the Copyright Clearance Center, Inc.
(CCC), 222 Rosewood Drive, Danvers, MA 01923, 978-750-8400. CCC is a not-for-profit organization
that provides licenses and registration for a variety of users. For organizations that have been granted
a photocopy license by the CCC, a separate system of payment has been arranged.

Trademark Notice: Product or corporate names may be trademarks or registered trademarks, and
are used only for identification and explanation without intent to infringe.
Visit the Taylor & Francis Web site at
http://www.taylorandfrancis.com
and the CRC Press Web site at
http://www.crcpress.com
 Contents

List of notations ix

Preface xi

1 Introduction 1
1.1 Motivating examples 5
1.2 Regarding criticisms of the h-likelihood 14
1.3 R code 16
1.4 Exercises 17

2 GLMs via iterative weighted least squares 19

2.1 Examples 19
2.2 R code 25
2.3 Fisher’s classical likelihood 28
2.4 Iterative weighted least squares 30
2.5 Model checking using residual plots 33
2.6 Hat values 33
2.7 Exercises 34

3 Inference for models with unobservables 37

3.1 Examples 38
3.2 R code 41
3.3 Likelihood inference for random effects 44

v
vi CONTENTS
3.4 Extended likelihood principle 50
3.5 Laplace approximations for the integrals 53
3.6 Street magician 56
3.7 H-likelihood and empirical Bayes 58
3.8 Exercises 62

4 HGLMs: from method to algorithm 65

4.1 Examples 65
4.2 R code 79
4.3 IWLS algorithm for interconnected GLMs 82
4.4 IWLS algorithm for augmented GLM 85
4.5 IWLS algorithm for HGLMs 86
4.6 Estimation algorithm for a Poisson GLMM 88
4.7 Exercises 91

5 HGLMs modeling in R 95
5.1 Examples 95
5.2 R code 124
5.3 Exercises 132

6 Double HGLMs - using the dhglm package 137

6.1 Model description for DHGLMs 138
6.2 Examples 140
6.3 An extension of linear mixed models via DHGLM 170
6.4 Implementation in the dhglm package 172
6.5 Exercises 175

7 Fitting multivariate HGLMs 177

7.1 Examples 178
7.2 Implementation in the mdhglm package 219
7.3 Exercises 220
CONTENTS vii
8 Survival analysis 223
8.1 Examples 224
8.2 Competing risk models 238
8.3 Comparison with alternative R procedures 241
8.4 H-likelihood theory for the frailty model 244
8.5 Running the frailtyHL package 249
8.6 Exercises 250

9 Joint models 253

9.1 Examples 254
9.2 H-likelihood approach to joint models 265
9.3 Exercises 268

10 Further topics 271

10.1 Examples 271
10.2 Variable selections 277
10.3 Examples 288
10.4 Hypothesis testing 291

References 299

Data Index 311

Author Index 313

Subject Index 317

 List of notations

Symbol Description
y Response vector
X Model matrix for fixed effects
Z Model matrix for random effects
β Fixed effects
v Random effect on canonical scale
u Random effect on the original scale
n Number of observations
m Number of levels in the random effect
h(·) Hierarchical log-likelihood
L(·; ·) Likelihood with notation parameters; data
fθ (y) Density function for y having parameters θ
θ A generic parameter indicating
any fixed effect to be estimated
φ Dispersion component for the mean model
λ Dispersion component for the random effects
g(·) Link function for the linear predictor
r(·) Link function for random effects
η Linear predictor in a GLM
µ Expectation of y
s Linearized working response in IWLS
V Marginal variance matrix used in linear mixed models
V (·) GLM variance function
I(.) Information matrix
pd Estimated number of parameters
T
Transpose
δ Augmented effect vector
γ Regression coefficient for dispersion

ix
 Preface

Since the first paper on hierarchical generalized linear models (HGLMs)

in 1996, interest in the topic grew to produce a monograph in 2006 (Lee,
Nelder, and Pawitan, 2006). Ten years later this rather advanced mono-
graph has been developed in a second edition (Lee, Nelder, and Pawitan,
2017) and two separate books on survival analysis (Ha, Jeong, and Lee,
2017) and this book, which shows how wide and deep the subject is. We
have seen a need to write a short monograph as a guide for both stu-
dents and researchers in different fields to help them grasp the basic ideas
about how to model and how to make inferences using the h-likelihood.
With data examples, we illustrate how to analyze various kinds of data
using R. This book is aimed primarily toward senior undergraduates
and first-year graduates, especially those searching for a bridge between
Bayesian and frequentist statistics.
We are convinced that the h-likelihood can be of great practical use in
data analysis and have therefore developed R packages to enhance the
use of h-likelihood methods. This book aims to demonstrate its merits.
The book includes several chapters divided into three parts. The first 5
chapters present various examples of data analysis using HGLM classes
of models followed by the h-likelihood theory. For the examples in Chap-
ters 2–5, R codes are presented after examples in each chapter. Most of
these examples use the dhglm package, which is a very flexible package.
Since there are numerous options, the code might seem technical at first
sight, but we introduce it using a few simple examples and the details on
how to use the dhglm package are found in Chapter 6 where we explain
the code through additional examples.
In Chapters 6–9, the R packages dhglm, mdhglm, frailtyHL and jointd-
hglm are introduced. We explain how to use these packages by using
example data sets, and the R code is given within the main text. The
dhglm package fits several classes of models including: generalized lin-
ear models (GLMs), joint GLMs, GLMs with random effects (known
as HGLMs) and HGLMs including models for the dispersion parame-
ters, including double HGLMs (DHGLMs) introduced later. The md-
hglm package fits multivariate DHGLMs where the response variables

xi
xii PREFACE
follow different distributions, which can also fit factor and structural
equation models. The frailtyHL package is used for survival analysis us-
ing frailty models, which is an extension of Cox’s proportional hazards
model to allow random effects. The jointdhglm package allows joint mod-
els for HGLMs and survival time and competing risk models. In Chapter
10, we introduce variable selection methods via random-effect models.
Furthermore, in Chapter 10 we study the random-effect models with dis-
crete random effects and show that hypothesis testing can be expressed
in terms of prediction of discrete random effects (e.g., null or alternative)
and show how h-likelihood gives a general extension of likelihood-ratio
test to multiple testing. Model-checking techniques and model-selection
tools by using the h-likelihood modeling approach add further insight to
the data analysis.
It is an advantage to have studied linear mixed models and GLMs before
reading this book. Nevertheless, GLMs are briefly introduced in Chapter
2 together with a short review of GLM theory, for a reader who wishes
to freshen up on the topic. The majority of data sets used in the book
are available at URL
http : //cran.r − project.org/package = mdhglm
for the R package mdhglm (Lee et al., 2016b). Several different examples
are presented throughout the book, while the longitudinal epilepsy data
presented by Thall and Vail (1990) is an example dataset used recur-
rently throughout the book from Chapter 1 to Chapter 6 allowing the
reader to follow the model development from a basic GLM to a more
advanced DHGLM.
We are grateful to Prof. Emmanuel Lesaffre, Dr. Smart Sarpong, Dr.
Ildo Ha, Dr. Moudud Alam, Dr. Xia Shen, Mr. Jengseop Han, Mr. Dae-
han Kim, Mr. Hyunseong Park and the late Dr. Marek Molas for their
numerous useful comments and suggestions.

Youngjo Lee, Lars Rönnegård and Maengseok Noh

Seoul, Dalarna, and Busan
 CHAPTER 1

Introduction

The objective of statistical inference is to draw conclusions about the

study population following the sampling of observations. Different study
problems involve specific sampling techniques and a statistical model to
describe the analyzed situation. In this book we present HGLMs, a class
of statistical models that allow flexible modeling of data from a wide
range of applications and we describe the theory for their inferences.
Further we present the methods of statistical testing based on HGLMs
and prediction problems which can be tackled by this class. We also
present extensions of classical HGLMs in various ways with a focus on
dispersion modeling.
The advantage of the HGLM framework for specific statistical problems
will be shown through examples including data and R code. The statis-
tical inference and estimation are based on the Lee and Nelder (1996)
hierarchical likelihood (h-likelihood ). The h-likelihood approach is dif-
ferent from both classical frequentist and Bayesian methods, but at the
same time unites the two (Figure 1.5) because it includes inference of
both fixed and random unknowns. An advantage compared to classical
frequentist methods is that inference is possible for unobservables, such
as random effects, and consequently subject-specific predictions can be
made. Once a statistical model is decided for the analysis of the data at
hand, the likelihood leads to a way of statistical inferences. This book
covers statistical models and likelihood-based inferences for various prob-
lems.
Lee and Nelder (1996) introduced inference for models including unob-
servable random variables, which include future outcomes, missing data,
latent variables, factors, potential outcomes, etc. There are three major
benefits of using the h-likelihood:
i) we can develop computationally fast algorithms for fitting advanced
models,
ii) we can make inferences for unobservables and thereby make predic-
tions of future outcomes from models including unobservables, and

1
2 INTRODUCTION
iii) we can use model-checking tools for linear regression and generalized
linear models (GLMs), making assumptions in all parts of an HGLM
checkable.
The marginal likelihood is used for inference on the fixed effects both
in classical frequentist and h-likelihood approaches, but the marginal
likelihood involves multiple integration over the random effects that are
most often not feasible to compute. For such cases the adjusted profile
h-likelihood, a Laplace approximation of the marginal likelihood, is used
in the h-likelihood approach. Because the random effects are integrated
out in a marginal likelihood, classical frequentist method does not allow
any direct inference of random effects.
Bayesians assume prior for parameters and for inference they often rely
on Markov Chain Monte Carlo (MCMC) computations (Lesaffre and
Lawson, 2012). The h-likelihood allows complex models to be fitted by
maximizing likelihoods for fixed unknown parameters. So for a person
who does not wish to express prior beliefs, there are both philosophical
and computational advantages of using HGLMs. However, this book does
not focus on the philosophical advantages of using the h-likelihood but
rather on the practical advantages for applied users, having a reasonable
statistical background in linear models and GLMs, to enhance their data
analysis skills for more general types of data.
In this chapter we introduce a few examples to show the strength of
the h-likelihood approach. Table 1.1 contains classes of models and the
chapters where they are first introduced, and available R packages. Var-
ious packages have been developed to cover these model classes. From
Table 1.1, we see that the dhglm package has been developed to cover a
wider class of models from GLMs to DHGLMs . Detailed descriptions of
dhglm package are presented in Chapter 7, where full structure of model
classes are described.
Figure 1.1 shows the evolution of the model classes presented in this
book together with their acronyms. Figure 1.1 also shows the building-
block structure of the h-likelihood; once you have captured the ideas at
one level you can go to a deeper level of modeling. This book aims to
show how complicated statistical model classes can be built by combin-
ing interconnected GLMs and augmented GLMs, and inference can be
made in a single framework of the h-likelihood. For readers who want
a more detailed description of theories and algorithms on HGLMs and
on survival analysis, we suggest the monographs by Lee, Nelder, and
Pawitan (2017) and Ha, Jeong, and Lee (2017). This book shows how to
analyze examples in these two books using available R-packages and we
have also new examples.
INTRODUCTION 3

Linear model (Ch 2)

Linear mixed model Generalized linear model

(LMM, Ch 3) (GLM, Ch 2)

Factor analysis Generalized linear mixed Joint GLM (Ch 4) Multiple testing
Generalized linear model
(Ch 7) model (GLMM, Ch 4-5) including dispersion model with (Ch 10)
Generalized linear model including fixed effects
Gaussian random effects

Structural Hierarchical GLM

Equation Models (HGLM, Ch 2-5)
Generalized linear model including Gaussian
(SEM, Ch 7) and/or non-Gaussian random effects.
Dispersion can be modeled using fixed effects.

HGLMs with correlated Frailty HGLM (Ch 8)

random effects (Ch 5-6) HGLMs for survival analysis
including competing risk
Including spatial, temporal
models
correlations, splines, GAM.

Variable selection Double HGLM

(Ch 10) (DHGLM, Ch 6)
Ridge regression, LASSO, HGLM including dispersion model
and extensions with both fixed and random effects

Multivariate DHGLM
(MDHGLM, Ch 7)
DHGLM including outcomes from
several distributions

Double SEM Joint model

(Ch 7) (Ch 9)

Figure 1.1 A map describing the development of HGLMs.

 4

Table 1.1 Model classes presented in the book including chapter number and available R packages
Model Class R package Developer Chapter
GLM glm() function 2
Nelder and Wedderburn (1972) dhglm Lee and Noh (2016)
Joint GLM (Nelder and Lee, 1991) dhglm Lee and Noh (2016) 4
GLMM dhglm Lee and Noh (2016) 4, 5
Breslow and Clayton (1993) lme4 Bates and Maechler (2009)
hglm Alam et al. (2015)
HGLM dhglm Lee and Noh (2016) 2,3,4,5
Lee and Nelder (1996) hglm Alam et al. (2015)
Spatial HGLM dhglm Lee and Noh (2016) 5
Lee and Nelder (2001b) spaMM Rousset et al. (2016)
DHGLM (Lee and Nelder, 2006; Noh and Lee, 2017) dhglm Lee and Noh (2016) 6
Multivariate DHGLM mdhglm Lee, Molas, and Noh (2016b) 7
Lee, Molas, and Noh (2016a) mixAK Komarek (2015)
Lee, Nelder, and Pawitan (2017) mmm Asar and Ilk (2014)
Frailty HGLM frailtyHL Ha et al. (2012) 8
Ha, Lee, and Song (2001) coxme Therneau (2015)
survival Therneau and Lumley (2015)
Joint DHGLM jointdhglm Ha, Lee, and Noh (2015) 8
Henderson et al. (2000) JM Rizopoulos (2015)
INTRODUCTION
MOTIVATING EXAMPLES 5
1.1 Motivating examples

GLMs, introduced in Chapter 2, have been widely used in practice, based

on classical likelihood theory. However, these models cannot handle re-
peatedly observed data, therefore various multivariate models have been
suggested. Among others, HGLMs are useful for the analysis of such
data. Using the following data examples from Lee, Nelder, and Pawitan
(2017) it is shown that the computationally intractable classical marginal
likelihood estimators can be obtained by using the Laplace approxima-
tion based on the h-likelihood for a Poisson model with random effects.
With the h-likelihood approach, inferences can be made for random ef-
fects and the analysis can be further developed by fitting a wider range of
models, which is not possible using only a classical marginal likelihood.

1.1.1 Epilepsy data

Thall and Vail (1990) presented longitudinal data from a clinical trial of
59 epileptics, who were randomized to a new drug or a placebo (T=1 or
T=0). Baseline data were available at the start of the trial; the trial in-
cluded the logarithm of the average number of epileptic seizures recorded
in the 8-week period preceding the trial (B), the logarithm of age (A),
and number of clinic visit (V: a linear trend, coded (-3,-1,1,3)). A multi-
variate response variable (y) consists of the seizure counts during 2-week
periods before each of four visits to the clinic.
The data can be retrieved from the R package dhglm (see R code at the
end of the chapter). It is a good idea at this stage to have a look at
and get acquainted with the data. From the boxplot of the number of
seizures (Figure 1.2) there is no clear difference between the two treat-
ment groups. In Figure 1.3 the number of seizures per visit are plotted
for each patient, where the lines in this spaghetti plot indicate longi-
tudinal patient effects. Investigate the data further before running the
models below.
A simple first preliminary analysis could be to analyze the data (ignoring
that there are repeated measurements on each patient) with a GLM
having a Poisson distributed response using the R function glm. Let yij
be the corresponding response variable for patient i(= 1, · · · , 59) and
visit j(= 1, · · · , 4). We consider a Poisson GLM with log-link function
modeled as
log(µij ) = β0 + xBi βB + xTi βT + xAi βA + xVj βV + xBi Ti βBT , (1.1)
where β0 , βB , βT , βA , βV , and βBT are fixed effects for the intercept,
6 INTRODUCTION

4
log(Seizure counts + 1)

3
2
1
0

0 1

Treatment

Figure 1.2 Boxplot of the logarithm of seizure counts (new drug = 1, placebo
= 0).

logarithm of number of seizures preceding the trial (B), treatment (drug

T=1, placebo T=0), logarithm of patient age (A), order of visit (V) and
interaction effect (B:T). The glm function returns the following output

Call:
glm(formula=y~B+T+A+B:T+V,family=poisson(link=log),
data=epilepsy)
MOTIVATING EXAMPLES 7

5
log(Seizure counts + 1)

4
3
2
1
0

1 2 3 4 5 6 7

Visit

Figure 1.3 Number of seizures per visit for each patient. There are 59 patients
and each line shows the logarithm of seizure counts + 1 for each patient.

Deviance Residuals:
Min 1Q Median 3Q Max
-5.0677 -1.4468 -0.2655 0.8164 11.1387

Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -2.79763 0.40729 -6.869 6.47e-12 ***
8 INTRODUCTION
B 0.94952 0.04356 21.797 < 2e-16 ***
T -1.34112 0.15674 -8.556 < 2e-16 ***
A 0.89705 0.11644 7.704 1.32e-14 ***
V -0.02936 0.01014 -2.895 0.00379 **
B:T 0.56223 0.06350 8.855 < 2e-16 ***
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1

(Dispersion parameter for poisson family taken to be 1)

Null deviance: 2521.8 on 235 degrees of freedom

Residual deviance: 869.9 on 230 degrees of freedom
AIC: 1647.9

Number of Fisher Scoring iterations: 5

The output indicates that there is severe over-dispersion, because the

residual deviance (869.9) largely exceeds the degrees of freedom (230).
The over-dispersion could be due to the fact that we have not modeled
the repeated measurements or due to some unobserved effect affecting
the dispersion directly. We will discuss more on over-dispersion in Section
4.1.1.
There are repeated observations on each patient and therefore includ-
ing patient as a random effect in a GLMM is necessary. For yij given
random effects vi , we consider a Poisson distribution as the conditional
distribution:
E(yij |vi ) = µij and var(yij |vi ) = µij .
with log-link function modeled as
log(µij ) = β0 + xBi βB + xTi βT + xAi βA + xVj βV + xBi Ti βBT + vi , (1.2)
where vi ∼ N(0, λ).
Likelihood inferences are possible in a classical frequentist framework
using the glmer function in the R package lme4.

Family: poisson ( log )

Formula: y ~ B + T + A + B:T + V + (1 | patient)
Data: epilepsy

AIC BIC logLik deviance df.resid

1345.3 1369.5 -665.6 1331.3 229
MOTIVATING EXAMPLES 9
Scaled residuals:
Min 1Q Median 3Q Max
-3.2832 -0.8875 -0.0842 0.6415 7.2819

Random effects:
Groups Name Variance Std.Dev.
patient (Intercept) 0.2515 0.5015
Number of obs: 236, groups: patient, 59

Fixed effects:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -1.37817 1.17746 -1.170 0.24181
B 0.88442 0.13075 6.764 1.34e-11 ***
T -0.93291 0.39883 -2.339 0.01933 *
A 0.48450 0.34584 1.401 0.16123
V -0.02936 0.01009 -2.910 0.00362 **
B:T 0.33827 0.20247 1.671 0.09477 .

The output gives a variance for the random patient effect equal to 0.25.
In GLMMs the random effects are always assumed normally distributed.
The same model can be fitted within the h-likelihood framework using
the R package hglm, which gives the output (essential parts of the output
shown):

Call:
hglm2.formula(meanmodel=y~B+T+A+B:T+V+(1|patient),
data=epilepsy,family=poisson(link = log), fix.disp = 1)

----------
MEAN MODEL
----------

Summary of the fixed effects estimates:

Estimate Std. Error t-value Pr(>|t|)

(Intercept) -1.29517 1.22155 -1.060 0.29040
B 0.87197 0.13590 6.416 1.13e-09 ***
T -0.91685 0.41292 -2.220 0.02760 *
A 0.47184 0.35878 1.315 0.19008
V -0.02936 0.01014 -2.895 0.00425 **
B:T 0.33137 0.21015 1.577 0.11654
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
Note: P-values are based on 186 degrees of freedom
10 INTRODUCTION

----------------
DISPERSION MODEL
----------------

Dispersion parameter for the random effects:

[1] 0.2747

The output gives a variance for the random patient effect equal to 0.27,
similar to the lme4 package. In Chapter 4, we compare similarities and
difference between HGLM estimates and lme4. Unlike the lme4 package,
however, it is also possible to add non-Gaussian random effects to further
model the over-dispersion. However, with the marginal-likelihood infer-
ences, subject-specific inferences cannot be made. For subject-specific
inferences, we need to estimate random patient effects vi via the h-
likelihood.
With dhglm package it is possible to allow different distribution for dif-
ferent random effects. For example, in the previous GLMM, a gamma
distributed random effect can be included for each observation, which
gives a conditional distribution of the response that can be shown to
be negative binomial, while patient effects are modeled as normally dis-
tributed:
E(yij |vi , vij ) = µij and var(yij |vi ) = µij .
with log-link function modeled as
log(µij ) = β0 + xBi βB + xTi βT + xAi βA + xVj βV + xBi Ti βBT + vi + vij ,
(1.3)
where vi ∼ N(0, λ1 ), uij = exp(vij ) ∼ G(λ2 ) and G(λ2 ) is a gamma
distribution with E(uij ) = 1 and var(uij ) = λ2 . Then, this model is
equivalent to the negative binomial HGLM such that the conditional
distribution of yij |vi is the negative binomial distribution with the prob-
ability function
  !yij !1/λ2
yij + 1/λ2 − 1 λ2 1 ∗y
µij ij ,
1/λ2 − 1 1 + µ∗ij λ2 1 + µ∗ij λ2

where µ∗ij = E(yij |vi ) = µ0ij ui and ui = exp(vi ).

Call:
hglm2.formula(meanmodel=y~B+T+A+B:T+V+(1|id)+
(1|patient),data=epilepsy,family=poisson(link=log),
rand.family=list(Gamma(link=log),gaussian()),
fix.disp = 1)
MOTIVATING EXAMPLES 11
----------
MEAN MODEL
----------

Summary of the fixed effects estimates:

Estimate Std. Error t-value Pr(>|t|)

(Intercept) -1.27757 1.21959 -1.048 0.2971
B 0.87262 0.13560 6.435 3.01e-09 ***
T -0.91389 0.41202 -2.218 0.0285 *
A 0.46674 0.35827 1.303 0.1953
V -0.02652 0.01633 -1.624 0.1072
B:T 0.32983 0.20966 1.573 0.1184
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
Note: P-values are based on 114 degrees of freedom

----------------
DISPERSION MODEL
----------------

Dispersion parameter for the random effects:

[1] 0.1258 0.2430

The variance component for the random patient effect is now 0.24 with
additional saturated random effects picking up some of the over-disper-
sion. By adding gamma saturated random effects we can model over-
dispersion (extra Poisson variation). The example shows how modeling
with GLMMs can be further extended using HGLMs. This can be viewed
as an extension of Poisson GLMMs to negative-binomial GLMMs, where
repeated observations on each patient follow the negative-binomial dis-
tribution rather than the Poisson distribution.
Dispersion modeling is an important, but often challenging task in statis-
tics. Even for simple models without random effects, iterative algorithms
are needed to compute maximum likelihood (ML) estimates. An example
is the heteroscedastic linear model

y ∼ N(Xβ, exp(X d β d ))

which requires the restricted maximum likelihood (REML) for unbiased

estimation of fixed effects in the variance, β d . Not surprisingly, esti-
mation becomes even more challenging for models that include random
12 INTRODUCTION

Histogram of Litter Size

0
~
>-
"'c
(!)
0
0
ro
::l
0'"
(!) 0
La:: 0
v

1 2 3 4 5 6 7 8 9 11 13 15 17 19 21

Litter Size

Histogram of Observations per Sow

0
0
v

>-
"'c
(!)
0
0
ro
::J
0"
~ 0
LL
~

2 3 4 5 6 7 8 9

Observation per Sow

Figure 1.4 Distributions of observed litter sizes and the number of observations
per sow.

effects, especially correlated random effects, but with double hierarchi-

cal generalized linear models (DHGLM) the problem becomes rather
straightforward (Lee and Nelder, 2006; Lee, Nelder, and Pawitan, 2017).

1.1.2 An animal breeding study

An important field of application for random effect estimation is animal

breeding where the animals are ranked by their genetic potential given
by the estimated random effects in a linear mixed model
y = Xβ + Za + e.
MOTIVATING EXAMPLES 13
The outcome y can for instance be litter size in pigs or milk yield in dairy
cows, and the random effects a ∼ N(0, σa2 A) have a correlation matrix
A computed from pedigree information (see e.g., Chapter 17 of Pawi-
tan (2001)). The ranking is based on the best linear unbiased predictor
(BLUP) â, referred to as “estimated breeding values” (for the mean),
and by selecting animals with high estimated breeding values the mean
of the response variable is increased for each generation of selection.

The model traditionally also assumes homoscedastic residuals,

e ∼ N(0, σe2 I),
but there is a concern from the animal breeding industry that the resid-
ual variance might increase with selection. Therefore, a model includ-
ing a heterogeneous residual variance has been suggested (Sorensen and
Waagepetersen, 2003) with residuals distributed as
e ∼ N(0, exp(X d β d + Z d ad )) (1.4)
Here ad ∼ N(0, σd2 A), and âd are estimated breeding values for the
variance. The uniformity of a trait can be increased in a population by
selecting animals with low estimated breeding values for the variance.
Hence, it is desirable to have animals with large a but small ad . To
implement this we often estimate cor(a, ad ). If it is negative we can select
on animals with large a to reduce ad and estimation of ad can be ignored.
However, if the correlation is positive we need to select specific animals
that have large â but small âd . Thus, we need estimation methods for
both a and ad .
By implementing a DHGLM using sparse matrix techniques (Rönnegård
et al., 2010; Felleki et al., 2012) the estimation for this model becomes
very fast even for a large number of observations and a large number
of levels in the random effects. In Felleki et al. (2012), the model was
fitted on data from 4,149 related sows having in total over 10,000 obser-
vations on litter size; see Figure 1.4. The computation time was reduced
from days using MCMC, where several papers have been devoted to the
computational issues of this problem (Waagepetersen et al., 2008; Ibanez
et al., 2010) to a few minutes using DHGLM. In Rönnegård et al. (2013),
a DHGLM was also used to estimate variance components and breed-
ing values in a very large dataset for 177,411 related Swedish Holstein
cows having a total of 1,693,154 observations on milk yield. Hence, the
h-likelihood framework opens up completely new possibilities for analy-
sis of large data. 2

A possible future Bayesian alternative for this kind of application might

14 INTRODUCTION
be the use of Integrated Nested Laplace Approximations (INLA) (Rue
et al., 2009) for fast deterministic computation of posterior distributions
in a Bayesian context. At the time of writing, however, this possibility
has not been implemented in the INLA software (www.r-inla.org) due
to the complexity of extending the computations in the INLA software
to include advanced dispersion modeling, which further highlights the
simplicity and power of the h-likelihood approach.

1.2 Regarding criticisms of the h-likelihood

Likelihood is used both in the frequentist and Bayesian worlds and it has
been the central concept for almost a centry in statistical modeling and
inference. However, likelihood and frequentists cannot make inference
for random unknowns whereas Bayesian does not make inference of fixed
unknowns. The h-likelihood aims to allow inferences for both fixed and
random unknowns and could cover both worlds (Figure 1.5).
The concept of the h-likelihood has received criticism since the first pub-
lication of Lee and Nelder (1996). Partly the criticism has been motivated
because the theory in Lee and Nelder (1996) was not fully developed.
However, these question marks have been clarified in later papers by Lee,
Nelder and co-workers. One of the main concerns in the 1990’s was the
similarity with penalized quasi-likelihood (PQL) for GLMMs of Breslow
and Clayton (1993), which has large biases for binary data. PQL estima-
tion for GLMMs is implemented in e.g., the R package glmmPQL. Early
h-likelihood methodology was criticized because of non-ignorable biases
in binary data. These biases in binary data can be eliminated by im-
proved approximations of the marginal likelihood through higher-order
Laplace approximations (Lee, Nelder, and Pawitan, 2017).
Meng (2009, 2010) established Bartlett-like identities for h-likelihood.
That is, the score for parameters and unobservables has zero expecta-
tion, and the variance of the score is the expected negative Hessian under
easily verifiable conditions. However, Meng noted difficulties in infer-
ences about unobservables: neither the consistency nor the asymptotic
normality for parameter estimation generally holds for unobservables.
Thus, Meng (2009, 2010) conjectured that an attempt to make proba-
bility statements about unobservables without using a prior would be
in vain. Paik et al. (2015) studied the summarizability of h-likelihood
estimators and Lee and Kim (2016) showed how to make probability
statements about unobservables in general without assuming a prior as
we shall see.
The h-likelihood approach is a genuine approach based on the extended
REGARDING CRITICISMS OF THE H-LIKELIHOOD 15
likelihood principle. This likelihood principle is mathematical theory so
there should be no controversy on its validity. However, it does not tell
how to use the extended likelihood for statistical inference. Another im-
portant question, that has been asked and answered, is: For which family
of models can the joint maximization of the h-likelihood be applied on?
This is a motivated question since there are numerous examples where
joint maximization of an extended likelihood containing both fixed ef-
fects β and random effects v gives nonsense estimates (see Lee and Nelder
(2009). Such examples use the extended likelihood for joint maximiza-
tion of both β and v. If the h-likelihood h, defined in Chapter 2, is
jointly maximized for estimating both β and v, such nonsense estimates
disappear. However, consistent estimates for the fixed effect can only be
guaranteed for a rather limited class of models, including linear mixed
models and Poisson HGLMs having gamma random effects on a log scale.
Thus, as long as the marginal likelihood is used to estimate β and the h-
likelihood h is maximized to estimate the random effects these examples
do not give contradictory results.

In close connection to the development of the h-likelihood, terminol-

ogy has been used where a number of different likelihoods have been
referred to. Some are objective functions for approximate estimation of
GLM and GLMM, e.g., quasi-likelihood and extended quasi-likelihood,
whereas some are used to explain the connection to classical frequentist
inference and Bayesian inference, e.g., marginal likelihood and predictive
probability. Other terms are joint likelihood, extended likelihood, and
adjusted profile likelihood. For initiated statisticians acquainted with
GLM and mixed model terminology, these terms make sense. For an
uninitiated student, or researcher, the h-likelihood might seem simply
another addition to this long list of likelihoods, but the central part
that the h-likelihood plays in statistics is presented in the book. In later
chapters we also show that the h-likelihood is the fundamental likelihood
which the marginal and REML likelihoods, and predictive probabilities
are derived from.

Lee and Nelder have developed a series of papers to show the iterative
weighted least squares (IWLS) algorithm for GLMs can be extended to a
general class of models including HGLMs. It is computationally efficient
and therefore potentially very useful in statistical applications, to allow
analysis of more and more complex models (Figure 1.1). For linear mixed
models, there is nothing controversial about this algorithm because it can
be shown to give BLUP. Neither is it controversial for GLMs with ran-
dom effects in general, because the adjusted profile h-likelihoods (defined
in Chapter 2) simply are approximations of marginal and restricted like-
lihoods for estimating fixed effects and variance components, and as such
16 INTRODUCTION

H4it:e ihoodwottd

Figure 1.5 The h-likelihood world.

are easily acceptable for a frequentist. The h-likelihood is proportional

to a Bayesian posterior distribution for models including random effects
only with a flat prior, and as such is not controversial for a Bayesian
statistician. The concept of predictive probability can easily be accepted
both by Bayesians and frequentists (Lee and Kim, 2016). It allows both
Bayesian credible interval and frequentist confidence interval interpre-
tations. Consequently, the h-likelihood approach attempts to combine
the two worlds of frequentist and Bayesian statistics, which might be
controversial to some. The aim of this book, however, is to put these
controversies aside and to highlight the computational and inferential
advantages that the h-likelihood method can give.

1.3 R code

library(dhglm)
data(epilepsy)
model1 <- glm(y~B+T+A+B:T+V,family=poisson(link=log),
data=epilepsy)
summary(model1)

library(lme4)
model2 <- glmer(y~B+T+A+B:T+V+(1|patient),
family=poisson(link=log),data=epilepsy)
summary(model2)
EXERCISES 17
library(hglm)
model3 <- hglm2(y~B+T+A+B:T+V+(1|patient),
family=poisson(link=log),
fix.disp=1, data=epilepsy)

# The option fix.disp=1

# holds the dispersion parameter constant,
# since the dispersion parameter is 1
# for a Poisson distribution.
# In later examples,
# we will see that the dispersion can be modeled
# in the hglm function,
# which is not possible in lme4 functions.

model4 <- hglm2(y~B+T+A+B:T+V+(1|id)+(1|patient),

family=poisson(link=log),
rand.family=list(Gamma(link=log),gaussian()),
fix.disp=1, data=epilepsy)
summary(model4)

1.4 Exercises

1. Get acquainted with the model checking plots available in the hglm
package by fitting a Gaussian distribution to the epileptic seizure count
data. (This is highly inappropriate but we do it for the sake of the
exercise.)
The model checking plots are produced with the command
plot(hglm.object) where hglm.object is the fitted model using hglm.
The QQ-plot for the residuals are found in the figure with heading Mean
Model Deviances and the QQ-plot for the random effects are found in
the figure with heading Random1 Deviances.
Compare these two QQ-plots to the ones from the Poisson GLMM (i.e.,
model3 in the text). Which model seems to be the most suitable one?
 CHAPTER 2

GLMs via iterative weighted least

squares

Before moving on to the HGLM class of models the basic concepts of

GLMs are introduced. Five components specify a GLM (Box 1):
i) the response y,
ii) the linear predictor η = Xβ,
iii) the distribution of y,
iv) the link function g(µ) = η with µ = E(y), and
v) a prior weight 1/φ (used in IWLS and will be explained later).
Before the 1970s numerous regression methods were used, including Pois-
son regression, logistic regression and probit regression. Each regression
model required a unique estimation algorithm by maximizing the specific
likelihood for that model.
Nelder and Wedderburn (1972) showed that these regression methods
could be unified under the GLM framework and that IWLS could be
used for estimation. GLMs capture all regression models where fθ (y)
belongs to the exponential family of distributions, and the user merely
needs to specify the five components of a GLM.
In the following examples, model-checking plots are used and quantities
such as deviance residuals and hat values are introduced (defined in
Sections 2.5 and 2.6).

2.1 Examples

2.1.1 Snoring and heart disease data

Agresti (2007) presented the data in Table 2.1 on an epidemiological

survey of 2,484 subjects to investigate snoring as a possible risk factor
for heart disease. The subjects were classified according to their snoring

19
20 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES
level x, as reported by their spouses. We use scores (0, 2, 4, 5) for x.
The response variable “yes” is the number of heart disease cases and the
variable “no” is the number of non-case.

Box 1: GLM class of models

In a GLM, the response y follows a distribution from the exponen-
tial family of distributions (including normal, binomial, Poisson,
and gamma), and its expectation is modeled as
E(y) = µ.
There is a link function g(·) connecting µ with Xβ such that

g(µ) = Xβ.
The variance of y is a function of µ. Take a Poisson distribution,
for instance, the variance of y is equal to the mean µ. This rela-
tionship between the mean and the variance depends directly on
the assumed distribution of y. Thus, for all GLMs, the variance
of y is the product of a variance function V (µ) and a dispersion
parameter φ. With m being the binomial denominator, we have
the following variances and variance functions, V (µ).

Variance of y V (µ)
Normal φ 1
Poisson µ µ
Gamma φµ2 µ2
Binomial µ(m − µ)/m µ(m − µ)/m

For the Poisson and binomial distributions φ = 1, whereas for

normal and gamma φ is a parameter to be estimated. For the
normal distribution φ is simply the residual variance.

For modeling proportion of heart disease cases (p), we fit a logistic re-
gression model as below,

 
p
log = α + βx.
1−p

We run the GLM by using the R function glm and from the output
we see that snoring level is a significant risk factor for heart disease. In
glm, the null deviance is the scaled deviance for intercept-only model
and the scaled deviance for proposed model is called residual deviance.
EXAMPLES 21
The difference of two-scaled deviance 63.10 is very significant with 1
degree of freedom, so that the snoring level x is significant. Since the
scaled deviance of the current model is 2.8 with degrees of freedom 2 (p-
value=0.25), we conclude that there is no lack of fit in using the logistic
regression model.

Table 2.1 Snoring and heart disease data

Heart Disease
Snoring x yes no
Never 0 24 1355
Occasional 2 35 603
Nearly every night 4 21 192
Every night 5 30 224

Call:
glm(formula = cbind(yes, no) ~ x, family = binomial)

Deviance Residuals:
1 2 3 4
-0.8346 1.2521 0.2758 -0.6845

Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -3.86625 0.16621 -23.261 < 2e-16 ***
x 0.39734 0.05001 7.945 1.94e-15 ***
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 65.9045 on 3 degrees of freedom

Residual deviance: 2.8089 on 2 degrees of freedom
AIC: 27.061

Number of Fisher Scoring iterations: 4

22 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES
2.1.2 Train accident data

Consider the train accident data in the UK between 1975 and 2003
(Agresti, 2007). Let µ denote the expected value of the number of train-
related accidents y which are annual number of collisions between trains
and road vehicles, for t million kilometers of train travel. The data is
plotted in Figure 2.1.
To allow for a linear trend over time, we consider the following Poisson
GLM for response y with covariate x (=number of years since 1975) and
offset log(t).

log(µ) = log(t) + α + βx.

Since the scaled deviance is 37.9 with 27 degrees of freedom (p-value=0.08;

marginally significant), there is no lack of fit at a significant level 0.05.

Call:
glm(formula = y ~ x, family = poisson, offset = log(t))

Deviance Residuals:
Min 1Q Median 3Q Max
-2.0580 -0.7825 -0.0826 0.3775 3.3873

Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -4.21142 0.15892 -26.50 < 2e-16 ***
x -0.03292 0.01076 -3.06 0.00222 **
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1

(Dispersion parameter for poisson family taken to be 1)

Null deviance: 47.376 on 28 degrees of freedom

Residual deviance: 37.853 on 27 degrees of freedom
AIC: 133.52

Number of Fisher Scoring iterations: 5

We apply the model-checking plots of Lee and Nelder (1998) for GLMs as
shown in Figure 2.2. Two plots are used; the plot of studentized residuals
against fitted values on the constant information scale (Nelder, 1990),
and the plot of absolute residuals similarly. For a satisfactory model these
two plots should show running means that are approximately straight
EXAMPLES 23

x
−3.5
x
log(Annual number of collisions per million km)

−4.0

x
x
x
x
x
−4.5

x x x x x x
x x x
x
x
−5.0

x x x

x x x x x x
−5.5

x
−6.0

0 5 10 15 20 25

Years since 1975

Figure 2.1 Annual number of collisions between trains and road vehicles per
million km for the years 1975–2003.

and flat. If there is marked curvature in the first plot, this indicates either
an unsatisfactory link function or missing terms in the linear predictor,
or both. If the first plot is satisfactory, the second plot may be used to
check the choice of variance function for the distributional assumption.
If, for example, the second plot shows a marked downward trend, this
implies that the residuals are falling in absolute value as the mean in-
creases, i.e., that the assumed variance function is increasing too rapidly
with the mean. In a normal probability plot, ordered values of residuals
are plotted against the expected order statistics of the standard normal
sample. In the absence of outliers this plot is approximately linear. We
also use the histogram of residuals. If the distributional assumption is
correct, it shows symmetry provided the deviance residual is the best
normalizing transformation.
24 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES

Residuals vs. Fitted Residuals vs. Fitted

3.0
|Studentized Residual|
Studentized Residual

2.0
1
0

1.0
−1
−2

0.0
1.2 1.4 1.6 1.8 1.2 1.4 1.6 1.8

scaled fitted values scaled fitted values

Normal Probability Plot Histogram of Student Residual

10
3
Sample Quantiles

8
Frequency
1

6
0

4
−1

2
−2

−2 −1 0 1 2 −3 −2 −1 0 1 2 3 4

Theoretical Quantiles Student Residual

Figure 2.2 Normal probability plot for the train accident data under a Poisson
GLM.

The normal probability plot in Figure 2.2 shows that there exist two
outliers (y=12, 13 for year=1976, 1986). The average accident ȳ is 4.2,
so that 1976 and 1986 have large number of train accidents, which cannot
be explained as a Poisson-variation. In Chapter 5, we will show how these
data could be more appropriately modeled using an HGLM.

2.1.3 Epilepsy data continued

As an example consider the epileptic seizure count data again. Fitting

the data assuming a normal distribution ought to be an inappropriate
model since we have count data, which we also can see from the normal
QQ-plot of the deviance residuals (Figure 2.3).
Modeling the data as Poisson distributed is a better idea but still the
residual plot indicates some problems (Figure 2.4), which is expected
because there are repeated observations on each patient that needs to
be modeled as well.
The hat values for the Poisson model can easily be plotted in R. Four
observations show considerably higher values than the rest (Figure 2.5)
and therefore should be investigated further.
R CODE 25

Normal Q−Q
8

193

99
6
Std. deviance resid.

195
4
2
0
−2

−3 −2 −1 0 1 2 3

Theoretical Quantiles
glm(y ~ B + T + A + T * B + V)

Figure 2.3 Normal-probability plot of deviance residuals under a normal GLM

for the epileptic seizure data.

2.2 R code

Snoring and heart data

yes <- c(24, 35, 21, 30)

no <- c(1355, 603, 192, 224)
x <- c(0, 2, 4, 5)
snoring <- glm(cbind(yes,no) ~ x, family=binomial)
26 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES

Normal Q−Q

99

10 222
Std. deviance resid.

223
5
0
−5

−3 −2 −1 0 1 2 3

Theoretical Quantiles
glm(y ~ B + T + A + T * B + V)

Figure 2.4 Normal-probability plot of deviance residuals under a Poisson GLM

for the epileptic seizure data.
0.25
0.20
hat values (model1)

0.15
0.10
0.05
0.00

0 50 100 150 200

Index

Figure 2.5 Hat values under a Poisson GLM for the epileptic seizure count
data.
R CODE 27
Train accident data

x <- rep(1975:2003)-1975
y<-c(2,12,8,4,3,2,2,3,7,3,5,13,
6,4,4,2,6,4,4,4,2,2,1,4,2,3,4,3,3)
t<-c(436,426,425,430,426,430,
417,372,401,389,418,414,397,443,436,
431,439,430,425,415,423,437,463,487,
505,503,508,516,518)
trainres1 <- glm( y~ x, family=poisson, offset=log(t))
## This can be available at mdhglm package
## data(train,package="mdhglm")

# model checking plot

train<-data.frame(cbind(x,y,t))

model_mu<-DHGLMMODELING(Model="mean",Link="log",
LinPred=y~x, Offset=log(t))
model_phi<-DHGLMMODELING(Model="dispersion")

fit<-dhglmfit(RespDist="poisson",DataMain=train,
MeanModel=model_mu,DispersionModel=model_phi)
plotdhglm(fit)

# Poisson GLM without two outliers

x1 <- x[c(-2,-12)]
y1 <- y[c(-2,-12)]
t1 <- t[c(-2,-12)]
trainres2 <- glm(y1~x1, family=poisson, offset=log(t1))

train2<-data.frame(cbind(x1,y1,t1))
model_mu<-DHGLMMODELING(Model="mean",Link="log",
LinPred=y1~x1, Offset=log(t1))
model_phi<-DHGLMMODELING(Model="dispersion")

fit2<-dhglmfit(RespDist="poisson",DataMain=train2,
MeanModel=model_mu,DispersionModel=model_phi)
plotdhglm(fit2)

Epilepsy data (model-checking plots)

data(epilepsy, package="dhglm")
model0 <- glm(y ~ B + T + A + B:T + V, family=gaussian,
28 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES
data=epilepsy)
plot(model0, which=2)

model1 <- glm(y~B+T+A+T*B+V, family=poisson(link=log),

data=epilepsy)
plot(model1, which=2)
plot(hatvalues(model1))

2.3 Fisher’s classical likelihood

Consider a simple linear model

y = Xβ + e (2.1)
where y is the response, X is a design matrix, β is a vector of fixed
effects and e is the residual assumed to be identically and independently
distributed (i.i.d.) from a normal distribution with a common residual
variance, say φ.
Linear models and GLMs have two kinds of parameters: (1) mean struc-
ture parameters, β, often called regression or fixed effects parameters
and (2) dispersion parameters, denoted by φ.
The statistical model (2.1) describes how the responses y are generated
and explains how the population of interest is constructed. For statistical
inferences we want to draw useful scientific conclusions about unknowns,
assuming the statistical model on the observed data y is true. Thus,
model checking is important for the validity of inferences because the
data generation model is assumed to be true. For the model checking
the fitted residuals ê can be used. The distribution of the residuals can
be checked because ê is a consistent estimator of e.

2.3.1 Fisher’s classical likelihood

A solution to inference for any fixed unknowns, say θ, was proposed

by Fisher (1922). Fisher developed a likelihood theory, expressing the
probability to observe the data as a function of the parameter value. To
grasp Fisher’s basic idea, consider a classical statistical model, consisting
of two types of objects, data y and parameter θ, and two related pro-
cesses on them: a stochastic model describing the data generation and a
statistical model for parameter inference. The two processes are defined
as:
FISHER’S CLASSICAL LIKELIHOOD 29
• Stochastic Model: Generate an instance of the data y from a prob-
ability function with fixed parameters θ
fθ (y).

• Statistical Inference: Given the data y, make an inference about

unknown fixed θ in the stochastic model by using the likelihood
L(θ; y).
The connection between these two processes is:
L(θ; y) ≡ fθ (y),
where L and f are algebraically identical, but on the left-hand side
y is fixed while θ varies and on the right-hand side θ is fixed while y
varies.

The notation used for the likelihood here is that the parameters and data
are separated by a semicolon, i.e., L(parameter; data), where the data
are an observed response y. Furthermore, in the probability function
fθ (data), θ denotes the fixed unknown parameters and the data are an
observed response y. Here θ will be used generically denoting any kind
of unknown fixed parameter.

2.3.2 Bayesian approach

For the regression model 2.1, θ = (β, φ) were fixed unknown parameters.
A full Bayesian approach requires specification of a prior distribution
π(θ) pretending all parameters are random. The advantage is that a full
probabilistic framework can be used and inference can be directly made
from the posterior distribution
p(θ|y) ∝ p(y|θ)π(θ), (2.2)
where p(y|θ) ≡ fθ (y). Here p(y|θ) is the model specification, while π(θ)
is not part of the model specification but is necessary to obtain the
posterior. Bayesian often wants to fit the entire distribution p(θ|y) and
use MCMC techniques. In machine learning, the penalty is a function of
π(θ) and the resulting objective function is called a penalized likelihood.
The mode estimator for (2.2) is called a penalized least squares estimate
(more generally, penalized maximum likelihood estimate).
An informative prior will shrink the estimates β̂ toward the center of
the prior distribution in a similar fashion as random effects in mixed
linear models where the shrinkage depends on the specified distribution
of the random effects. Note however that the prior distribution in the
30 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES
Bayesian approach is not a part of the model while the distribution of
random effects in linear mixed models is an essential part of the model
specification to describe correlations among responses. Thus, we may
view penalized ML estimators as the use of h-likelihood estimators but
where the true model has fixed unknowns. Shrinkage of the h-likelihood
estimation can be viewed as regularization of fixed parameter estimates
by the penalty.
In the remaining chapter, we study how to have ML procedures for
GLMs. We study penalized maximum likelihood estimation in Chapter
10.

2.4 Iterative weighted least squares

2.4.1 Linear model

Consider a linear model

y = Xβ + e

e = y − Xβ ∼ N(0, φI)

By minimizing the least squares

eT e = (y − Xβ)T (y − Xβ)
we have the least square estimator
β̂ = (X T X)−1 X T y.
Unbiased estimator for φ is
1
φ̂ = êT ê
n−p
using residuals
ê = (y − X β̂)
and p is the number of parameters in β, which is the REML estimator.
The variance estimator of β̂ is
φ̂(X T X)−1

2.4.2 Generalized linear model

GLM extends the linear model to the exponential family of distributions.

Since explicit expressions for ML estimators are not usually available,
ITERATIVE WEIGHTED LEAST SQUARES 31

Table 2.2 Deviance components for some common distributions

Distribution Deviance component
Normal (yi − µ̂i )2
Poisson 2[yi log(yi /µ̂i ) − (yi − µ̂i )]
Binomial 2[yi log(yi /µ̂i ) + (mi − yi ) log{(mi − yi )/(mi − µ̂i }]
Gamma 2[− log(yi /µ̂i ) + (yi − µ̂i )/µ̂i ]
mi is the number of trials for the ith observation in the binomial distribution.

they must be calculated iteratively, known as iterative weighted least

squares (IWLS), which will be disussed later in this section..
The (unscaled) deviance D, a measure of model fit, is proportional to
the log likelihood-ratio statistic
D = 2φ[l(y; y) − l(µ; y)]
where ` = l(µ; y) = log L(µ; y) is the log likelihood for the fitted model
and l(y; y) = l(µ; y)|µ=y . The deviance can be expressed as a sum of
unscaled deviance components
X
D= di
one for each ith observation. The expression of these deviance compo-
nents for the GLM family of distributions are found in Table 2.2.
Note that in a normal linear model di = (yi −µi )2 = e2i so that the sum of
error squares becomes eT e = D. This means the least square estimator
in linear models is the maximum likelihood estimator in GLMs which
maximizes l(µ; y). So, the deviance D can be viewed as an extension of
the error sum of squares to the class of GLM models.
The ML estimator of the regression parameters is
β̂ = (X T Σ−1 X)−1 X T Σ−1 s,
where Σ = φW −1 , W is a diagonal weight matrix, whose ith element is
defined as
 2
dµi 1
Wi = ,
dηi V (µi )
V (µ) is the GLM variance function specifying the part of the variance
of y that depends on µ, and s is the adjusted dependent variate which
is a linearization of g(y) around µ, with
∂g(µ)
s = η + (y − µ) .
∂µ
32 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES
In an IWLS algorithm 1/φ plays the part of prior weight. Furthermore,
the variance of the estimator β is
(X T Σ−1 X)−1 = φ(X T W X)−1 .

The linear model has an explicit solution for β̂ that does not require
an iterative procedure, whereas GLMs in general require iteration. Take
Poisson regression with a log link function for instance,
log(µ) = Xβ.
The IWLS works as follows

1. Specify a starting value for β, say β (0) .

2. Compute η (0) = Xβ (0) and µ(0) = exp(η (0) ).
3. Compute s. For the log link we have
1
s = η (0) + (y − µ(0) ) .
µ(0)
4. Fit the linear regression model
s = Xβ + e.
Here the residual variance is 1/µ because
 
y−µ var(y)
var(s) = var = .
µ µ2
Thus, the model can be fitted as a weighted least squares (WLS)
X T W X β̂ = X T W s
where W = diag(µ) for the Poisson model with log link. Let β (1) be
the estimates of β from this WLS.
5. Go to 2. replacing β (0) by β (1) and repeat until convergence.
6. After convergence report β̂ and
var(β̂) = (X T W X)−1 ;
φ does not appear in these computations because φ = 1 in Poisson
models. 2

Nelder and Wedderburn (1972) showed that this algorithm is identical

to the ML estimation procedure of Fisher scoring. Furthermore, the cur-
vature of the log-likelihood around the ML estimator is equal to the
log-likelihood curvature of the WLS model and consequently the stan-
dard errors are identical to those obtained by ML.
MODEL CHECKING USING RESIDUAL PLOTS 33
2.5 Model checking using residual plots

Birnbaum (1962) proved that the classical likelihood function contains

all the information in the observed data about the fixed parameter, pro-
vided that the assumed stochastic model is right. This means that to
make inferences about the true value of the fixed parameter using the
information only in the data, we need the likelihood function and noth-
ing else. However, this likelihood principle implies that the likelihood
captures all the information in the data for analyses, if the model is cor-
rect. Thus, we should check model assumptions to verify our analysis.
We can check various model assumptions by treating computed residu-
als as i.i.d. samples from a common distribution. Hence, their first two
moments should be the same if the assumed model is correct.
In linear models, the raw residuals ê = y − X β̂ can be used for model
checking. However, for GLM, in general, the variance of the raw residuals
is not constant over the range of response values and alternative resid-
uals are required for model checking. Consider standardized deviance
residuals defined as
p
rD,i = sign(yi − µ̂i ) di /φ
and alternatively, Pearson residuals
yi − µ̂i
rP,i = p .
φV (µ̂i )
In linear models, both residuals are identical. The sum of squared de-
viance residuals D∗ =
P 2
rD,i is the log likelihood-ratio statistic (the
scaled deviance in the dhglm P package and the residual deviance in the
glm() function), and P ∗ = rP,i 2
is the Pearson chi-squared statistic. In
linear models, D = P = eT e, so that both D and P can be considered an
extension of the sum of error squares in linear models to GLMs. However,
D gives an ML estimator for µ, while P cannot be used for estimation of
µ due to severe biases. If the model is appropriate, the (scaled) deviance
D∗ or Pearson chi-squared statistic are asymptotically Chi-squared dis-
tributed with n − p degrees of freedom. Thus, these statistics have been
used for the lack of fit test in GLMs.

2.6 Hat values

The hat matrix H is a matrix transforming the observations y to their

fitted values ŷ
ŷ = Hy.
34 GLMS VIA ITERATIVE WEIGHTED LEAST SQUARES
For a linear model y = Xβ + e, we have
H = X(X T X)−1 X T .

The diagonal elements of H are the hat values here denoted by qi . They
take values from 0 to 1 and indicate how much information there is in
the model for each observation, where low values show high information.
In general, GLMs have the hat matrix
H = X(X T W X)−1 X T W.
Studentized residuals adjust for the hat values and are obtained as
r r
√ D,i or √ P,i .
1 − qi 1 − qi

Deviance residuals are the best normalization transformation under the

GLM class of models (Pierce and Schafer, 2008). For the model checking
in this book we use studentized deviance residuals and it is reasonable to
assume that they are i.i.d. samples from the standard normal distribution
if the model is correctly specified.
The deviance residuals can be used to model the dispersion parameter
φ. Take a linear model for instance where
X X
E( ê2i ) = φ (1 − qi )
so that the unbiased estimator of the residual variance is
P 2 P 2
êi êi
φ̂ = P = .
(1 − qi ) n−p

Furthermore, in GLMs, we use the unscaled deviance to estimate the

dispersion parameter
P
di D
φ̂ = = .
n−p n−p

2.7 Exercises

1. Implement the IWLS algorithm given for the Poisson regression model
in the beginning of the chapter (Section 2.4.2) using the following re-
sponse, y, and explanatory variable, x.

y <- c(18,17,15,20,10,20,25,13,12)
x <- c(0.5, 0.5, 1, 0, 1, 0, 0, 1, 1)
EXERCISES 35
2. a) Compute the deviance components for the fitted model in Exercise
1 (using the formula for the Poisson distribution in Table 2.2.
b) Compute the standardized deviance residuals.
c) Check the distributional assumption of the model by plotting the
standardized deviance residuals in a QQ-plot.
3. Implement an IWLS algorithm for a gamma regression model with a
log link function and φ = 1. (You might find the table in Box 1 useful.)
Fit the same data as above.
4. Using the general health questionnaire score data available in the SMIR
package, fit a logistic GLM with the glm function in R (see Section 2.4.3
of Lee, Nelder, and Pawitan (2017) to check your results). The response
variable is case vs. non-case and the linear predictor is Constant + sex
+ ghq. Check whether it is reasonable to assume ghq to have a linear
effect or whether the ghq should be fitted as a factor.

data(ghq, package="SMIR")
# sex : men, women
# c : case
# nc: non-case
# ghq : general health questionair score

5. The ozone data (analyzed in Section 2.4.4 of Lee, Nelder, and Pawitan
(2017)) contains nine meteorological variables. Find a suitable distribu-
tion for ozone concentration as response and a suitable linear predictor
by comparing model checking plots and AIC for different GLMs.

data(ozone, package="mdhglm")
# y : ozone concentration
# x1 - x9 : nine meteorological variables
 CHAPTER 3

Inference for models with

unobservables

In Chapter 1, we introduced several HGLM examples and showed some

of the strengths of the h-likelihood approach. We illustrated that the h-
likelihood method (together with the associated software) can fit rather
complex models in an elegant manner. In contrast, classical likelihood
software may not be as flexible, whereas Bayesian MCMC approaches
allow fitting these models but at the expense of more computation time
and requires to assume priors for fixed parameters.

In this chapter we define the h-likelihood and provide insight to inference

and predictions based on the h-likelihood. We introduce the extended
likelihood principle underlying the h-likelihood framework and show how
it is related both to classical likelihood and Bayesian inference. Five
important points are made:

i) inference about random effects can be made using h-likelihood, while

classical likelihood cannot give any information about random effects,

ii) h-likelihood inference of random effects takes into account the un-
certainty in estimating the fixed effects, whereas empirical Bayes (EB)
estimation of random effects assumes known values of the fixed effects,

iii) model checking is possible for all parts of the model,

iv) all necessary inferential tools can be derived from the h-likelihood,

and

v) the h-likelihood can be used for predictions of unobserved random

variables such as future outcomes.

The use of model-checking plots and model selection for HGLMs are
introduced using the epilepsy seizure data and thereafter the theoretical
details are presented in the following sections.

37
Random documents with unrelated
content Scribd suggests to you:
 Pohjoiseen ja etelään, itään ja länteen pantiin viestit kiertämään,
että herra Svante Niilonpoika oli tullut ja tahtoi pitää maakäräjät
Tunan kirkkomäellä Taalain rahvaan kesken; oli saavuttava niin
monien kuin suinkin.

Ja he lähtivät, likipitäen mies talosta. Tämä asia koski kaikkia, ja

jokainen tahtoi, jollei sanoa sanaansa, niin ainakin kuulla mitä
päätettiin.

Melkein kaikissa suurpitäjissä oli Svante Niilonpoika tuttu

ennestään. Harvat olivat ne, jotka eivät olleet häntä nähneet tai
puhutelleet, ja jo se, että hän oli hengittänyt heidän kotoista
ilmaansa, ollut heidän tuvissaan, vaihtanut kädenlyöntejä heidän
kanssaan, herätti heimolaisuuden tunteen. Tuttavuus, niin
pinnallinen kuin se olikin, herätti luottamusta, ja jo edeltäpäin oltiin
valmiit tekemään hänelle niin suuria myönnytyksiä kuin mahdollista,
kun hän näet ensin puhuisi ja perustelisi asiansa.

Ja tuhansiin nousevan, tarkkaavaisesti kuuntelevan joukon

ympäröimänä teki ritari selkoa maan asemasta ja osoitti, kuinka
välttämätöntä oli kaikista Ruotsin maakunnista saada voimakasta
apua vihollisen hyökkäyksiä vastaan.

"Tanskan kuningas", sanoi hän, "aikoo yhä tehdä Ruotsin

alusmaakseen. Tiedätte hyvin, Taalain miehet, että hän on
taivuttanut Saksan keisarin kieltämään hansakaupungit tuomasta
meille suolaa ja muita elintarpeita ja samoin julistamaan minut ja
monet valtakunnan suurmiehistä valtiokiroukseen
majesteetinrikoksesta laillista kuningastamme vastaan. Eikä siinä
kyllin; hän levityttää vieraissa maissa mitä häpeällisimpiä valheita
jalosta herra Sten Sturesta, ja ne ruotsalaiset miehet, jotka ovat
palanneet Tanskan vankeudesta, tietävät kertoa lukemattomista
häväistyksistä, joita he ovat saaneet kärsiä."

"Niin, niin, se on totta! Tiedämme jo sen!" huudettiin monilta

tahoilta. "Kirous juuteille!"

"Tiedätte myös, että hän se liittoutumalla Venäjän suuriruhtinaan

kanssa sai meille aikaan sodan, joka maksoi monien ruotsalaisten ja
suomalaisten miesten hengen. Edelleen sitoutui hän luovuttamaan
suuria osia Suomesta armottomalle venäläiselle, kunhan ensin saisi
meidät lyödyksi ja kukistetuksi…"

Kulki kuin tuulispää kautta kokouksen, ja tapparat kohotettiin

uhkaavasti.

"Nyt hävittää ja polttaa tanskalainen rannikoltamme. Kalmarin

linnoitus on jo kauan ollut hänen vallassaan. Vastoin vakuutuksia ja
lupauksia valtasi kuningas kaupungin, ja meikäläiset ovat tähän asti
koettaneet turhaan valloittaa sitä takaisin. Urhoollisella tohtori
Hemming Gaddilla on ainoastaan vähäinen miesjoukko,
enimmäkseen saksalaisia ja skotteja, jotka taistelevat maksun
edestä, mutta kun he usein saavat hädintuskin palkkansa, on heidän
palvelusintonsakin sen mukainen."

"Miksei juutti tule tänne itse? Me menisimme häntä vastaan mies

talosta!" huusivat talonpojat.

"Niin, niin, sen tekisimme!" toistettiin kuorossa kaikilta tahoilta, ja

miehet pudistelivat toistensa kättä. "Luultavasti pitää hän sitä liian
uskaliaana, sentähden on hän lähettänyt neuvostolle kirjelmän, että
kunnes Ruotsin kansa tunnustaa hänet lailliseksi kuninkaakseen, on
hänelle suoritettava maaveroa."
 "Sen maksamme hänelle kelpo tapparoillamme!" huusivat
rahvaanmiehet.

"Sitä mieltä olen minäkin. Parempi on käyttää tämä vero vihollisen

karkoitukseen kuin antaa se petturille, jossa vaivalloisesti kootut
rahamme ainoastaan herättäisivät halun enempään, kunnes hän olisi
saanut perinpohjin imetyksi maan mehun ja ytimen, jolloin me
helposti joutuisimme hänen saaliikseen!"

"Hannu kuningas tuntee vähän Ruotsin kansaa, jos luulee meitä

peloittelevansa pöyhkein sanoin ja uhkauksin", sanoi kirkonisäntä
Petter Ulfinpoika. "Mutta sydämestämme kiitämme teitä, jalo herra,
kun olette itse tullut tänne ja sanonut, millainen asema on."

Ja pitäjäin arvokkaimmat miehet tulivat ja pudistivat

valtionhoitajan kättä ja sanoivat tahtovansa vakavasti harkita, mihin
toimiin oli ryhdyttävä. Niin tapahtuikin.

Kun Svante herra lähti yhdestä ryhmästä jatkaakseen matkaansa

läpi aaltoilevan väkijoukon, ei tämä seurannut häntä eikä
hajaantunut. Se pysyi paikoillaan; vaihdettiin mielipiteitä ja
neuvoteltiin.

Kun yksi ainoa suuri ajatus elähyttää niin suurilukuista

kansanjoukkoa, on ikäänkuin se kasvaisi ja vähitellen tukehduttaisi
kaikki muut. Vanhat olivat pian yksimieliset siitä, mitä oli tehtävä,
mutta ruotsalainen ajattele vaisuus tuli samalla näkyviin. Eihän
vahingoittanut, jos vieläkin tuumittiin, ja jokaisella, joka tahtoi, oli
oikeus tuoda mielipiteensä kuuluviin. Vanhojen tapojen
noudattaminen pakoitti Svante Niilonpojan viipymään useampia
päiviä kuin hän oli aikonut. Nämä käytettiin vierailuihin
naapuripitäjissä ja uusiin neuvotteluihin.
 Sten Svantenpoika oli se nimi, jolla poika oli tullut tunnetuksi
Taalainmaassa; mutta kaikki tiesivät, että hän kuului Sture-sukuun,
eikä enempää tarvittu tekemään hänet rakastetuksi, vaikkei hänen
oma persoonallisuutensa olisikaan voittanut kaikkien sydämiä
puolelleen. Annikka muori oli aina pöyhistellyt kasvattipojallaan, ja
kuumin kyynelin oli hän eronnut tästä. Melkein äidillisellä ilolla näki
hän nyt pojan jälleen niin muhkeana ja miehekkäänä. Tämän ensi
kertaa nähdessään oli hän niiata lyyhäyttänyt polvensa melkein
maahan; mutta kun nuorukainen muitta mutkitta heittäytyi hänen
syliinsä ja painoi huulensa hänen ruskeaan poskeensa, ei hän voinut
pidättää ilokyyneliään ja rakkautta uhkuvia sanojaan.

"Kyllä se on niin, kuten olen aina sanonut, että hienon väen lapset
ovat toista maata kuin yhteisen kansan", sanoi hän. "Kukapa ei
mielellään antaisi henkeään niin siunatun herran puolesta kuin te,
Sten Svantenpoika, olette, ja varmaan on koituva minulle suureksi
kunniaksi, että olette rintaani imenyt."

"Se on jo koitunut", huusi Sten hilpeästi. "Olin vain pieni, heikko

raukka, kun sinä otit minut hoitoosi, ja sinä jätit minut suurena ja
vahvana poikana takaisin."

"Kyllä hänen tarvitsee ollakin vahva, jos mieli kerran johtaa maata
ja kansaa", vastasi muori.

Mutta Annikka muorista ei ilo ollut täydellinen, jolleivät siinä olleet

osallisina niin monet kuin suinkin, ja hän oli jo edeltäpäin pitänyt
huolen siitä asiasta.

Sten seurasi häntä ylisille, kautta huoneiden ja aittojen, ja

alituisilla huudahduksilla ilmaisi hän ihastuksensa siitä, että poika
niin hyvin muisti kaikki esineet säilytyshuoneessa. Mutta kun he
lopuksi menivät kasvitarhaan, oli Stenin vuoro huudahtaa:

"Annikka muori, tuota suurta telttaa ei ole ollut täällä ennen."

"Eikä sitä tule kauan olemaankaan", sanoi muori. Kun he menivät

telttaan sisälle, näkivät he siellä katetun pöydän, joka ulottui teltan
päästä toiseen.

"Tuleeko teillä olemaan vieraspidot?" kysyi Sten kummissaan.

"Kaikille suurmiesten emännille viidestä kirkkopitäjästä!… Niin, se

juuri on tarkoitus!"

"Oletteko tehnyt sen minun tähteni?"

"Kenenkäs sitten?"

"Mutta, Annikka muori…" Hän katkaisi lauseensa. Muoria olisi

pahoin loukannut, jos hän olisi sanonut, ettei tämä olisi voinut keksiä
mitään vähemmän ilahuttavaa, ja hänen täytyi kaikessa tapauksessa
osoittaa kiitollisuuttaan toisen hyvästä tarkoituksesta.

Mutta mummo näytti lukevan hänen ajatuksensa. "Näen kyllä,

ettei se maistu oikein hyvälle", sanoi hän. "Mutta siltä voi se olla
hyödyllistä ja välttämätöntä."

"Mitä tarkoitatte, muori kulta?"

"Sitä, että ainoastaan miehet saavat olla yksissä valtionhoitajan

kanssa päivät päästään. Jos hän kulkisi ympäri Taalainmaan, olisin
antanut jokaisen pitäjän puuhata puolestaan; mutta nyt, kun eivät
miehet eivätkä naiset saa nähdä siunattua nuorta herraani, ja siitä
sentään voi olla oma hyötynsä, päätin minä ryhtyä tähän hommaan."

"Mistä hyödystä puhutte?"

"Hän on niin nuori vielä, ettei käsitä sitä!"

"Niinpä sanokaa se minulle…"

"Missä nainen ei anna asiaan suostumustaan, siellä ei siitä tule

mitään, ymmärtääkö hän. Jos miehet olisivat palanneet kotiin ja
kertoneet mitä olivat luvanneet, olisivat vaimot sanoneet: 'ei sillä ole
kiirettä', ja kun he sitten olisivat ajatelleet koituvia maksuja ja monia
muita seikkoja, niin olisivat he hommanneet asian myttyyn."

"Onko se mahdollista?"

"Täytyy löytää tie sydämeen, lapsukaiseni, silloin saa mitä vain

haluaa!"

"Mutta jos mies sanoo…"

"Niin vaimo ajattelee ensiksi maksuja! Sen tiedän minä parhaiten,

ja nyt sanon minä, että hän, lapsukainen, voi viimeistellä isänsä
työtä tai repiä sen maahan, kummin vain haluaa."

"Rakas, hyvä Annikka, ole varma, etten saata sinua häpeään."

"Jos sitä olisin uskonut, luuleeko hän, että olisin välittänyt

hänestä?"

Toimekas nainen riensi pitämään huolta hommistaan ja

laitoksistaan.
 Kohta sen jälkeen näki Sten tuotavan vadin toisensa jälkeen ja
pantavan pöytään.

Siinä oli sekä savustettua että tuoresta liikkiötä, suuria kokonaisina

keitettyjä haukia, siinä oli lammaspaistit ja paistetut kanat, siinä
riisipuurot ja omenamuhennokset, keitetyt nauriit ja herneet.

Vihdoin tuli Annikka muori itse kantaen kahta suurta maljaa

leivoksia, jotka hän asetti keskelle pöytää. Sitten vieritettiin sisälle
kolme tynnyriä olutta, ja suuria kannuja täynnä kirsimarjajuomaa
pantiin pöydälle. Leivästä, voista ja juustosta ei ollut suinkaan
puutetta, ja kun sitten emäntä tutkivasti silmäili pöytäänsä päästä
päähän, ei hänestä näyttänyt siitä puuttuvan mitään.

"Veitsen, haarukan ja lusikan tuo kukin mukanaan vanhan tavan

mukaan", sanoi hän, "enkä aio antaa enempää kuin yhden lautasen
kullekin".

Kohta sen jälkeen saapui ratsain pari arvoisaa rouvaa. Heitä

seurasivat pian toiset, ja hetken kuluttua oli koko talo täynnä ihmisiä
ja hevosia, oli muutamia harvoja vaunujakin, jotka notkuivat raskailla
puujousteillaan, ja joukko palvelijoita, joiden oli otettava hevoset
huostaansa.

Annikka muori ja Sten Svantenpoika ottivat vieraat vastaan, ja

viimeksimainittu oli niin hauska seuramies, puhutteli heti niin
tuttavallisesti ja ystävällisesti kaikkia, että tuttavuus oli tehty heti
näkemältä. Tällä kertaa ei välitetty edes kursailemisesta, ja kun Sten
tarttui molemmilla käsivarsillaan kahden pyylevän rouvan
käsipuoleen ja vei heidät telttaan, silloin seurasivat toiset empimättä
jälestä. Olihan saatava olla nuoren herran läheisyydessä niin kauan
kuin mahdollista ja kuultava mitä hän sanoi, mahdollisesti saisi
sanasen puhuakin hänen kuullakseen.

Kaikki ne, joiden kotona hän oli käynyt lapsuudessaan, ne, jotka
olivat nähneet hänet kirkolla tai kohdanneet tiellä, olivat uteliaat
tietämään, muistiko hän sen ja sen tapauksen, ja nyt he kertoivat
sellaisella seikkaperäisyydellä, että hän tosiaankin saattoi uskoa
olleensa tapauksissa mukana, mutta näitä juttuja ei kerrottu
perätysten, vaan vähintään kymmenen kerrallaan, ja kun Sten
nyökkäsi myöntävästi, taputtelivat he polviaan ja nauroivat
katketakseen.

Mutta Annikka muori pysyttäytyi niiden parvessa, jotka eivät vielä

olleet saaneet puhutella nuorta herraa tai olivat juuri loitonneet;
hänen luotansa. "No, mitä nyt sanotte?" kysyi hän jälkimäisiltä.

"Sellainen siunattu lapsi!"

"Eikös ollutkin merkillistä, että hän heti tunsi minut!"

"Ja muistaa kaikki tyyni, vaikka siitä on jo niin kauan."

"Minä kysyin, muistaako hän vielä yhdeksän poikaani!"

"Se kaiketi ei ollut mahdollista?"

"'Muistan kolme lisääkin, muori', vastasi hän, 'niinhän olette

antanut maalle kaksitoista reipasta sotamiestä'. 'Ne kyllä saatte',
sanoin minä, ja niin löimme kättä päälle."

"Valtionhoitaja lienee puhutellut miehiä", kertoi muuan naisista,

"Ja he?"
 "He tahtovat tuumia asiaa."

"Kunnes on myöhäistä!" muistutti Annikka muori.

"Vuotas, jahka saan ukkoni käsiini!"

"Niin, samaa minäkin sanon!"

"Antaisimmeko tanskalaisten lyödä pään poikki häneltä tuossa?"

"Ennen annan omani."

"Pysyköön kuningas tanskalaisten porttojensa luona, täällä ei

hänelle ole niitä tarjolla."

"Minä kyllä vastaan, että minun mieheni vyöttää miekan

kupeelleen ja lähtee mukaan."

"Sen teen minäkin!"

"Minä myös!"

"Minä myös!"

He huusivat kilvan, ja niin menivät he jälleen nuoren ritarin luo,

ikäänkuin lämmitelläkseen hänen kirkkaiden silmiensä säteilyssä.

Mutta kukaan ei puhunut hänelle syistä valtionhoitajan vierailuun;

heistä näytti se ikäänkuin isottelulta, kerskailulta heidän puoleltaan,
ja sellaisissa tilaisuuksissa osoittaa hyväsydäminen, sivistymätön
kansannainen hienotunteisuutta, jonka kasvatus tavallisesti häneltä
vie.
 Kaikki olivat lujasti päättäneet vaikuttaa miehiinsä, niin että asia
pian tulisi ratkaistuksi; mutta Annikka muorilla oli vielä jotakin
pussissaan, joka heidän piti saada mukaansa, elääkseen siitä
muutamia vuosia.

Sentähden tunkeutui hän joukon lävitse, joka yhä ympäröi Sten

herraa, ja kun hänestä tämä näytti hieman väsyneeltä, paiskasi hän
häntä olalle ja sanoi kuuluvalla äänellä:

"Nyt olemme kaikki kertoneet teille kodeistamme ja

perheistämme, nyt haluaisimme kuulla, kuinka teillä voidaan. Mutta
emme kysele koreista saleistanne emmekä loistavista juhlistanne, se
on kaikki maailman turhuutta. Ei, antakaa meille jotakin, joka
lämmittää sydäntä!"

"Silloin tahdon puhua äidistäni ja sisaruksistani!" huudahti nuori

ritari innokkaasti.

"Äidistä? Sisaruksista? Märta rouva ei juuri ole hyvässä huudossa."

"Niin, äitipuolestanihan oikeastaan puhun", sanoi Sten

hellänvienosti. "Mutta oikeaa äitiäni tuskin muistan, ja tämä on
minulle sangen rakas ja sitä paitsi niin viisas ja oikeamielinen rouva,
ettei parempaa kai ole ollut milloinkaan."

Nyt kertoi hän Märta rouvan jumalanpelosta, hyvistä neuvoista,

joita oli saanut häneltä, siitä huolellisuudesta ja ymmärtäväisyydestä,
millä hän suoritti herransa hänelle antamat tehtävät. "Hänellä se on,
isäni ollessa poissa, nytkin päällikkyys Tukholman linnassa", sanoi
hän, "ja hän kyllä osaa hankkia sekä kunnioitusta että kuuliaisuutta!"
 Se tepsi. Sellainen nainen juuri oli heidän mieliinsä.
Talonpoikaisnaiset tunsivat ikäänkuin heimolaisekseen hänet, joka
Tukholman linnassa hoiti kotiasiat miehen ollessa poissa, aivan kuin
heilläkin tehtiin kotosalla. Sentähden lähettivät he hänelle terveisiä ja
pyysivät, että hän luottaisi heihin, samoin kuin hekin tästedes
luottavat häneen.

Erottiin tyytyväisinä molemmin puolin, ja Annikka muori sanoi siitä

pitäen, ettei hänellä ollut koskaan, ei ennen eikä jälkeen, mistään
vieraspidoista ollut niin suurta iloa.

Seuraavana päivänä oli vielä yksi kokous. Valtionhoitaja puhui,

kuinka välttämätöntä oli päästä päätökseen. Vielä kerran mainitsi
hän, kuinka Kalmarin kaupunki oli petoksella joutunut kuninkaan
käsiin; kuinka hän oli "teilauttanut, mestauttanut, poltattanut,
surkeasti kiduttanut ja silvottanut köyhiä Kalmarin porvareita vastoin
kaikkea kunniallisuutta ja rehellisyyttä", kuinka sen jälkeen neljä
valtaneuvosta oli lähtenyt Tanskaan neuvottelemaan rauhasta tai
muutamien vuosien aselevosta valtakuntien välillä, niin että tästä
mieshukasta ja syyttömän veren vuodatuksesta vihdoinkin tulisi
loppu. Sitten kysyi hän, mitä apua ja turvaa oli taalalaisilta
odotettavissa.

Silloin kohosivat kaikki kädet ja tuhannet äänet huusivat: "Me

tahdomme uskollisesti olla apunasi, Svante Niilonpoika!"

"Kas tässä", huusi muuan, "me olemme laatineet kirjeitä, jotka

tahdomme jättää sinun harkittaviksesi!"

Ne olivat kirjoitetut papistolle, vapaamiehille, kauppamiehille ja

rahvaalle Uplannissa, Itä-Göötanmaalla, Smålannissa ja Värendissä.
 "Nyt ei ole enää aikaa viivytellä", kirjoittivat he; "maa tarvitsee
meitä, ja meidän on nyt kuten Engelbrektin päivinä lähdettävä mies
talosta sitä puolustamaan. Mutta samaten olemme me Taalain
miehet yhdessä luvanneet ja vannoneet, ettemme tahdo ketään
muuta päämiestä niin kauan kuin hän (Svante Niilonpoika) elää, sillä
hän on kotimainen herra, ja me olemme aina saaneet suunnatonta
vahinkoa ja tuhoa niistä herranvaihdoksista, joita meillä on viime
vuosina ollut, isiemme maa ja me olemme niistä suuresti
heikontuneet ja monenlaista häviötä kärsineet. Eikö jo valtakuntaa
siksi panetellakin vieraissa maissa, ettemme omaa miestä voi pitää
herranamme. Jos joku koti- tai ulkomaalainen tahtoisi kuninkaan
yllytyksestä saada aikaan hajaantumista ja rappiota valtakunnassa,
silloin tahdomme uhrata voimamme ja henkemme auttaaksemme
päämiestämme rankaisemaan syyllistä ilman armoa. Rakkaat
ystävät, olkaa hyvässä turvassa! Me tahdomme puolustaa isiemme
maata, kuten isämme ja esi-isämme ennen meitä tehneet ovat,
emmekä epäile, ettette tekin tahtoisi mielellänne tehdä samoin."

Kirjeet lähetettiin määräpaikkoihinsa. Joukon rahvaanmiehiä tuli

lähteä Svante herran mukana rannikkoa puolustamaan, mutta
suurimman joukon oli oltava valmiina lähtemään ensi kutsulla. Liikkui
huhuja, että ruotsalaista sotaväkeä oli saapunut Tanskaan, ja tämä
ei voinut olla tarkoitettu muuhun kuin aiottuun hyökkäykseen
Ruotsiin. Täytyi sentähden olla aina valmiina.

Avoimessa kirjeessä kiitti valtionhoitaja taalalaisia siitä, että he niin

auliisti tahtoivat seurata häntä, kuten muinoin olivat häntä ja Sten
Sturea seuranneet. Koskaan ei hän tulisi heitä pettämään.

Taalainmaasta suunnattiin matka Kalmariin. Lokakuu oli jo pitkälle

kulunut, ja tiet olivat niin tuiki huonossa kunnossa, että matka kävi
hitaasti.

Tukholmassa oli sillävälin tapahtunut merkillisiä asioita, jotka

varmaankin ansaitsevat eri lukunsa.

6.

MITÄ TUKHOLMASSA TAPAHTUI.

Suuri oluttupa Harmaamunkkikujalla vilisi vieraita täytenään.

Kaikki pöydät olivat täydet, tiskin ääressä tungeskeltiin, ja muuan
seppä ja kivenhakkaaja olivat nousseet tiskille istumaan.

Niin ripeästi kuin sukkula kankaanraossa juoksi kaksi nuorta

tytöntylleröä edestakaisin pöytien ja tuolien väliä, kantaen
vaahtoavia oluthaarikoita, jotka Barbara muori itse täytti. Sattui
tosin, että jokunen pisara hänen hikeä helmeilevältä otsaltaan putosi
haarikkaan, mutta ei hän siitä siltä saanut parempaa maksua eikä
toiselta puolen olut vieraillekaan maistunut sen huonommin.

Sielläkös oli elämää ja melua! Siellä laulettiin ja naurettiin, siellä

huudettiin ja rähistiin, mutta harvoin pääsi se tappeluksi yltymään,
sillä Barbara muorin terävä silmä keksi heti jokaisen heristelevän
nyrkin, ja ykskaks ponnahti hän tiskin ylitse ja tarttui nyrkkiin,
ennenkuin se ehti lyödä. Rikollisesta tuntui siltä, kuin olisi hänen
käsivartensa joutunut ruuvipenkkiin, ja muori piteli kiinni, kunnes
pahantekijä oli kylliksi saanut tuntea voimattomuuttaan. Silloin heitti
hän syntipukin syrjään ärähtäen: "Kyllä minä opetan teille, minä!"
 Barbara oli hyvällä syyllä kuulu tavattomista voimistaan; hän
taivutti hevosenkengän kokoon käsissään, ja ken häneltä sai
korvapuustin, se ei antanut sitä takaisin seuraavana eikä vielä
seuraavanakaan päivänä. Muuten hän oli säyseä ja kunnon nainen ja
osasi pitää itsensä ja liikkeensä sellaisessa arvossa, että
mainitunlaisia voimanilmauksia aniharvoin tarvittiin.

Jos eloisuus oli tänään suurempi kuin tavallisesti, johtui se siitä,

että syksy alkoi käydä myöhäiseksi ja viimeisiä lyypekkiläislaivoja
odotettiin palaaviksi kotiin. Keskustelu koski erittäinkin sitä, oliko
välitettävä Tanskan kuninkaan kiellosta, ettei tavaroita saanut enää
tuoda Ruotsiin.

"Ruotsalaiset eivät voi elää ensinkään ilman meitä!" huusi muuan

laivuri puolipäissään.

"Siksi, etteivät hollantilaiset eivätkä englantilaiset saa tulla tänne

laivoineen!" vastasi muuan vanha porvari. "Kunniallisen nahkurin ei
silloin tarvitsisi maksaa härännahkasta niin paljoa kuin nyt täytyy
maksaa."

"Eikä suolastakaan!"

"Ja jokaisesta kyynärästä kangasta!"

"On kohtuutonta, että saksalaisilla on sellaiset erioikeudet kaikkien

muiden edellä!"

"No, me purjehdimme tiehemme emmekä tule takaisin! Hyvästi,

hyvät ystävät. Voikaa hyvin!"

Laivuri otti lakkinsa ja meni tiskin luo maksaakseen.

 "Mitä nyt?" huusi Barbara muori nakaten niskojaan. "Mistä lähtien
on tullut tavaksi, että te maksatte oluestanne?"

"No, hyvä isä, voin kai sentään sanoa jäähyväiset, sillä emme
luultavasti tule enää koskaan."

"No, helkkarissa, tietysti tulette!"

Huudettiin ja kiruttiin myötä ja vastaan. Silloin ponnahti Barbara

muori uudestaan yli tiskin.

"Tänne kaikki, jotka olette ystäviäni!" huusi hän. "Nyt juomme

saksalaisten kanssa ja toivotamme heidät tervetulleiksi seuraavana
vuonna!"

Suurella nopeudella lennätettiin sen jälkeen haarikoita ja kippoja

kaikille, jotka lähestyivät.

"On kyllä totta, että tavaranne ovat hävyttömän kalliita ja että me

voisimme saada muilta huokeammalla, mutta parempi pyy pivossa
kuin kaksi kuusessa, ja sentähden tyydymme asioihin semmoisina
kuin ne ovat. Ja kippis sille!"

Ystävyys oli palautettu, ja Barbara muori piti huolen siitä, että

maljoja edelleen kallisteltiin sen vahvistukseksi.

Oluttuvassa oli monia vieraita, jotka eivät ottaneet osaa riitaan,

vaan joko keskustelivat kahdenkesken yksityisistä tai yleisistä
asioista taikka, jos seura oli suurempi, kuiskaillen ilmaisivat mielensä
toisilleen. Erään pienen pöydän ääressä, melkein erillään muista,
istui neljä henkilöä. Olutkippoja, jotka olivat heidän edessään, oli
tuskin koskettu. Kaksi heistä oli ilmeisesti hyvinvoipia porvareita,
kolmas, joka oli puettu teininkaapuun, oli sangen nuori, ja neljäs,
munkkikaappuun puettu, oli vetänyt huppukauluksen päänsä ylitse.

"Oletteko saanut nämä uutiset varmasta lähteestä?" kysyi vanhin

porvareista.

"Mieheltä, joka sanoo nähneensä hänen ruumiinsa", vastasi

munkki tehden ristinmerkin.

"Merkillistä, ettei siitä ole saapunut mitään sanomaa", virkkoi

nuorempi porvareista.

"Varmaankin tahdotaan pitää asia salassa niin kauan kuin

mahdollista!" lausui munkki jälleen.

"Mistä syystä?" kysyi teini.

"Kukaan ei voi astua hänen sijalleen."

"Sen tietää kyllä valtionhoitajakin, mutta hänen täytyy uskaltaa

kaikkensa pysyäkseen paikoillaan."

"Ei voi viipyä kauan, ennenkuin se tulee yleisesti tunnetuksi", lisäsi

munkki.

"Mitä pahaa olemme sitten tehneet?"

"Olette nousseet Herran tahtoa vastaan ja kieltäneet sen, jonka

hän on asettanut sijaisekseen."

"Jos tarkoitatte Tanskan kuningasta, tahtoisin tietää, mitkä

tunnusmerkit todistavat hänen olevan Jumalan valitseman meidän
herraksemme ja kuninkaaksemme", kysyi teini.
 "Eikö tämä vainonaika riitä merkiksi? Katsokaa ympärillenne ja
sanokaa, onko olemassa maata, joka ei inholla käänny pois siitä
vallattomuudesta, mitä täällä harjoitetaan. Teidän keskuudessanne
on monia, jotka ilolla tahtoisivat nöyrtyä Jumalan mahtavan käden
alle, tunnustaen olevansa velvolliset pitämään ne valat, joita ovat
tehneet maalliselle kuninkaalleen, mutta he eivät uskalla, eivät
tahdo, peläten antavansa riitaisuudelle lisäravintoa."

"Olemme tähän asti olleet vapaa kansa, antaisimmeko nyt tehdä

itsemme orjiksi?"

"Eikö sanota, että ketä rakastetaan, sitä myös kuritetaan? Vaikka

kuninkaan onkin pakko verta vuotavin sydämin rangaista
niskoittelevia, tottelemattomia lapsiaan, sulkee hän heidät sitten sitä
suuremmalla ilolla leppyisää isänsydäntään vasten!…"

"Ne voivat olla vain tyhjiä lupauksia."

"Tanskalaiseen ei ole koskaan ollut luottamista!"

"Että Hannu kuninkaaseen on luotettava, siitä on minulla monta

todistusta, ja voin hyvin sanoa, että minun täälläolonikin on
sellainen. Hyvä kuningas teki erään velan ollessaan täällä ja on nyt
lähettänyt minut sitä maksamaan."

"Velan?"

"Olavi Henrikinpojalle, kultasepälle. Tunnetteko hänet?"

"Siinä tapauksessa luulen Hannu kuninkaalla olevan moniakin

velkoja maksettavana", tuumaili teini.
 "Ne, mitkä havaitaan päteviksi, voin minä maksaa", vastasi
munkki. "Mutta kun en tule oleskelemaan täällä kauan, täytyy minun
lähteä etsimään arvoisaa Olavi mestaria."

"Ilta on sangen myöhäinen."

"On kyllä, mutta hyvästä rahasummasta avataan portit mihin

vuorokauden aikaan tahansa! Kiitän sydämestäni siitä
hyväntahtoisuudesta, jota olette osoittaneet minulle, ja juon kaikkien
teidän menestykseksenne."

Näillä sanoin kohotti munkki olutkipon huulilleen ja tyhjensi sen

viimeiseen pisaraan.

Toiset kolme miestä nousivat samaan aikaan, ja kun munkki ojensi

kätensä jäähyväisiksi, sanoi vanhin heistä:

"Olen samainen Olavi mestari, jota etsitte, ja jos tahdotte tulla

mukaani, annan teille mielelläni asuntoa, jollette jo ole sellaista
hankkinut."

"Tämäpä oli odottamaton onni! Olen sama David maisteri, josta

kaiketi olette kuullut, että hän on Venäjällä ja Puolassa tehnyt monia
sopimuksia Hannu kuninkaan puolesta. Samoin olen Suomessakin
koettanut vaikuttaa hänen asiansa hyväksi, eikä suinkaan
vahingoittane minua teidän silmissänne se, että sanon sen
ujostelematta."

"Tätä tietä, kunnianarvoisa isä!" sanoi Olavi mestari ja pääsi siten

vastaamasta kysymykseen.

Kaikki neljä lähtivät oluttuvasta. He suuntasivat kulkunsa yli sillan

Jaakopin kirkon alapuolitse. Olavi mestari kertoi taipaleella, että teini
oli hänen poikansa ja mukana seuraava nuori mies hänen tuleva
vävynsä. "Minulla on tytär myös", sanoi hän vilaisten tutkivasti
munkkiin. "Hannu kuningas muistanee hänet."

"Kuninkaan suurin vika on, että hänellä on niin avoin silmä

naiselliselle kauneudelle."

"Niin, sellainen voi viedä moniin ikävyyksiin!"

Vähän matkan päässä kirkosta oli kaunis yksikerroksinen talo,

jonka pääty oli kadulle päin, kuten tapa oli.

Olavi mestari kohotti portinkolkuttimen, mutta ennenkuin hän ehti

päästää sen käsistään, avasi portin nuori tyttö, jolla oli kynttilä
kädessään.

David maisteri voi vain vaivoin pidättää huudahduksen. Tyttö oli

tosiaankin sama, päässä tummat kiharat, suuret veitikkamaiset
silmät, pieni suu ja posket hymyillessä kuopallaan. Ja hän hymyili
melkein alituiseen.

Ei voi kieltää, että Rikissa oli miellytyshaluinen, mutta kaikki, jotka

tulivat kadulla häntä vastaan, kääntyivät ympäri häntä katsomaan.
Hyvinkin kymmenen kertaa päivässä kuuli hän sanottavan: "Mikä
sorja impi!" Jos hän kumartui lähteen ylitse tai katsoi pieneen peiliin,
jonka oli saanut isältään, sanoivat molemmat hänelle: "Sorjempaa
neitoa kuin sinä ei ole nähtävänä!"

Kuinka monet voivat sellaista vastustaa! Rikissa ei sitä voinut, ja

jolleivät ankarat silmät olisi häntä valvoneet, ei kukaan tiedä, kuinka
olisi käynyt.
 Vieras, jonka hänen isänsä toi mukanaan, sai ainoastaan lyhyen
tervehdyksen, hänen sulhasensa sitä vastoin ei mitään. Ainoastaan
isälle hän osoitti huomaavaisuuttaan.

"Olettepa tosiaan pannut kärsivällisyyteni kovalle koetteelle tänä

iltana", sanoi hän ojentaen isälleen otsansa suudeltavaksi. "Oli hyvin
lähellä, ettei uni minua voittanut."

"Jos olisit arvannut, että Antero tulee mukanani kotiin, olisit kyllä
pysynyt valveilla", tuumi isä.

Antero päästi kuuluviin naurun, jokseenkin samanlaisen kuin

hevosen hirnunnan, mutta hän oli silminnähtävästi hämillään ja sai
suustaan ainoastaan sanatonta mutinaa.

"Juuri siksi, että ajattelin häntä, tulinkin uniseksi", vastasi

Rikissa kylmästi.

"Mieti nyt vain, mitä annat meille illalliseksi", virkkoi veli.

"Kipponen olutta ei vatsaa täytä.";

"Ruoka odottaa ruokatuvassa", vastasi tyttö ja vilkaisi vieraaseen,

ikäänkuin epävarmana, oliko hänen tämän tähden lisättävä vielä joku
ruokalaji.

"Olen unohtanut esittää teille tyttäreni Rikissan", sanoi Olavi

mestari. "Tämä on laajalta matkustellut ja paljon puhuttu David
maisteri, joka on tullut Ruotsiin tuomaan viestejä minulle ja monille
muille Tanskasta, hänen korkealta armoltaan Hannu kuninkaalta."

Sotaorhi pörhistää korvansa torventoitotuksen kuullessaan.

Melkein samoin oli Rikissankin laita; tämä oli jotakin, mikä koski
häntä, sen hän tiesi, ja aterian aikana, Olavi mestarin keskustellessa
maisterin kanssa, osasi hän sillä huolehtimisella, jota hän osoitti niin
vierasta kuin isäänsäkin kohtaan, alituiseen vetää vieraan katseet
puoleensa.

Aterian jälkeen sanoi veli hänelle: "Kuinka sinun on laitasi,

Rikissa, oletko ihastunut vanhaan mieheen?"

"Olen, hänen oppiinsa!"

"Mitä sinä sellaisesta ymmärrät?"

"Enemmän kuin luulet!"

Hiljainen Antero kauppamies ei ollut koskaan ollut suuresti hänen

suosiossaan; mutta hän oli luvannut tälle uskollisuutta sentähden,
että tämä alituiseen kantoi hänelle rusina-, manteli-, viikuna- ja
pähkinätötteröitä. Antero joutui nyt tytön kiemailemista nähdessään
melkein pois suunniltaan. Olavi mestari oli noutanut kellarista pullon
viiniä, ja se vaikutti niin tulisesti nuoreen mieheen, että hän erotessa
välttämättä tahtoi syleillä neitoa.

"Mene kotiin nukkumaan, Antero, äläkä tule minua lähelle!" sanoi

tyttö vakavasti, mutta ei tylysti.

Nuori mies ei tahtonut luopua oikeudestaan, ja niin sulki hän

vastahakoisen tytön syliinsä. Silloin sai hän poskelleen läimäyksen,
joka tosin ei ollut niin navakka kuin Barbara muorin kädestä, mutta
kuitenkin riittävä, että hän päästi irti otteensa ja riensi pois
sanomatta sanaakaan, hatuttomin päin ja ilman päällystakkia.

"Sitä ei hän anna sinulle koskaan anteeksi!" sanoi veli.

 "Mitä se minua liikuttaa! Manteleita ja rintasokeria saan kai
muiltakin."

"Mutta mitä luulet isän sanovan?"

"Että olen tehnyt oikein!"

Sillävälin olivat molemmat vanhat miehet perimäisessä huoneessa

keskustelleet maan asioista. David maisteri kertoi, että Erik
Turenpojan oli täytynyt paeta maasta.

Olavi mestari huudahti hämmästyksestä ja mietiskeli nyt, kuinka

David maisteri selvittäisi Hannu kuninkaan koristejutun. Mutta ilman
sanoja oltiin yksimieliset siitä, että kysymys lykättäisiin huomiseen.

Kun David maisteri toivotti Rikissalle hyvää yötä, kuiskasi hän:

"Minun täytyy saada puhutella teitä!"

"Hyvästi ja onnellista matkaa!" vastasi tyttö. "Jos lähdette aamulla

varhain, emme tapaa toisiamme, sillä minä menen messuun Pyhään
Klaaraan."

"Mitä ajattelet, tyttö? Kunnianarvoisa isä ei, kuten toivon, tule

jättämään meitä moniin päiviin."

Seuraavana aamuna heitti Rikissa tiheän hunnun kasvoilleen. Kun

hän pääsi kadulle, katseli hän ympärilleen, odottiko häntä kukaan,
mutta kun ei ketään näkynyt, riensi hän pois nopein askelin. Kenties
tarkoituksella oli hän viivästynyt.

Laulu helisi jo luostarikirkossa. Hänen juuri ollessaan

astumaisillaan sisälle kuiskasi ääni hänen korvaansa: "Minä odotan
ulkona."
 Hän riensi kirkkoon ja polvistui Mariankuvan eteen. Mutta
uteliaisuus oli hänelle voittamaton, hän suoriutui rukouksesta
hetimiten, pisti pikkusormensa vihkiveteen ja riensi ulos. Siellä seisoi
David maisteri kirkon edustalla, aivan kuin olisi tiennyt, ettei tyttö
viivy kauan.

"Mitä tahdotte?" kysyi Rikissa. "Minulla on kiire."

"Tuon ainoastaan terveiset teille!"

"Keneltä?"

"Kuninkaalta!"

"Hän oli puodissa monet kerrat!"

"Toisen tapasitte ulkona."

"Kenen toisen?" sanoi Rikissa kääntyen poispäin.

"Hänet, joka on lähettänyt minut teidän luoksenne!"

"Hänen nimensä?"

"Kristian!"

"Kaikki pyhimykset!"

"Eikö totta, neitsyt, kaunis Edela rouva on monet kerrat käynyt

teitä katsomassa?"

"Hän tuli tekemään ostoksiaan, mutta harvoin oli mikään hänelle

mieleen; milloin ei ollut kyllin kaunis, milloin oli liian kallis. Hannu
kuningas pitänee häntä vähillä rahoilla."
 "Niin ei Kristian kuningas tulisi tekemään; hän ei kieltäisi teiltä
mitään."

"Lähettääkö hän sen viestin minulle?"

"Sen ja monia muita!"

"Mitä sitten?"

"Hän pyysi minua sanomaan, että suukkonen, jonka annoitte

hänelle, vieläkin polttaa hänen huuliaan."

"Ah!" Rikissa peitteli kasvonsa tarkemmin hunnulla.

"Olen tuonut joukon lahjoja, ei niin upeita, että ne herättäisivät

ihmisten epäluuloja teitä kohtaan, mutta kylliksi hyviä antaakseen
kauneudellenne uutta loistetta."

"Mutta jos isäni kieltäytyy ottamasta niitä vastaan?"

"Minä kyllä taivutan hänet suostumaan."

"Paljoon olette sitoutunutkin; minua huvittaa nähdä miten

selviätte."

He lähestyivät kotia, ja Rikissa riensi edeltä, jottei herättäisi

epäluuloja. Mutta suureksi hämmästyksekseen löysi hän
huoneestaan turkisvaipan, kärpännahkalla reunustetun lakin, useita
pukuja, huntuja ja muita naisten hempuja. Rikissan koetellessa
kappaletta toisensa jälkeen ja ilmaistessa tyytyväisyytensä innokkain
huudahduksin etsi David maisteri käsiinsä Olavi mestarin
ilmaistakseen hänelle mikä hänen asiansa oikeastaan oli.
 Hannu kuningas oli muutamia kertoja ollut puodissa, mutta oli
näyttänyt siltä, kuin kaunis myyjätär tekisi häneen suuremman
vaikutuksen kuin ne kalleudet, joita tämä näytteli. Kerran oli hän
pyytänyt tyttöä näyttämään kallisarvoisimman jalokiven mitä hänellä
oli myytävänä, ja kun Rikissa silloin otti esiin suuren sinikiven, joka
hyvin sopi kiinnitettäväksi kuninkaan hattuun, otti hän sen heti.
Mutta seuraavana päivänä tuli muuan kuninkaan hovipojista ja antoi
sen takaisin varustettuna kirjoituksella: "Muistoksi!" Olavi mestari
suuttui aika tavalla… Koristusta ei ollut lainkaan maksettu, ja hänestä
näytti se kohtuuttomalta ilveilyltä, varsinkin kun kuningas ei sen
jälkeen koskaan käynyt puodissa eikä edes kulkenut sitä katua.

David maisteri kertoi, että kuninkaan oli tosiaankin vallannut

rakkaus Rikissaan. Hänen tarkoituksensa oli ollut kiinnittää se
kallisarvoiseen helminauhaan ja pyytää, että saisi sen itse ripustaa
Rikissan kaulaan; mutta Edela rouvan mielessä oli herännyt
epäluuloja, ja rukouksin ja kyynelin oli hän saanut kuninkaan siitä
luopumaan.

Mutta kuningas ei ollut silti unhoittanut velkaansa; David maisteri

oli nyt tullut sekä noutamaan että maksamaan mainittua koristetta,
mutta jottei neitsyelle koituisi mitään vahinkoa, lähetti kuningas
muutamia lahjoja, joita vastaanottamasta Olavi mestari ei
toivottavasti tyttöä kieltänyt, kun niitä ei lähettänyt mikään
rakastaja, vaan ystävä kauneimmalle neitsyelle, minkä oli nähnyt.

Kuka isä ei olisi ollut mielissään sellaisesta huomiosta! Olavi

mestari kumarteli ja änkytti, mutta kun kiusaaja otti täpötäyden
rahakukkaron ja maksoi kivestä kaksinkertaisen hinnan, ilmeni hänen
tyytyväisyytensä yhä syvemmissä kumarruksissa ja moninkertaisissa
kiitoksissa.
 Rikissa kutsuttiin saapuville ja hänelle annettiin lupa ottaa vastaan
annetut lahjat.

"Saanko myös käyttää niitä milloin tahdon?" kysyi hän.

Olavi mestari loi katseen vieraaseensa ja vastasi: "Ne ovat annetut

niin hyvässä tarkoituksessa, etten katso voivani kieltää sitä sinulta.
Jos jollakulla olisi sanomista sitä vastaan, niin neuvo hänet minun
luokseni, minä kyllä hänelle vastaan."

"Sen kyllä voin tehdä itsekin", vastasi Rikissa.

Olavi mestari oli ennen kaikkea kauppias. Hänen kiitollisuuteensa

David maisteria kohtaan oli sekoittunut salainen aavistus, ettei tämä
sieni ollut vielä läheskään puserrettu kuiviin, eikä sentähden ollut
niinkään vähän voitonjanoa hänen lausunnossaan, että häntä
surettaisi, jollei David maisteri tästä lähtien pitäisi hänen taloaan
kotinaan Tukholmassa.

Tämä puristi hänen kättään ja kiitti. Kysymys voitiin täten pitää

ratkaistuna. Hurskaan miehen oli käytävä monissa luostareissa, ja
kun hän palasi iltamyöhällä, suuntasi hän todellisella ilolla askeleensa
Olavi mestarin tyyneen kotiin.

Yksinkertainen porvaristyttö vaihtoi vähitellen pukunsa

jalosukuisen neitsyen pukuun. Hänen isänsä tosin rypisteli sille
kulmiaan, mutta ensiksikin hänen tyttärensä kauneus tuli vielä
silmiinpistävämmäksi kuin ennen, toiseksi lisääntyi ostajain luku
sangen tuntuvasti, ja kolmanneksi ei tytön koreus maksanut hänelle
mitään, eikä hänen päähänsä pälkähtänyt, että seuraukset
saattaisivat käydä hänelle vähemmän hyviksi.
 Nuori kauppamies rohkeni tehdä muistutuksia, mutta Olavi mestari
vastasi, että hän puki tyttärensä miten hyväksi näki, ja Rikissan
kunniaan nähden ei kellään ollut mitään muistuttamista.

Väliin tapahtui, että David maisteri pysyi poissa kokonaisia päiviä,

mutta aina kohtasivat hän ja Rikissa toisensa. Hän oli sanonut
tytölle, että tämä sai pyytää häneltä mitä hyvänsä, ja kiemaileva
tyttö ei suinkaan hidastellut käyttää sitä hyväkseen.

Kun nuori teini, joka kävi harvoin isänsä kodissa, näki jälleen
sisarensa, tunsi hän tuskin tätä.

"Mitä Rikissalle on tapahtunut?" kysyi hän isältä.

"Ei mitään muuta kuin että hän on kehkeytynyt mitä

kauneimmaksi neitsyeksi", vastasi tämä.

"Katsokaa vain, ettei hän lankea!"

Olavi mestarin sydän nytkähti; se ajatus oli muutamia kertoja

juolahtanut hänenkin mieleensä, mutta eikö tyttö ollut
hengenmiehen suojeluksessa ja eikö hän itsekin häntä pitänyt
silmällä?

"Minulle olisi mieleen, jos itsekin pyrkisit ylöspäin yhtä paljon kuin
hän!" vastasi hän ja käänsi selkänsä pojalleen.

Eräänä päivänä kulki David maisteri edestakaisin pienessä

kamarissaan ja hieroi tyytyväisenä käsiään. Vähäistä ennen oli hän
puhutellut Rikissaa, ja tämä näytti hänestä kauniimmalta kuin
konsanaan.
 "Pian, pian on tyttö valmis", tuumi hän itsekseen. "Silloin vien
hänet mukanani, ja sitten — —"

Sillävälin astui nuori hengenmies puotiin. Hän pyysi laittamaan

kaksi hopeahakasta kirjaan, jonka jätti Rikissalle. Lähetettyään pojan
työpajaan hankkimaan niitä tietoja, joita nuori mies halusi, pyysi
Rikissa häntä odottaessaan istumaan. Tätä keinoa käytti tyttö
hyvinkin usein. Ihailu, jota hän itse nuorissa miesvieraissa herätti,
antoi usein aihetta vilkkaaseen keskusteluun, ja hänen oma
kiemailunsa oli monet kerrat houkutellut äkillisen
rakkaudentunnustuksen ilmoille.

Vieras istuutui kohteliaasti paikalle, jonka hän osoitti. Mies katsoi

häntä suoraan silmiin puhuessaan kirjasta, jonka oli tuonut
mukanaan. Mutta Rikissan suureksi kummaksi ei hänen kauneutensa
näyttänyt tekevän mitään vaikutusta nuoreen mieheen; sitä vastoin
oli tämän olennossa jotakin kunnioittavaa, jota ei kukaan muu ollut
hänelle osoittanut.

Rikissa tunsi mielensä niin liikutetuksi, että hän tuskin tiesi, mitä
vastaili, ja kun vieras kysyi, milloin saisi palata noutamaan kirjaa,
vastasi hän pitäen silmällä omaa haluaan saada pian nähdä vierasta
jälleen: "Ylihuomenna!"

Mutta hetken aikaa katseltuaan vieraan jälkeen riensi Rikissa

ottamaan haltuunsa kirjan, jota toinen näytti pitävän niin suuressa
arvossa. Se oli paksu käsinkirjoitettu kirja, mutta niin koristeltu, ettei
kuunaan saattanut nähdä mitään kauniimpaa. Teos käsitteli
tähtitaivasta ja kaikkia sen ihmeitä. Loppuun oli kirjoitettu:

"Tämän kirjan omistaa jalosukuiselle neitsyelle Kristina

Knutintyttärelle (Knut Alfinpojan tyttärelle) hänen nöyrin ja
 kunnioittavin palvelijansa

Olavi Juhananpoika."

"Hän rakastaa häntä!" huudahti Rikissa.

Tuokion kuluttua täytyi hänen nauraa itselleen. Kuinka olikaan

sellainen ajatus voinut pälkähtää hänen päähänsä! Mutta jos olisikin
niin, mitä se häntä liikuttaisi!

Kirja veti häntä vastustamattomasti puoleensa, ei juuri siksi, että

hän olisi suurin välittänyt sisällöstä, vaan kauniiden kirjainten
tähden! Hän ei voinut konsanaan saada niiden katselemisesta
kyllikseen. Illalla otti hän kirjan mukaansa kamariinsa, pani sen yöksi
tyynynsä alle ja oli unissaan seisovinaan nuoren miehen kanssa
ikkunan ääressä katsellen tähtitaivasta. Mies puhui ja selitti hänelle,
mutta hän ei kuunnellut sanoja, katseli vain puhujan kauniita silmiä,
otsan kaarrosta, nenän hienoa koukistusta. Mutta sitten hän tunsi,
että toinen painautui häneen kiinni. Silloin heräsi hän yhtäkkiä ja
pamppailevin sydämin.

"Mikä kummallinen uni henkilöstä, jota en tunne!"

David maisteri pani merkille, että tytölle oli jotakin tapahtunut,

mutta kun tämä kielsi sen, luuli hän, ettei asia merkinnyt mitään.
Rikissan avomielisyys oli tähän asti ollut rajaton, eikä hän lainkaan
aavistanut, mikä uusi mahtava tunne oli herännyt tytön sielussa.

"Tunnetteko, isä, nuoren neitsyen Kristina Knutintyttären?" kysyi

Rikissa ikäänkuin sattumalta.

"Olen nähnyt hänet."

 "Onko hän kaunis?"

"Häntä sanotaan kauneimmaksi Ruotsin maassa."

"Kauneimmaksi!" toisti Rikissa uhmaten.

"Ne, jotka niin sanovat, eivät ole nähneet ketään kauniimpaa",

sanoi David maisteri tavallisella lempeällä tavallaan. "Hänellä on
pitkä, kullankimmeltävä tukka ja ihmeen heleä hipiä."

"Tahtoisin mielelläni nähdä hänet."

"Hovin portaat ovat niljakat!" huomautti David maisteri melkein

varoittaen.

"Ei minua peloita!"

"Ken seisoo, katsokoon, ettei lankea!"

Rikissa puri huultaan, että malttaisi olla vastaamatta. Maisteri oli

ensi kerran sanonut häntä vastaan, ja hän kyllä näyttäisi, että voi
viedä tahtonsa perille.

Seuraavana päivänä saapui Olavi Olavinpoika määrättyyn aikaan

kysymään kirjaansa.

Hänen astuessaan puotiin piiloitti Rikissa kirjan nopeasti

taaksensa.
"Se ei ole vielä valmis", vastasi hän sangen kiihtynein mielin.

"Minä tulen huomenna jälleen!"

"Se ei joudu valmiiksi siihenkään!"

 "Eikö?"

Nuori mies katsoi kummastuneena tyttöön.

"Kun se tulee valmiiksi, niin minä lähetän sen."

"Ei suinkaan se ole mitenkään vahingoittunut?" kysyi vieras

silminnähtävällä levottomuudella.

"Ei, ei suinkaan."

"Voinko luottaa siihen?" Hän ojensi kätensä.

Kuinka mielellään olisi Rikissa laskenut siihen kätensä, mutta

sehän piteli kovan onnen kirjaa!

"Minä en valhettele koskaan!" virkkoi hän aika terävästi.

"Minä käyn huomenna sitä kysäisemässä", vastasi vieras

kumartaen ja lähti.

Nyt kutsuttiin saapuville taitavin sälli, joka sai käskyn laatia oikean
taideteoksen, mutta ollenkaan hätiköimättä, sillä kun ei ollut kiirettä.

"Hän kyllä saa odottaa ja olla tuskissaan…" tuumi tyttö itsekseen.

"Kenpä tietää, mitä sen jälkeen voi seurata?"

*****

Valtaneuvokset Pietari Turenpoika, Sten Kristerinpoika ja Bron

kartanon Maunu herra istuivat kiintyneinä vilkkaaseen keskusteluun.
Märta rouva oli kutsunut heidät erityiseen neuvotteluun Tukholman
linnan salakamariin. Hän oli ilmaissut heille huolensa ja sitten
jättänyt heidät omin päin pohtimaan asemaa.
Welcome to our website – the perfect destination for book lovers and
knowledge seekers. We believe that every book holds a new world,
offering opportunities for learning, discovery, and personal growth.
That’s why we are dedicated to bringing you a diverse collection of
books, ranging from classic literature and specialized publications to
self-development guides and children's books.

More than just a book-buying platform, we strive to be a bridge

connecting you with timeless cultural and intellectual values. With an
elegant, user-friendly interface and a smart search system, you can
quickly find the books that best suit your interests. Additionally,
our special promotions and home delivery services help you save time
and fully enjoy the joy of reading.

Join us on a journey of knowledge exploration, passion nurturing, and

personal growth every day!

ebookbell.com