Sampling, Regression, Experimental Design and Analysis for

Environmental Scientists, Biologists, and Resource Managers

C. J. Schwarz
Department of Statistics and Actuarial Science, Simon Fraser University
[email protected]
December 21, 2012

Contents
1

In the beginning...
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Effective note taking strategies . . . . . . . . . . . . . . . . . . . . . . .
1.3 Its all  to me . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4 Which computer package? . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 FAQ - Frequently Asked Question . . . . . . . . . . . . . . . . . . . . .
1.5.1 Accessing journal articles from home . . . . . . . . . . . . . . .
1.5.2 Downloading from the web . . . . . . . . . . . . . . . . . . . .
1.5.3 Printing 2 pages per physical page and on both sides of the paper .
1.5.4 Is there an on-line textbook? . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

15
15
16
19
19
28
28
28
28
29

Introduction to Statistics
2.1 TRRGET - An overview of statistical inference . . . . . . . . . . . .
2.2 Parameters, Statistics, Standard Deviations, and Standard Errors . . .
2.2.1 A review . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.2 Theoretical example of a sampling distribution . . . . . . . .
2.3 Confidence Intervals . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.1 A review . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.2 Some practical advice . . . . . . . . . . . . . . . . . . . . .
2.3.3 Technical details . . . . . . . . . . . . . . . . . . . . . . . .
2.4 Hypothesis testing . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.1 A review . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.2 Comparing the population parameter against a known standard
2.4.3 Comparing the population parameter between two groups . .
2.4.4 Type I, Type II and Type III errors . . . . . . . . . . . . . . .
2.4.5 Some practical advice . . . . . . . . . . . . . . . . . . . . .
2.4.6 The case against hypothesis testing . . . . . . . . . . . . . .
2.4.7 Problems with p-values - what does the literature say? . . . .
Statistical tests in publications of the Wildlife Society . . . . .
The Insignificance of Statistical Significance Testing . . . . .
Followups . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5 Meta-data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5.1 Scales of measurement . . . . . . . . . . . . . . . . . . . . .
2.5.2 Types of Data . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

30
31
34
34
39
41
42
48
49
50
50
51
58
62
65
66
69
69
69
71
71
71
73

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

CONTENTS
2.5.3 Roles of data . . . . . . . . . . . . . . . . . . . . . . . .
Bias, Precision, Accuracy . . . . . . . . . . . . . . . . . . . . . .
Types of missing data . . . . . . . . . . . . . . . . . . . . . . . .
Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . .
2.8.2 Conditions under which a log-normal distribution appears
2.8.3 ln() vs. log() . . . . . . . . . . . . . . . . . . . . . . . .
2.8.4 Mean vs. Geometric Mean . . . . . . . . . . . . . . . . .
2.8.5 Back-transforming estimates, standard errors, and ci . . .
Mean on log-scale back to MEDIAN on anti-log scale . .
2.8.6 Back-transforms of differences on the log-scale . . . . . .
2.8.7 Some additional readings on the log-transform . . . . . .
2.9 Standard deviations and standard errors revisited . . . . . . . . .
2.10 Other tidbits . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.10.1 Interpreting p-values . . . . . . . . . . . . . . . . . . . .
2.10.2 False positives vs. false negatives . . . . . . . . . . . . .
2.10.3 Specificity/sensitivity/power . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

74
74
77
79
79
80
80
81
82
82
83
84
95
104
104
104
104

Sampling
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 Difference between sampling and experimental design . . . . .
3.1.2 Why sample rather than census? . . . . . . . . . . . . . . . . .
3.1.3 Principle steps in a survey . . . . . . . . . . . . . . . . . . . .
3.1.4 Probability sampling vs. non-probability sampling . . . . . . .
3.1.5 The importance of randomization in survey design . . . . . . .
3.1.6 Model vs. Design based sampling . . . . . . . . . . . . . . . .
3.1.7 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Overview of Sampling Methods . . . . . . . . . . . . . . . . . . . . .
3.2.1 Simple Random Sampling . . . . . . . . . . . . . . . . . . . .
3.2.2 Systematic Surveys . . . . . . . . . . . . . . . . . . . . . . . .
3.2.3 Cluster sampling . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.4 Multi-stage sampling . . . . . . . . . . . . . . . . . . . . . . .
3.2.5 Multi-phase designs . . . . . . . . . . . . . . . . . . . . . . .
3.2.6 Panel design - suitable for long-term monitoring . . . . . . . .
3.2.7 Sampling non-discrete objects . . . . . . . . . . . . . . . . . .
3.2.8 Key considerations when designing or analyzing a survey . . .
3.3 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 Simple Random Sampling Without Replacement (SRSWOR) . . . . . .
3.4.1 Summary of main results . . . . . . . . . . . . . . . . . . . . .
3.4.2 Estimating the Population Mean . . . . . . . . . . . . . . . . .
3.4.3 Estimating the Population Total . . . . . . . . . . . . . . . . .
3.4.4 Estimating Population Proportions . . . . . . . . . . . . . . . .
3.4.5 Example - estimating total catch of fish in a recreational fishery
What is the population of interest? . . . . . . . . . . . . . . . .
What is the frame? . . . . . . . . . . . . . . . . . . . . . . . .
What is the sampling design and sampling unit? . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

106
108
108
109
109
110
111
114
115
115
115
117
120
124
126
128
129
129
131
131
132
133
133
134
134
136
137
137

2.6
2.7
2.8

c
2012
Carl James Schwarz

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

December 21, 2012

CONTENTS
Excel analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
SAS analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
3.5 Sample size determination for a simple random sample . . . . . . . . . . . . . . . . . . . . 141
3.5.1 Example - How many angling-parties to survey . . . . . . . . . . . . . . . . . . . . 144
3.6 Systematic sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
3.6.1 Advantages of systematic sampling . . . . . . . . . . . . . . . . . . . . . . . . . . 148
3.6.2 Disadvantages of systematic sampling . . . . . . . . . . . . . . . . . . . . . . . . . 148
3.6.3 How to select a systematic sample . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
3.6.4 Analyzing a systematic sample . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
3.6.5 Technical notes - Repeated systematic sampling . . . . . . . . . . . . . . . . . . . . 149
Example of replicated subsampling within a systematic sample . . . . . . . . . . . . 149
3.7 Stratified simple random sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
3.7.1 A visual comparison of a simple random sample vs. a stratified simple random sample154
3.7.2 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
3.7.3 Summary of main results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
3.7.4 Example - sampling organic matter from a lake . . . . . . . . . . . . . . . . . . . . 164
3.7.5 Example - estimating the total catch of salmon . . . . . . . . . . . . . . . . . . . . 168
What is the population of interest? . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
What is the sampling frame? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
What is the sampling design? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Excel analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
SAS analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
When should the various estimates be used? . . . . . . . . . . . . . . . . . . . . . . 175
3.7.6 Sample Size for Stratified Designs . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
3.7.7 Allocating samples among strata . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
3.7.8 Example: Estimating the number of tundra swans. . . . . . . . . . . . . . . . . . . 183
3.7.9 Post-stratification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
3.7.10 Allocation and precision - revisited . . . . . . . . . . . . . . . . . . . . . . . . . . 189
3.8 Ratio estimation in SRS - improving precision with auxiliary information . . . . . . . . . . 190
3.8.1 Summary of Main results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
3.8.2 Example - wolf/moose ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Excel analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
SAS Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
Post mortem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
3.8.3 Example - Grouse numbers - using a ratio estimator to estimate a population total . . 201
Excel analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
SAS analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
Post mortem - a question to ponder . . . . . . . . . . . . . . . . . . . . . . . . . . 209
3.9 Additional ways to improve precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
3.9.1 Using both stratification and auxiliary variables . . . . . . . . . . . . . . . . . . . . 210
3.9.2 Regression Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
3.9.3 Sampling with unequal probability - pps sampling . . . . . . . . . . . . . . . . . . 211
3.10 Cluster sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
3.10.1 Sampling plan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
3.10.2 Advantages and disadvantages of cluster sampling compared to SRS . . . . . . . . . 219
3.10.3 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

c
2012
Carl James Schwarz

December 21, 2012

CONTENTS
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

220
221
222
225
227
227
231
235
235
236
237
238
240
240
242
242
246
247
247
248
248
249
249

Designed Experiments - Terminology and Introduction

4.1 Terminology and Introduction . . . . . . . . . . . . . . . . . . . .
4.1.1 Definitions . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.2 Treatment, Experimental Unit, and Randomization Structure
4.1.3 The Three Rs of Experimental Design . . . . . . . . . . .
4.1.4 Placebo Effects . . . . . . . . . . . . . . . . . . . . . . . .
4.1.5 Single and bouble blinding . . . . . . . . . . . . . . . . . .
4.1.6 Hawthorne Effect . . . . . . . . . . . . . . . . . . . . . . .
4.2 Applying some General Principles of Experimental Design . . . . .
4.2.1 Experiment 1 . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.2 Experiment 2 . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.3 Experiment 3 . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.4 Experiment 4 . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.5 Experiment 5 . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Some Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.1 The Salk Vaccine Experiment . . . . . . . . . . . . . . . .
4.3.2 Testing Vitamin C - Mistakes do happen . . . . . . . . . . .
4.4 Key Points in Design of Experiments . . . . . . . . . . . . . . . . .
4.4.1 Designing an Experiment . . . . . . . . . . . . . . . . . . .
4.4.2 Analyzing the data . . . . . . . . . . . . . . . . . . . . . .
4.4.3 Writing the Report . . . . . . . . . . . . . . . . . . . . . .
4.5 A Road Map to What is Ahead . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

250
251
251
252
255
257
257
258
258
259
259
259
260
260
261
261
262
262
263
264
264
265

3.11

3.12
3.13
3.14

3.10.4 Summary of main results . . . . . . . . . . . . . . . . . .

3.10.5 Example - estimating the density of urchins . . . . . . . .
Excel Analysis . . . . . . . . . . . . . . . . . . . . . . .
SAS Analysis . . . . . . . . . . . . . . . . . . . . . . . .
Planning for future experiments . . . . . . . . . . . . . .
3.10.6 Example - estimating the total number of sea cucumbers .
SAS Analysis . . . . . . . . . . . . . . . . . . . . . . . .
Multi-stage sampling - a generalization of cluster sampling . . . .
3.11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . .
3.11.2 Notation . . . . . . . . . . . . . . . . . . . . . . . . . .
3.11.3 Summary of main results . . . . . . . . . . . . . . . . . .
3.11.4 Example - estimating number of clams . . . . . . . . . .
Excel Spreadsheet . . . . . . . . . . . . . . . . . . . . .
SAS Program . . . . . . . . . . . . . . . . . . . . . . . .
3.11.5 Some closing comments on multi-stage designs . . . . . .
Analytical surveys - almost experimental design . . . . . . . . . .
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Frequently Asked Questions (FAQ) . . . . . . . . . . . . . . . . .
3.14.1 Confusion about the definition of a population . . . . . .
3.14.2 How is N defined . . . . . . . . . . . . . . . . . . . . . .
3.14.3 Multi-stage vs. Multi-phase sampling . . . . . . . . . . .
3.14.4 What is the difference between a Population and a frame?
3.14.5 How to account for missing transects. . . . . . . . . . . .

c
2012
Carl James Schwarz

December 21, 2012

CONTENTS
4.5.1
4.5.2
4.5.3
5

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
Experimental Protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
Some Common Designs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

Single Factor - Completely Randomized Designs (a.k.a. One-way design)

5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2 Randomization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.1 Using a random number table . . . . . . . . . . . . . . . . . . . . . .
Assigning treatments to experimental units . . . . . . . . . . . . . . .
Selecting from the population . . . . . . . . . . . . . . . . . . . . . .
5.2.2 Using a computer . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Randomly assign treatments to experimental units . . . . . . . . . . .
Randomly selecting from populations . . . . . . . . . . . . . . . . . .
5.3 Assumptions - the overlooked aspect of experimental design . . . . . . . . . .
5.3.1 Does the analysis match the design? . . . . . . . . . . . . . . . . . . .
5.3.2 No outliers should be present . . . . . . . . . . . . . . . . . . . . . . .
5.3.3 Equal treatment group population standard deviations? . . . . . . . . .
5.3.4 Are the errors normally distributed? . . . . . . . . . . . . . . . . . . .
5.3.5 Are the errors are independent? . . . . . . . . . . . . . . . . . . . . .
5.4 Two-sample t-test- Introduction . . . . . . . . . . . . . . . . . . . . . . . . .
5.5 Example - comparing mean heights of children - two-sample t-test . . . . . . .
5.6 Example - Fat content and mean tumor weights - two-sample t-test . . . . . . .
5.7 Example - Growth hormone and mean final weight of cattle - two-sample t-test
5.8 Power and sample size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.8.1 Basic ideas of power analysis . . . . . . . . . . . . . . . . . . . . . .
5.8.2 Prospective Sample Size determination . . . . . . . . . . . . . . . . .
5.8.3 Example of power analysis/sample size determination . . . . . . . . .
Using tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Using a package to determine power . . . . . . . . . . . . . . . . . . .
5.8.4 Further Readings on Power analysis . . . . . . . . . . . . . . . . . . .
5.8.5 Retrospective Power Analysis . . . . . . . . . . . . . . . . . . . . . .
5.8.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.9 ANOVA approach - Introduction . . . . . . . . . . . . . . . . . . . . . . . . .
5.9.1 An intuitive explanation for the ANOVA method . . . . . . . . . . . .
5.9.2 A modeling approach to ANOVA . . . . . . . . . . . . . . . . . . . .
5.10 Example - Comparing phosphorus content - single-factor CRD ANOVA . . . .
5.11 Example - Comparing battery lifetimes - single-factor CRD ANOVA . . . . . .
5.12 Example - Cuckoo eggs - single-factor CRD ANOVA . . . . . . . . . . . . . .
5.13 Multiple comparisons following ANOVA . . . . . . . . . . . . . . . . . . . .
5.13.1 Why is there a problem? . . . . . . . . . . . . . . . . . . . . . . . . .
5.13.2 A simulation with no adjustment for multiple comparisons . . . . . . .
5.13.3 Comparisonwise- and Experimentwise Errors . . . . . . . . . . . . . .
5.13.4 The Tukey-Adjusted t-Tests . . . . . . . . . . . . . . . . . . . . . . .
5.13.5 Recommendations for Multiple Comparisons . . . . . . . . . . . . . .
5.13.6 Displaying the results of multiple comparisons . . . . . . . . . . . . .
5.14 Prospective Power and sample sizen - single-factor CRD ANOVA . . . . . . .

c
2012
Carl James Schwarz

December 21, 2012

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

272
273
274
275
275
276
276
277
281
285
286
286
287
288
289
289
290
297
303
310
311
312
313
314
314
319
320
321
322
323
328
331
343
353
366
366
367
369
370
372
373
375

CONTENTS

5.15
5.16

5.17
5.18
5.19
6

5.14.1 Using Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.14.2 Using SAS to determine power . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.14.3 Retrospective Power Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Pseudo-replication and sub-sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Frequently Asked Questions (FAQ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.16.1 What does the F -statistic mean? . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.16.2 What is a test statistic - how is it used? . . . . . . . . . . . . . . . . . . . . . . . .
5.16.3 What is MSE? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.16.4 Power - various questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
What is meant by detecting half the difference? . . . . . . . . . . . . . . . . . . . .
Do we use the std dev, the std error, or root MSE in the power computations? . . . .
Retrospective power analysis; how is this different from regular (i.e., prospective)
power analysis? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
What does power tell us? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
When to use retrospective and prospective power? . . . . . . . . . . . . . . . . . .
When should power be reported . . . . . . . . . . . . . . . . . . . . . . . . . . . .
What is done with the total sample size reported by JMP? . . . . . . . . . . . . .
5.16.5 How to compare treatments to a single control? . . . . . . . . . . . . . . . . . . . .
5.16.6 Experimental unit vs. observational unit . . . . . . . . . . . . . . . . . . . . . . . .
5.16.7 Effects of analysis not matching design . . . . . . . . . . . . . . . . . . . . . . . .
Table: Sample size determination for a two sample t-test . . . . . . . . . . . . . . . . . . .
Table: Sample size determination for a single factor, fixed effects, CRD . . . . . . . . . . .
Scientific papers illustrating the methods of this chapter . . . . . . . . . . . . . . . . . . . .
5.19.1 Injury scores when trapping coyote with different trap designs . . . . . . . . . . . .

Single factor - pairing and blocking

6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 Randomization protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2.1 Some examples of several types of block designs . . . . . . . . . .
Completely randomized design - no blocking . . . . . . . . . . . .
Randomized complete block design - RCB design . . . . . . . . . .
Randomized complete block design - RCB design - missing values .
Incomplete block design - not an RCB . . . . . . . . . . . . . . . .
Generalized randomized complete block design . . . . . . . . . . .
6.3 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3.1 Does the analysis match the design? . . . . . . . . . . . . . . . . .
6.3.2 Additivity between blocks and treatments . . . . . . . . . . . . . .
6.3.3 No outliers should be present . . . . . . . . . . . . . . . . . . . . .
6.3.4 Equal treatment group standard deviations? . . . . . . . . . . . . .
6.3.5 Are the errors normally distributed? . . . . . . . . . . . . . . . . .
6.3.6 Are the errors independent? . . . . . . . . . . . . . . . . . . . . .
6.4 Comparing two means in a paired design - the Paired t-test . . . . . . . . .
6.5 Example - effect of stream slope upon fish abundance . . . . . . . . . . . .
6.5.1 Introduction and survey protocol . . . . . . . . . . . . . . . . . . .
6.5.2 Using a Differences analysis . . . . . . . . . . . . . . . . . . . . .
6.5.3 Using a Matched paired analysis . . . . . . . . . . . . . . . . . . .

c
2012
Carl James Schwarz

December 21, 2012

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

376
377
378
379
381
381
381
381
382
382
382
382
383
383
383
384
384
384
385
388
390
393
393
395
396
399
399
400
400
401
401
402
403
403
404
406
406
407
408
408
409
409
412
415

CONTENTS

6.6
6.7
6.8
6.9

6.10
6.11

6.12
6.13
6.14
6.15
6.16

6.17
6.18

6.5.4 Using a General Modeling analysis . . . . . . . . . . . . . . . . . . .

6.5.5 Which analysis to choose? . . . . . . . . . . . . . . . . . . . . . . . .
6.5.6 Comments about the original paper . . . . . . . . . . . . . . . . . . .
Example - Quality check on two laboratories . . . . . . . . . . . . . . . . . . .
Example - Comparing two varieties of barley . . . . . . . . . . . . . . . . . .
Example - Comparing prep of mosaic virus . . . . . . . . . . . . . . . . . . .
Example - Comparing turbidity at two sites . . . . . . . . . . . . . . . . . . .
6.9.1 Introduction and survey protocol . . . . . . . . . . . . . . . . . . . . .
6.9.2 Using a Differences analysis . . . . . . . . . . . . . . . . . . . . . . .
6.9.3 Using a Matched paired analysis . . . . . . . . . . . . . . . . . . . . .
6.9.4 Using a General Modeling analysis . . . . . . . . . . . . . . . . . . .
6.9.5 Which analysis to choose? . . . . . . . . . . . . . . . . . . . . . . . .
Power and sample size determination . . . . . . . . . . . . . . . . . . . . . . .
Single Factor - Randomized Complete Block (RCB) Design . . . . . . . . . .
6.11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.11.2 The potato-peeling experiment - revisited . . . . . . . . . . . . . . . .
6.11.3 An agricultural example . . . . . . . . . . . . . . . . . . . . . . . . .
6.11.4 Basic idea of the analysis . . . . . . . . . . . . . . . . . . . . . . . . .
Example - Comparing effects of salinity in soil . . . . . . . . . . . . . . . . .
6.12.1 Model building - fitting a linear model . . . . . . . . . . . . . . . . . .
Example - Comparing different herbicides . . . . . . . . . . . . . . . . . . . .
Example - Comparing turbidity at several sites . . . . . . . . . . . . . . . . . .
Power and Sample Size in RCBs . . . . . . . . . . . . . . . . . . . . . . . . .
Example - BPK: Blood pressure at presyncope . . . . . . . . . . . . . . . . . .
6.16.1 Experimental protocol . . . . . . . . . . . . . . . . . . . . . . . . . .
6.16.2 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.16.3 Power and sample size . . . . . . . . . . . . . . . . . . . . . . . . . .
Final notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Frequently Asked Questions (FAQ) . . . . . . . . . . . . . . . . . . . . . . . .
6.18.1 Difference between pairing and confounding . . . . . . . . . . . . . .
6.18.2 What is the difference between a paired design and an RCB design? . .
6.18.3 What is the difference between a paired t-test and a two-sample t-test?
6.18.4 Power in RCB/matched pair design - what is root MSE? . . . . . . . .
6.18.5 Testing for block effects . . . . . . . . . . . . . . . . . . . . . . . . .
6.18.6 Presenting results for blocked experiment . . . . . . . . . . . . . . . .
6.18.7 What is a marginal mean? . . . . . . . . . . . . . . . . . . . . . . . .
6.18.8 Multiple experimental units within a block? . . . . . . . . . . . . . . .
6.18.9 How does a block differ from a cluster? . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

417
420
420
421
427
432
437
437
439
442
443
446
447
449
449
449
450
451
453
455
461
468
474
476
476
479
484
487
488
488
489
489
490
490
491
491
492
492

Incomplete block designs

493
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
7.2 Example: Investigate differences in water quality . . . . . . . . . . . . . . . . . . . . . . . 494

Estimating an over all mean with subsampling

501
8.1 Average flagellum length . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
8.1.1 Average-of-averages approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504

c
2012
Carl James Schwarz

December 21, 2012

CONTENTS
8.1.2
8.1.3
9

Using the raw measurements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508

Followup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512

Single Factor - Sub-sampling and pseudo-replication

9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9.2 Example - Fat levels in fish - balanced data in a CRD . . . . . . . . . . . . .
9.2.1 Analysis based on sample means . . . . . . . . . . . . . . . . . . . .
9.2.2 Analysis using individual values . . . . . . . . . . . . . . . . . . . .
9.3 Example - fat levels in fish - unbalanced data in a CRD . . . . . . . . . . . .
9.4 Example - Effect of UV radiation - balanced data in RCB . . . . . . . . . . .
9.4.1 Analysis on sample means . . . . . . . . . . . . . . . . . . . . . . .
9.4.2 Analysis using individual values . . . . . . . . . . . . . . . . . . . .
9.5 Example - Monitoring Fry Levels - unbalanced data with sampling over time
9.5.1 Some preliminary plots . . . . . . . . . . . . . . . . . . . . . . . . .
9.5.2 Approximate analysis of means . . . . . . . . . . . . . . . . . . . .
9.5.3 Analysis of raw data . . . . . . . . . . . . . . . . . . . . . . . . . .
9.5.4 Planning for future experiments . . . . . . . . . . . . . . . . . . . .
9.6 Example - comparing mean flagella lengths . . . . . . . . . . . . . . . . . .
9.6.1 Average-of-averages approach . . . . . . . . . . . . . . . . . . . . .
9.6.2 Analysis on individual measurements . . . . . . . . . . . . . . . . .
9.6.3 Followup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9.7 Final Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

513
514
514
516
519
524
525
528
531
535
538
540
544
545
547
550
562
568
568

10 Two Factor Designs - Single-sized Experimental units - CR and RCB designs

10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1.1 Treatment structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Why factorial designs? . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Why not factorial designs? . . . . . . . . . . . . . . . . . . . . . . . . . .
Displaying and interpreting treatment effects - profile plots . . . . . . . . .
10.1.2 Experimental unit structure . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1.3 Randomization structure . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1.4 Putting the three structures together . . . . . . . . . . . . . . . . . . . . .
10.1.5 Balance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1.6 Fixed or random effects . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1.7 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1.8 General comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2 Example - Effect of photo-period and temperature on gonadosomatic index - CRD .
10.2.1 Design issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2.2 Preliminary summary statistics . . . . . . . . . . . . . . . . . . . . . . . .
10.2.3 The statistical model . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2.4 Fitting the model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2.5 Hypothesis testing and estimation . . . . . . . . . . . . . . . . . . . . . .
10.3 Example - Effect of sex and species upon chemical uptake - CRD . . . . . . . . . .
10.3.1 Design issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.3.2 Preliminary summary statistics . . . . . . . . . . . . . . . . . . . . . . . .
10.3.3 The statistical model . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

569
570
571
572
573
573
579
581
582
582
583
584
585
586
587
588
593
594
595
603
605
606
609

c
2012
Carl James Schwarz

December 21, 2012

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

CONTENTS
10.3.4 Fitting the model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.4 Power and sample size for two-factor CRD . . . . . . . . . . . . . . . . . . . . . . . .
10.5 Unbalanced data - Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.6 Example - Stream residence time - Unbalanced data in a CRD . . . . . . . . . . . . . .
Design issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.6.1 Preliminary summary statistics . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.6.2 The Statistical Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.6.3 Hypothesis testing and estimation . . . . . . . . . . . . . . . . . . . . . . . . .
10.6.4 Power and sample size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.7 Example - Energy consumption in pocket mice - Unbalanced data in a CRD . . . . . . .
10.7.1 Design issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.7.2 Preliminary summary statistics . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.7.3 The statistical model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.7.4 Fitting the model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.7.5 Hypothesis testing and estimation . . . . . . . . . . . . . . . . . . . . . . . . .
10.7.6 Adjusting for unequal variances? . . . . . . . . . . . . . . . . . . . . . . . . . .
10.8 Example: Use-Dependent Inactivation in Sodium Channel Beta Subunit Mutation - BPK
10.8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.8.2 Experimental protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.8.3 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.9 Blocking in two-factor CRD designs . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.10FAQ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.10.1 How to determine sample size in two-factor designs . . . . . . . . . . . . . . .
10.10.2 What is the difference between a block and a factor? . . . . . . . . . . . . .
10.10.3 If there is evidence of an interaction, does the analysis stop there? . . . . . . . .
10.10.4 When should you use raw means or LSmeans? . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

11 SAS CODE NOT DONE

609
619
624
626
627
628
629
631
641
641
643
643
646
646
648
656
656
656
656
657
668
669
669
669
670
671
673

12 Two-factor split-plot designs

12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.2 Example - Holding your breath at different water temperatures - BPK
12.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.2.2 Standard split-plot analysis . . . . . . . . . . . . . . . . . . .
12.2.3 Adjusting for body size . . . . . . . . . . . . . . . . . . . . .
12.2.4 Fitting a regression to temperature . . . . . . . . . . . . . . .
12.2.5 Planning for future studies . . . . . . . . . . . . . . . . . . .
12.3 Example - Systolic blood pressure before presyncope - BPK . . . . .
12.3.1 Experimental protocol . . . . . . . . . . . . . . . . . . . . .
12.3.2 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.3.3 Power and sample size determination . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

674
674
675
675
677
685
687
691
698
698
701
707

13 Analysis of BACI experiments

13.1 Introduction . . . . . . . . . . . . . . . . . . . . . .
13.2 Before-After Experiments - prelude to BACI designs
13.2.1 Analysis of stream 1 - yearly averages . . . .
13.2.2 Analysis of Stream 1 - individual values . . .

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

709
710
714
717
719

c
2012
Carl James Schwarz

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

December 21, 2012

CONTENTS
13.2.3 Analysis of all streams - yearly averages . . . . . . . . . . . . . . . . . . . . . . . .
13.2.4 Analysis of all streams - individual values . . . . . . . . . . . . . . . . . . . . . . .
13.3 Simple BACI - One year before/after; one site impact; one site control . . . . . . . . . . . .
13.4 Example: Change in density in crabs near a power plant - one year before/after; one site
impact; one site control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.4.1 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.5 Simple BACI design - limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.6 BACI with Multiple sites; One year before/after . . . . . . . . . . . . . . . . . . . . . . . .
13.7 Example: Density of crabs - BACI with Multiple sites; One year before/after . . . . . . . . .
13.7.1 Converting to an analysis of differences . . . . . . . . . . . . . . . . . . . . . . . .
13.7.2 Using ANOVA on the averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.7.3 Using ANOVA on the raw data . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.7.4 Model assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.8 BACI with Multiple sites; Multiple years before/after . . . . . . . . . . . . . . . . . . . . .
13.9 Example: Counting fish - Multiple years before/after; One site impact; one site control . . .
13.9.1 Analysis of the differences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.9.2 ANOVA on the raw data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.9.3 Model assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.10Example: Counting chironomids - Paired BACI - Multiple-years B/A; One Site I/C . . . . .
13.10.1 Analysis of the differences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.10.2 ANOVA on the raw data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.10.3 Model assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.11Example: Fry monitoring - BACI with Multiple sites; Multiple years before/after . . . . . .
13.11.1 A brief digression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.11.2 Some preliminary plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.11.3 Analysis of the averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.11.4 Analysis of the raw data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.11.5 Power analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.12Closing remarks about the analysis of BACI designs . . . . . . . . . . . . . . . . . . . . . .
13.13BACI designs power analysis and sample size determination . . . . . . . . . . . . . . . . .
13.13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.13.2 Power: Before-After design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Single Location studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Multiple Location studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.13.3 Power: Simple BACI design - one site control/impact; one year before/after; independent samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.13.4 Power: Multiple sites in control/impact; one year before/after; independent samples .
13.13.5 Power: One sites in control/impact; multiple years before/after; no subsampling . . .
13.13.6 Power: General BACI: Multiple sites in control/impact; multiple years before/after;
subsampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14 Comparing proportions - Chi-square (2 ) tests
14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . .
14.2 Response variables vs. Frequency Variables . . . . . .
14.3 Overview . . . . . . . . . . . . . . . . . . . . . . . .
14.4 Single sample surveys - comparing to a known standard

c
2012
Carl James Schwarz

10

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

December 21, 2012

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

721
724
726
727
732
737
737
739
741
744
748
751
752
754
757
761
763
764
766
768
771
771
772
775
779
783
786
787
788
788
791
792
794
798
803
808
811
814
815
816
818
820

CONTENTS
14.4.1 Resource selection - comparison to known habitat proportions
14.4.2 Example: Homicide and Seasons . . . . . . . . . . . . . . .
14.5 Comparing sets of proportions - single factor CRD designs . . . . . .
14.5.1 Example: Elk habitat usage - Random selection of points . . .
14.5.2 Example: Ownership and viability . . . . . . . . . . . . . .
14.5.3 Example: Sex and Automobile Styling . . . . . . . . . . . . .
14.5.4 Example: Marijuana use in college . . . . . . . . . . . . . . .
14.5.5 Example: Outcome vs. cause of accident . . . . . . . . . . .
14.5.6 Example: Activity times of birds . . . . . . . . . . . . . . . .
14.6 Pseudo-replication - Combining tables . . . . . . . . . . . . . . . . .
14.7 Simpsons Paradox - Combining tables . . . . . . . . . . . . . . . . .
14.7.1 Example: Sex bias in admissions . . . . . . . . . . . . . . . .
14.7.2 Example: - Twenty-year survival and smoking status . . . . .
14.8 More complex designs . . . . . . . . . . . . . . . . . . . . . . . . .
14.9 Final notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14.10Appendix - how the test statistic is computed . . . . . . . . . . . . .
14.11Fishers Exact Test . . . . . . . . . . . . . . . . . . . . . . . . . . .
14.11.1 Sampling Protocol . . . . . . . . . . . . . . . . . . . . . . .
14.11.2 Hypothesis . . . . . . . . . . . . . . . . . . . . . . . . . . .
14.11.3 Computation . . . . . . . . . . . . . . . . . . . . . . . . . .
14.11.4 Example: Relationship between Aspirin Use and MI . . . . .
Mechanics of the test . . . . . . . . . . . . . . . . . . . . . .
14.11.5 Avoidance of cane toads by Northern Quolls . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

820
826
830
830
834
839
843
847
851
853
857
857
858
859
859
860
862
864
864
864
867
868
870

15 Correlation and simple linear regression

15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.2 Graphical displays . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.2.1 Scatterplots . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.2.2 Smoothers . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.3 Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.3.1 Scatter-plot matrix . . . . . . . . . . . . . . . . . . . . . . . .
15.3.2 Correlation coefficient . . . . . . . . . . . . . . . . . . . . . .
15.3.3 Cautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.3.4 Principles of Causation . . . . . . . . . . . . . . . . . . . . . .
15.4 Single-variable regression . . . . . . . . . . . . . . . . . . . . . . . .
15.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.4.2 Equation for a line - getting notation straight (no pun intended) .
15.4.3 Populations and samples . . . . . . . . . . . . . . . . . . . . .
15.4.4 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . .
Linearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Correct scale of predictor and response . . . . . . . . . . . . .
Correct sampling scheme . . . . . . . . . . . . . . . . . . . . .
No outliers or influential points . . . . . . . . . . . . . . . . .
Equal variation along the line . . . . . . . . . . . . . . . . . .
Independence . . . . . . . . . . . . . . . . . . . . . . . . . . .
Normality of errors . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

878
879
880
880
882
886
887
889
891
893
895
895
895
896
897
897
897
897
898
898
898
899

c
2012
Carl James Schwarz

11

December 21, 2012

CONTENTS
X measured without error . . . . . . . . . . . . . . .
15.4.5 Obtaining Estimates . . . . . . . . . . . . . . . . . .
15.4.6 Obtaining Predictions . . . . . . . . . . . . . . . . .
15.4.7 Residual Plots . . . . . . . . . . . . . . . . . . . . .
15.4.8 Example - Yield and fertilizer . . . . . . . . . . . . .
15.4.9 Example - Mercury pollution . . . . . . . . . . . . . .
15.4.10 Example - The Anscombe Data Set . . . . . . . . . .
15.4.11 Transformations . . . . . . . . . . . . . . . . . . . .
15.4.12 Example: Monitoring Dioxins - transformation . . . .
15.4.13 Example: Weight-length relationships - transformation
A non-linear fit . . . . . . . . . . . . . . . . . . . . .
15.4.14 Power/Sample Size . . . . . . . . . . . . . . . . . . .
15.4.15 The perils of R2 . . . . . . . . . . . . . . . . . . . .
15.5 A no-intercept model: Fultons Condition Factor K . . . . . .
15.6 Frequent Asked Questions - FAQ . . . . . . . . . . . . . . . .
15.6.1 Do I need a random sample; power analysis . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

899
900
902
903
903
914
923
924
925
937
945
946
947
950
957
957

16 SAS CODE NOT DONE

959

17 SAS CODE NOT DONE

960

18 SAS CODE NOT DONE

961

19 Estimating power/sample size using Program Monitor

19.1 Mechanics of MONITOR . . . . . . . . . . . . . .
19.2 How does MONITOR work? . . . . . . . . . . . .
19.3 Incorporating process and sampling error . . . . .
19.4 Presence/Absence Data . . . . . . . . . . . . . . .
19.5 WARNING about using testing for temporal trends

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

962
963
972
977
986
989

20 SAS CODE NOT DONE

991

21 SAS CODE NOT DONE

992

22 SAS CODE NOT DONE

993

23 Logistic Regression - Advanced Topics

23.1 Introduction . . . . . . . . . . . . . . . . . . . . . . .
23.2 Sacrificial pseudo-replication . . . . . . . . . . . . . .
23.3 Example: Fox-proofing mice colonies . . . . . . . . .
23.3.1 Using the simple proportions as data . . . . . .
23.3.2 Logistic regression using overdispersion . . . .
23.3.3 GLIMM modeling the random effect of colony
23.4 Example: Over-dispersed Seeds Germination Data . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

24 SAS CODE NOT DONE

c
2012
Carl James Schwarz

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

994
994
995
996
997
999
1000
1002
1010

12

December 21, 2012

CONTENTS
25 A short primer on residual plots
25.1 Linear Regression . . . . . . . . . . . . .
25.2 ANOVA residual plots . . . . . . . . . .
25.3 Logistic Regression residual plots - Part I
25.4 Logistic Regression residual plots - Part II
25.5 Poisson Regression residual plots - Part I .
25.6 Poisson Regression residual plots - Part II

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

26 SAS CODE NOT DONE

1011
1012
1013
1015
1016
1017
1019
1021

27 Tables
27.1 A table of uniform random digits . . . . . . . . . . . . . . . . .
27.2 Selected Binomial individual probabilities . . . . . . . . . . . .
27.3 Selected Poisson individual probabilities . . . . . . . . . . . . .
27.4 Cumulative probability for the Standard Normal Distribution .
27.5 Selected percentiles from the t-distribution . . . . . . . . . . .
27.6 Selected percentiles from the chi-squared-distribution . . . . .
27.7 Sample size determination for a two sample t-test . . . . . . . .
27.8 Power determination for a two sample t-test . . . . . . . . . . .
27.9 Sample size determination for a single factor, fixed effects, CRD
27.10Power determination for a single factor, fixed effects, CRD . . .

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

1022
1022
1026
1034
1037
1039
1040
1041
1043
1045
1049

28 THE END!
1053
28.1 Statisfaction - with apologies to Jagger/Richards . . . . . . . . . . . . . . . . . . . . . . . . 1053
28.2 ANOVA Man with apologies to Lennon/McCartney . . . . . . . . . . . . . . . . . . . . . . 1055
29 An overview of enviromental field studies
29.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29.1.1 Survey Methods . . . . . . . . . . . . . . . . . . . . . .
Simple Random Sampling . . . . . . . . . . . . . . . . .
Systematic Surveys . . . . . . . . . . . . . . . . . . . . .
Cluster sampling . . . . . . . . . . . . . . . . . . . . . .
Multi-stage sampling . . . . . . . . . . . . . . . . . . . .
Multi-phase designs . . . . . . . . . . . . . . . . . . . .
Summary comparison of designs . . . . . . . . . . . . . .
29.1.2 Permanent or temporary monitoring stations . . . . . . . .
29.1.3 Refinements that affect precision . . . . . . . . . . . . . .
Stratification . . . . . . . . . . . . . . . . . . . . . . . .
Auxiliary variables . . . . . . . . . . . . . . . . . . . . .
Sampling with unequal probability . . . . . . . . . . . . .
29.1.4 Sample size determination . . . . . . . . . . . . . . . . .
29.2 Analytical surveys . . . . . . . . . . . . . . . . . . . . . . . . . .
29.3 Impact Studies . . . . . . . . . . . . . . . . . . . . . . . . . . .
29.3.1 Before/After contrasts at a single site . . . . . . . . . . .
29.3.2 Repeated before/after sampling at a single site. . . . . . .
29.3.3 BACI: Before/After and Control/Impact Surveys . . . . .
29.3.4 BACI-P: Before/After and Control/Impact - Paired designs
c
2012
Carl James Schwarz

13

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

December 21, 2012

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

1057
1058
1065
1065
1067
1070
1074
1076
1078
1079
1080
1080
1083
1083
1084
1084
1087
1088
1088
1089
1092

CONTENTS

29.4
29.5
29.6

29.7

29.3.5 Enhanced BACI-P: Designs to detect acute vs. chronic effects or to detect changes
in variation as well as changes in the mean. . . . . . . . . . . . . . . . . . . . . . .
29.3.6 Designs for multiple impacts spread over time . . . . . . . . . . . . . . . . . . . . .
29.3.7 Accidental Impacts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Selected journal articles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29.6.1 Designing Environmental Field Studies . . . . . . . . . . . . . . . . . . . . . . . .
29.6.2 Beyond BACI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29.6.3 Environmental impact assessment . . . . . . . . . . . . . . . . . . . . . . . . . . .
Examples of studies for discussion - good exam questions! . . . . . . . . . . . . . . . . . .
29.7.1 Effect of burn upon salamanders . . . . . . . . . . . . . . . . . . . . . . . . . . . .

c
2012
Carl James Schwarz

14

December 21, 2012

1094
1096
1099
1108
1110
1112
1112
1113
1113
1114
1114