Progress on Process Safety Indicators ‐ Necessary but Not Sufficient? 
A DISCUSSION PAPER FOR THE US CHEMICAL SAFETY AND HAZARD INVESTIGATION BOARD  

Peter Wilkinson  

Managing Director Noetic Risk Solutions Pty Ltd 

www.noeticgroup.com 

   

1 
 
 

Introduction 

The CSB commissioned this paper which reviews the progress made in developing process safety 
indicators both in the United States and overseas over the last few years. Much of this work was 
stimulated by the Texas City disaster in 2005, the Buncefield oil terminal explosion in the same year 
in the UK and of course the more recent Macondo disaster in the Gulf of Mexico. The paper is 
intended to encourage debate about safety indicators and suggest how further improvements may 
be made. In particular, the paper considers whether or not the safety indicator guidance published 
by a variety of organisations such as the American Petroleum Institute (API) in 20101 and the 
International Association of Oil and Gas Producers (2011)2 is sufficient to assist companies and 
regulators in preventing another Macondo (or Montara) type incident, given what we know about 
the causes of accidents.  

The paper concludes that whilst there is tangible progress on safety indicators relevant to the major 
incidents which can occur in offshore petroleum safety, this progress seems limited in scope 
compared with what could be done in the light of existing knowledge. Meanwhile despite the 
progress made on process safety indicators, personal safety measures such as Lost Time Injury 
Frequency Rates (LTIFR) or similar measures appear to be still given too much prominence by 
companies despite their well‐known weaknesses in relation to major accident prevention. Further 
work seems to be warranted to publicise their limitations. 

The paper suggests how we can get better indicators, especially in relation to offshore drilling. This 
involves identifying the specific hazards and risks presented by drilling and assigning indicators to 
the causes. There are a relatively limited number of these which are well known. The paper  goes on 
to report on a practical example of how this methodology is currently being applied by one upstream 
oil and gas company following the Montara blowout in Australia. The paper also considers the 
approach adopted by the mining industry in Queensland, Australia to risk management. The 
underground coal mining industry, like petroleum drilling, is also faced with the risk of catastrophic 
events such as fires and explosions in circumstances where natural phenomena have a bearing on 
the risk. This line of thought is offered by analogy to see if this mining approach offers any insights 
for the upstream oil and gas industry. 

Finally, it is argued that even with the addition of indicators which address drilling more specifically, 
in addition to the losses of containment measures, these would still not be sufficient. This is because 
not all foreseeable major incident types are neither process safety related nor drilling related, as the 
recent loss of the jack‐up Kolskaya demonstrates. 

 Indicators: Definitions and Uses 

Indicators are generally regarded as an important part of an organisation’s system for measuring its 
performance. “What gets measured gets done” is a well‐known adage frequently quoted in popular 

                                                            
1
 ANSI/API Recommended Practice 754: Process Safety Indicators for the Refining and Petrochemical 
Industries, 2010. 
2
 OGP Process Safety – Recommended Practice on Key Performance Indicators, Report 456, November 2011. 

2 
 
books on management theory and practice.3 Indicators, or “key performance indicators” in general 
management applications, are typically used by an organisation to evaluate its performance as a 
whole or the performance of a particular activity in which it is engaged. What is implied by the “what 
gets measured gets done,” adage is that measurement is not an end in itself but enables action to be 
taken.  

By contrast the Organisation for Economic Cooperation and Development (OECD) defines safety 
performance indicators as “…observable measures that provide insights into a concept – safety – 
that is difficult to measure directly.”4 The OECD definition usefully reminds us of the obvious but 
important point that safety is not easy to measure and we have to do it by inference from a 
surrogate indicator which we believe tells us something about safety. The relevance of the surrogate 
measures we choose is discussed later. Although at first sight the OECD appears to have a weaker 
definition with less emphasis on action, the OECD (following the work done by the UK safety 
regulatory body, the Health and Safety Executive (HSE)5 emphasises the importance of acting on the 
indicators. Put another way, indicators are generally regarded as being an enabler for managerial 
control and in another popular adage it is said that “you cannot manage what you do not measure.” 
All this seems obvious and straightforward, but as with most management concepts, the difficulties 
lie in their detailed application.  

Regulators tend to want indicators to direct regulatory interventions and safety improvement 
programs. This requires data over a time period long enough to determine the causes of accidents ‐ 
typically years ‐ and preferably statistically reliable. Company boards and senior executives are also 
interested in these broad industry trends because this information is needed to inform the action 
taken in their own companies.  But more specifically, they need to know how their company’s safety 
strategy is working in practice to determine what adjustments to company strategies and plans are 
needed. This information is typically collated over a shorter period, say a year. At a plant or facility 
level, personnel also need to know about accident causation in their industry and of course should 
know what is going on in their company. However, they are specifically tasked with managing the 
day to day risks as well. Consequently, they need much more specific information in (near) real time 
on which to take action to manage the risks.  

What have we learnt about Safety Indicators? 

The most popular measures or indicators of “safety” are frequency rates and severity rates of 
accidents based on personal injury such as lost time injury frequency rates (LTIFR). LTIFR and similar 
data are valued by government regulators and companies alike for their apparent value in being able 
to compare companies and industries. They can discriminate, at least in theory, which are the best 
and worst industries and which companies or parts of companies are doing better than others. They 
have proved remarkably durable. Although there has been much greater take up by companies of 

                                                            
3
 See for example Wayne W. Eckerson, “Measuring, Monitoring and Managing Your Business” ISBN 978‐0471 – 
75765‐8. 
4
 Guidance on Developing Safety Performance Indicators related to Chemical Accident Prevention, 
Preparedness and Response 2nd edition 2008, OECD, Paris 2008.  
5
 Developing process safety indicators: A step by step guide for chemical and major hazard industries, HSG 254, 
ISBN 978 0 7176 6180 0. 

3 
 
process safety indicators, LTIFR type safety indicators still seem to have great prominence as will be 
seen below.  

Problems with Personal Safety Indicators  

Personal safety indicators, such as LTIFR, are not without their problems, beyond what should be the 
familiar issue of their lack of applicability to relatively rare process safety events. These include their 
focus on consequences as opposed to causes, their lack of utility for occupational health (despite 
this being a much greater health and safety issue as measured by the number of deaths compared to 
personal safety) and their susceptibility to manipulation. These are discussed further below. There is 
an underlying assumption that personal safety data do provide valid comparisons on health and 
safety performance despite these well‐known problems. For example, OGP hope to “… gain the KPI 
consistency and benchmarking value that took many years to achieve for personal safety [and as a 
result] OGP have aligned definitions…with RP 754.”6 Although this is the orthodoxy, it is far from 
clear that personal safety measures represent the pinnacle of achievement implied by OGP.  The 
following section briefly considers personal safety measures such as LTIFR to see if there are any 
lessons to be learnt for process safety. 

Cause or Consequence? 

Consider the following hypothetical example. A person walks out of the office down a flight of stairs 
and slips on some spilt oil. What are the consequences of this? The person may land heavily on their 
bottom and only their dignity is hurt! Alternatively they may fall so that the back of their skull hits 
the edge of the step, fracturing their skull resulting in hospitalisation. The second incident is 
captured by the LTIFR measure but the first is not, although the underlying condition, the slippery 
step, is exactly the same in both incidents.  

Thus there is an element of randomness in LTI rates because they measure the consequences of 
incidents and not the causes and the consequences are highly susceptible to chance over which the 
company has no control. This is an important criticism of LTI rates. Because of the randomness of the 
consequences measured by LTIs, it may be difficult for employees and their managers to see the 
connection between the efforts they expend on safety and what is measured. In other words they 
have only very limited control over the results or consequences as measured by LTIs but companies 
should have much more control over the causes or circumstances which led to the incident.  
Effective prevention therefore has to focus on the causes of incidents because outcomes or 
consequences can be random and uncontrollable.  

This has long been known. Although expressed in the language from an earlier era, in a pamphlet 
published in 1932,7 the UK safety regulator (a forerunner of HSE) pointed out that:  

“It is also extremely useful to have records kept of all accidents to plant etc which might [emphasis 
added] have resulted in personal injuries. A careful analysis of these records and a proper study of 
them will indicate the location and causes of the various accident risks.”  

                                                            
6
 OGP 2011 Appendix B, page 24. 
7
 Home Office “Safety Organisation in Factories,” published by HMSO 1932. 

4 
 
In other words we need to know what could have happened not just what did. Is process safety any 
different? It is axiomatic that the success of the indicator is dependent on a good understanding of 
what it is important to measure to indicate performance. Whilst this is self‐evident, significant 
mistakes are made about the linkages between what is measured in an organisation such as LTIs and 
the reality on the ground. A recent example from the UK railway industry illustrates this graphically.8 
The body which regulates safety on the railway found that: 

... significant under‐reporting has taken place – and estimates that between 500 – 600 ... reportable 
accidents were not reported between 2005 and 2010. Some of the under‐reporting relates to 
misinterpretation of the [regulatory] requirements, but the majority is explained by staff and 
contractors choosing not to report accident events. This was caused by both real and perceived 
pressure, and in some cases fear, (emphasis added) felt by Network Rail staff and contractors if they 
reported accidents. The reason this was not identified by Network Rail itself was because it believed 
that the significant efforts it was making to improve safety, including investment in protective 
clothing, quantified targets and league tables, were driving the numbers of accidents down. 

Again this has long been known. In 1992 the author attended an International Loss Control Institute 
training course called the “Fundamentals of Modern Safety Management” run by Det Norske Veritas 
(DNV).9 I attended it in my capacity as a regulator in the UK’s Health and Safety Executive’s Offshore 
Safety Division. I was a member of a team developing standards against which safety cases for 
offshore installations would be assessed in the post Piper Alpha disaster era. The manual which 
accompanied the course commented about the knowledge of some managers on measuring safety: 

About the only “safety” measurements they know about are accident consequences such as 
“frequency rates” and “severity rates.” They are the most abused and misused measurements of 
“safety” and are subject to many variables and forms of manipulation. But their greatest weakness is 
that they are after the fact and reactive. As Charles E. Gilmore pointed out in an address at the 
National Safety Congress: What is the sense in measuring if the loss must occur before you can act? 
That’s reaction, not control.10 

Despite the problems identified above, the incidents measured by LTIFR are relatively easy to 
identify. The incident causing injury is usually obvious and the consequences have an immediate 
impact. This is not necessarily so with the much larger number of occupationally related illnesses 
and deaths associated with chronic exposure to contaminants in the workplace.  

Personal Safety Indicators and Major Incidents  

In relation to process safety, the most important weakness of LTIFR type data is that they “are 
particularly limited for assessing the future risk of high consequence, low probability accidents.”11 
One of the first people to bring this to the attention of a wider audience was Professor Andrew 
                                                            
8
 Rail Safety and Standards Board (UK) (25 January 2011) Press Release. 
http://www.rssb.co.uk/SiteCollectionDocuments/press/2011/RSSB%20RIDDOR%20Review%20Press%20Releas
e.pdf. 
9
 Fundamentals of Modern Safety Management, ILCI, reprinted from “Practical Loss Control Leadership” by 
Frank E. Bird, Jr and George L. Germain. Revised Edition 1990, International Loss Control Institute (ILCI). 
10
 ILCI manual, “Management Control of Loss” 3 – 9. 
11
 Amis, Richard and Richard T. Booth, “Monitoring Health and Safety Management,” The Safety and Health 
Practitioner, vol. 10, February 1992, pp 43 – 46 . 

5 
 
Hopkins whose analysis of Esso’s Longford incident, “The Lessons of Longford” was both very 
readable and influential. The almost self‐evident conclusion that a focus on typical LTIs, (slips, trips, 
sprains and strains) does not tell one much about process plant integrity, essential to prevent fires 
and explosions has since become much more mainstream and recognised in industry. For example, 
Chevron analysed all of its major incidents and concluded, amongst other things, that a “focus on 
individual safety may not address the precursors to major process incidents.”12  

However, personal safety and LTIFR type data are still given prominence by companies in the oil and 
gas industry, at least in some of their public utterances.  For example a major upstream company has 
recently published an open letter on its website from its President on Safety. It mentions “…sand 
storms in Egypt and wildfires in the Permian Basin, extremes of cold in Horn River Basin… [and]…the 
mundane but preventable trip, slips and falls…Over the last five years, recordable injuries of … 
employees have declined by 63 percent and injuries…37 percent(sic).” Process safety is not 
mentioned.13  

These reductions in personal safety are creditable and to be commended and no doubt reflect a 
great deal of commitment and hard work on the part of the company concerned. But in an industry 
susceptible to low frequency but high consequence events, this statement suggests that more work 
may need to be done to explain why process safety needs particular focus so that both process 
safety and personal safety are given appropriate attention.  

Recent Developments in Process Safety Indicators 

The development of indicators more relevant to major incidents was given substantial impetus by 
the investigations into the BP Texas City refinery disaster in 2005 including the recommendation 
made by the US Chemical Safety Board (CSB) that API and the United Steelworkers International 
Union (USW) should work together to develop: 

“…performance indicators for process safety in the refinery and petrochemical industries. Ensure that 
the standard identifies leading and lagging indicators for nationwide public reporting as well as 
indicators for use at individual facilities. Include methods for the development and use of 
performance indicators.”14  

However, it should be noted that work on developing alternative indicators predates this in the 
hydrocarbon industries. For example, two conferences held in 1994 and 1998 for the UK North Sea 
oil and gas industry, “Financial and Non‐financial Performance Measures in the Oil and Gas Sector” 
and “Performance Indicators for a Step Change in Safety” both addressed in some detail the 
improvements needed. This latter conference, held 10 years after the Piper Alpha disaster, had an 
opening address from the UK industry’s peak body, the United Kingdom Offshore Operators 
Association (UKOOA, now UK Oil and Gas). The speaker said, amongst other things, that the industry 
needed to come up,  

                                                            
12
 Personal communication to the author. 
13
 Apache Corporation, “Safety is in the hands of the employee” Rod Eicher, President and chief operating 
office, http://www.apachecorp.com/News/Articles/View_Article.aspx?Article.ItemID=2361, accessed on 6 July 
2012. 
14
 US CSB 2007 “BP Texas City Final Investigation Report” page 212. 

6 
 
“… with indicators which we can all use and which provide meaningful data – information which does 
show us not only how we are doing statistically, but  where the major weak points are in our safety 
management systems. In other words, we need to analyse and eliminate causes of accidents, not just 
look at the symptoms. Ideally we need to do this ahead of problems, so we need Leading Indicators 
to show us where the potential weak links are. By eliminating them we eliminate future accidents.” 15 

In 2006 the UK HSE, working in collaboration with industry, finally gave us a credible way to do this. 
This innovative work integrated the concept of developing lead and lagging indicators into the 
barrier concept of accident causation. In essence the HSE work says that each barrier or risk control 
measure for a defined risk should have specific indicators of performance of the barrier, both 
leading and lagging. Arguably the most important part of this work is the emphasis on the 
methodology for identifying and developing the barriers and the indicators. 

Let us “fast forward” now to 2011 and OGP’s November 2011 “Process Safety – Recommended 
Practice on Key Performance Indicators, Report No.456.” Texas City, and to a lesser extent the 
Buncefield oil terminal explosion in the UK in the same year, were seminal events in the 
development of our thinking on safety indicators. It is an unfortunate reality that change and 
improvement in the field of safety seem to depend in large measure on the energy created by 
disasters and the subsequent investigations. The years following the Texas City disaster in 2005 
reflect this and we have seen the publication of a number of guidance documents on process safety 
indicators from the UK (HSE 2006), OECD (2008), CCPS (2007 and 2010), API (2010) of which the 
aforementioned OGP report is but the latest. Each one had the benefit of those going before it.  

API Recommended Practice 754 

Before discussing the OGP Recommended Practice, because it is so closely based on API 
Recommended Practice 754 (produced as a result of the CSB recommendation following the Texas 
City disaster) it is appropriate to briefly describe API 754. 

API 754 identifies leading and lagging process safety indicators relevant to the refining and allied 
industries. There are four tiers of indicators presented in the form of a pyramid. At the top of the 
pyramid are losses of primary containment events of the greatest consequence. These are Tier 1 
events. Tier 2 indicators are loss of containment events of less consequence than Tier 1s. Both are 
carefully defined and are intended for public reporting.   

At the bottom of the pyramid are those managerial and operating aspects of operating a facility 
which, if successful, should contribute to a safe facility. There are potentially a large number of these 
measures which need to be appropriate to a given facility and which must be selected by the 
company; thus, they are not proscriptively defined in API 754. These are Tier 3 and 4 indicators and 
are intended for internal use at individual sites. API 754 recommends that leading indicators are 
appropriate for these topics. The OGP Recommended Practice discussed below and published in 
November 2011 closely follows the concepts and models set out in API RP 754. 

                                                            
15
 Javan Ottoson, Director, Gas Business Unit, Arco British Ltd, Speech notes for conference on performance 
measures to achieve a step change in safety, Thursday 15 October 1998. 

7 
 
 OGP Recommended Practice on Key Performance Indicators, Report No.456. (OGP 456) 

OGP 456 has the benefit of, and appropriately draws on, the work by the UK HSE with its focus on 
developing leading and lagging indicators for barriers to incidents as well as the other 
aforementioned reports.  It is particularly important because it is the only document specifically 
aimed at the upstream oil and gas industry, including drilling. It is in this context that the following 
discussion on the OGP Recommended Practice takes place. Given the Deepwater Horizon incident, 
does the OGP Recommended Practice deliver for industry the guidance on indicators needed to 
support further improvements in upstream petroleum safety, especially offshore, where the risks 
are magnified by the marine environment? It is suggested that the answer to this is only in part.  

There are three main reasons for this. First, the language and hence the concepts used are process 
operations focused.  Second, the incidents selected for reporting for benchmarking purposes are 
consequence based losses of primary containment and suffer the same weaknesses of LTIFR based 
personal safety measures.  Third, there is a potential methodological problem by starting off by 
collecting a narrow range of incidents for benchmarking rather than taking a broader approach and 
using that data to work out what is important to benchmark and then narrowing down the focus. 

Language and Concepts 

The OGP Recommended Practice represents only a very modest advance over API 754 on which it is 
substantially based. API 754 is written specifically with the refining and petrochemical industries in 
mind. In other words, the focus on API was on process plant risks. This is of course what they were 
asked to do following Texas City. Whilst there are strong parallels between these industries and 
upstream production activities, they are not identical. OGP recognised that more specific guidance 
was needed for the upstream oil and gas industry, but again their focus seems to be more on 
production related losses of containment, as opposed to the drilling sector. Although the OGP 
Recommended Practice is intended to apply to upstream industry the language and hence the 
concepts used such as “Process Safety Event” and “loss of primary containment” are redolent of the 
onshore oil refining and petrochemical industries. Refineries and terminals have secondary 
containment arrangements around bulk storage tanks, such as bunds, and where the risks come 
from the processing of the hydrocarbons.  

Whilst there are obvious similarities to offshore production activities, the language translates less 
well to drilling where, unlike process operations, not all of the processing conditions are always as 
well‐known as they should be in a refinery. Whatever remotely obtained data is available about the 
sub‐surface formation, it is rarely perfect and it is not unusual to have to address unexpected 
circumstances associated with the natural variation of the strata. Do drillers see themselves as 
operating process plants? 

  Consequence based measures 

It is questionable if the focus in API 754 and OGP 654, on a narrow category of higher consequence 
events ‐ specifically,  “Process Safety Events” – will  give us enough detailed information needed to 
enable preventive activities to be effectively and quickly targeted. As discussed earlier it is the 
causes of the incidents we need to know about not just that an event has occurred which has had 
certain consequences. Personal safety measures such as LTIFR suffer from a similar weakness.  

8 
 
  A Methodological Problem? 

There is also a potential methodological problem. The OGP Recommended Practice defines, for 
comparability reasons, a small number of high level indicators such as “process safety events.” This 
presupposes that these are what are important. No doubt they are for production operations but it 
is far from clear that this is the case for drilling. For example, a number of well‐known topics which 
could form the basis of indicators have been proposed.16 These include the precursors to well 
incidents (such as pit gains or losses), the drilling crew’s response to these precursors of a well 
incident (which may be simulated by drills), the technical condition of key equipment such as the pit 
level monitoring devices, human and organisational factors such as crew competence, and finally 
indicators related to schedule and cost.17 

Safety Indicators for Upstream Oil and Gas – What could we do? 

The Skogdalen and Hopkins papers referred to above make a convincing case for having more drilling 
related indicators. The authors of both papers are academics. Is it practical to develop indicators for 
drilling safety based on the concept of identifying the barriers to or causes of a well related major 
incident?  PTTEP AA have designed and implemented just such a system. 

  PTTEP AA’s “Line of Sight” Tool18 

An independent review19 carried out on behalf of the Australian Government of the action plan 
prepared by PTTEP AA following the Montara blowout in 2009 found that it did not include action to 
implement effective monitoring by senior managers of its safety processes, including process safety 
and asset integrity. Partly in response to this finding, PTTEP AA developed its “Line of Sight” tool. Its 
goal, amongst other things, is to provide assurance of process safety management to senior 
personnel by demonstrating that frontline operational activities are being conducted in accordance 
with company policies, procedures and rules. In the case of Montara the issue of managerial 
oversight was powerfully raised in the Montara Commission of Inquiry as this exchange between the 
legal counsel assisting the Inquiry and the PTTEP AA Chief Operations Officer reveals20 in his 
testimony: 

Q. You seem to be saying that, to your knowledge or understanding, no one in PTT would have 
credited at this time that people involved in well management and well control might have 
succumbed to any sort of corner cutting or inattention to proper procedures by virtue of the desire to 
achieve time and cost savings. 

                                                            
16
 See Hopkins A, “Safety Indicators for Offshore Drilling: A working paper for the CSB inquiry into the Macondo 
blowout,” www.csb.gov, 22 September 2011 p 3. 
17
 For a useful discussion on safety indicators for drilling see Skogdalen, J.E., Utne, I.B. & Vinnem, J.E. (2011) 
Looking back and forward: Could safety indicators have given early warnings about the Deepwater Horizon 
Accident? 
18
 Askew, P, Line of Sight: Bringing MAE Prevention to Life,  Australian Petroleum Production and Exploration 
Association Conference 29th February 2012. 
19
 Independent Review Report: Review of PTTEP Australasia’s Response to the Montara Blowout (“Noetic 
Review”). http://www.ret.gov.au/Department/responses/montara/review‐pttep‐
response/Pages/IndependentReviewReportReviewofPTTEPAustralalasia’sResponsetotheMontaraBlowout.aspx
. 
20
 Evidence to the Montara Inquiry 9 April 2010 by Andy Jacob pages 1784/5, http://www.ret.gov.au. 

9 
 
A. Mmm‐hmm, yes. 

Q. I’m suggesting to you that the very fact that you are giving that evidence identifies a problem, 
namely, senior management did not properly recognise the plain fact of ordinary human nature and 
a known phenomenon, namely when you have lots of people applying themselves to achieving time 
and financial efficiencies, they can lose sight of the need to properly attend to processes. 

A. On the basis that there weren’t systems in place to ensure that the barriers, et cetera were 
identified as being in place and verified and that, yes, I can accept that. 

Q. So if you like, senior management almost seem to have approached the matter on the basis that 
everyone could be relied upon to do a perfect job without investing time and effort into really 
monitoring what was happening and ensuring that their expectations about people doing their job 
properly were fulfilled? 

A. That certainly would be a way of viewing it. Again, I don’t believe there was any conscious decision 
not to do things. They had an expectation that people would be fulfilling their roles. I agree with you 
that the documentation and recording of those critical elements would be a far more satisfactory 
way of ensuring that they have been achieved. 

Q. Yes but one failing, I am suggesting is a cultural or attitudinal notion that seems to have pervaded 
senior management with PTT to the effect that you just give people a job to do and let them go about 
doing that as efficiently as possible, and you need not worry after that, whether they are in fact 
doing everything they need to because you almost can’t credit the alternative? 

A. I think that’s expanding it beyond the realms. I think in this particular case, as I said, I can agree 
that that’s the way it appears but extrapolating that into a general statement is taking it a bit too 
far. 

Q. Let’s just analyse that quickly. There seems to have been a complete absence of effective quality 
assurance with respect to the installation of barriers in every single well. 

A. Yes, based on the evidence we have heard, I agree. 

Q. I want to suggest that a common denominator that explains all of that is a view by senior 
management that they really didn’t need to closely monitor what was happening, because senior 
management just couldn’t credit the possibility that corners might be cut in the pursuit of time and 
cost savings. 

A. That’s certainly one element of it, I would suggest, yes. 

Evidence to the Montara Inquiry 9 April 2010 by Andy Jacob pages 1784/5)  

PTTEP AA has developed a tool to help ensure the situation described above would not happen 
again. The essence of the tool is that there is reporting by front line personnel (at a frequency 
relevant to the type of barrier) of the status of those barriers or controls, critical to preventing major 
accident events. The system is built upon the principles articulated by Professor James Reason and 
popularly referred to as the “Swiss Cheese Model.” The barriers were identified by a range of front 
line personnel, technical line managers, safety specialists and senior management drawing on the 

10 
 
formal safety analyses and Bow‐Ties from the safety cases. Whilst it is relatively new and no doubt 
will be modified and improved, early indications and the personal observations by the author during 
offshore visits to the drilling operations strongly suggest it is providing much greater visibility of the 
major incident barriers and controls.  

Underground Coal Mining: Trigger Action Response Plans 

Underground coal mining has a long history around the world of major incidents. Roof falls, 
inundations from neighbouring workings and in particular fires and explosions associated with 
methane and coal dust have all killed large numbers of people (and continue to do so in some parts 
of the world).  Queensland, Australia has not been immune from these sorts of events. In 1975, 13 
were killed, in 1986 12 were killed, and in 1994 11 were killed, all near the town of Moura. Industry 
and regulators looked for more effective methods of preventing these major incidents. The 
approach adopted goes by the name “Trigger Action Response Plans, (TARPs).” 

As part of the risk based approach to managing hazards in Queensland, mining companies are 
required to prepare TARPs as part of their Principal Hazard Management Plans. “Principal Hazards” 
are defined by legislation as those hazards which have the potential to cause multiple fatalities. The 
first point of interest is that, similar to the safety case type approach in use in the offshore oil and 
gas industry in the UK, Australia, and elsewhere in the world, there is an explicit focus on events 
which can cause multiple fatalities. Thus, the regulatory approach distinguishes between personal 
safety and what we know as process safety, but perhaps should be renamed major incident safety. 

 A TARP can be summarised as the minimum set of actions required by site personnel in response to 
a deviation in mine conditions from normality. This requires the development of indicators (or 
triggers) for specific hazards and the actions that site workers should take are defined by reference 
to these indicators. As explained by Hopkins and Wilkinson: 

“The central philosophy behind these standards is that major accidents are usually preceded by 
indications of trouble. Plans must therefore identify these indications and specify appropriate 
action to be taken when they occur. For instance, the seepage of water at a coal face may 
foreshadow an inrush event. (Similarly, small leaks of gas on an offshore platform may be 
symptomatic of a corrosion problem).” 

“In the language of the Queensland regulator, plans must identify trigger levels, or events, [or 
indicators] and action response plans, actions to be taken in response to trigger events. For each 
hazard, there are normally several trigger levels of increasing seriousness, with corresponding 
action plans, ranging up to withdrawal of all personnel from the mine.”21 

An interesting aspect of the TARPs is that they require specific indicators or triggers to be 
established which are relevant to the specific mine and working face. Although a degree of 
commonality exists across TARPs for specific hazards, such as gas concentrations in relation to 

                                                            
21
 Hopkins, Andrew and Peter Wilkinson, Working Paper 37: “Safety Case Regulation for the Mining Industry,” 
ANU July 2005, http://regnet.anu.edu.au/publications/wp‐37‐safety‐case‐regulation‐mining‐industry. 
 

11 
 
the fire and explosion risk in an underground coal mine, the particular characteristics of the 
mine, coal seam and its geology must be taken into account. 

Similar principles could be usefully applied to drilling offshore oil and gas wells. At the heart of 
the TARPs process is the necessity to understand what normal looks like, and then the 
corresponding need to identify the indicators of what the triggers are, the appropriate action 
that should then be taken, and by whom. For example, at the drilling rig level at each stage of 
the well construction process, where it is foreseeable that there are significant risks, the well 
plan could identify what normal looks like in relation to those drilling parameters which, if not 
managed correctly, can lead to a “kick.”22 These include, amongst other things: 

 Insufficient mud weight 
 Gas cut mud 
 Swabbing (more correctly a “swabbed show” – defined as formation fluid pulled into the 
well bore by pulling the drill string out of the hole too fast) 
 Lost circulation  
 Casing shoe/formation integrity failure23 

A TARP, as well as identifying what normal looks like, importantly also identifies what action 
should be taken and by whom when a variation from what is ‘normal’ or expected is detected. 
The action to be taken typically involves graduated actions depending on the degree of variation 
from normal, based on the risk. A real example of a TARP appears in Annex 1. 

This is an important aspect of the TARP concept. There are other benefits. One of these is to 
reduce the propensity we have as humans to “normalise evidence.” Groups of people, when 
presented with indications that things are not going as planned, can be tempted to explain away 
the dissonant signals. This concept has been detected in serious incidents across a number of 
industries including the offshore oil and gas industry. Indeed there seems to have been evidence 
of this in relation to Deepwater Horizon, seen, for example, in relation to the results of the 
testing of the cement during the temporary abandonment procedure employed at the Macondo 
well.  

To some degree, all people are proud of their work and reluctant to take lessons from 
elsewhere. This should not be viewed negatively. It is a sign of hard won experience and that 
people are rightly proud of what they have achieved. However, neither must we close our minds 
to other ideas. As a result, somebody could pilot the usage of the TARP concept to see if it 
would work. Undoubtedly there will be practical problems; there always are. But in working 
through the problems it is not inconceivable that other ideas may be generated and this is the 
value of taking new ideas seriously and trying them out – they tend to promote additional 
creativity and innovation, and who can deny the value of that? 

 
                                                            
22
 A “kick” is usually defined as an inflow of fluids into a wellbore. See for example “Blowout Prevention” by 
th
Bell, T et al, 4  edition, published by PETEX, University of Texas, 2009, ISBN 0‐88698‐242‐1. 
23
 For a definition of these drilling terms see “Blowout Prevention” by Timothy Bell. 

12 
 
 

Summary ‐ Where do we go from here? 

Anybody who has experience of getting agreement via a committee to develop a document such as 
these Recommended Practices can only praise the work done by API and OGP. When one considers 
the international aspects of a venture along this lines, this is even more true.  

These Recommended Practices represent real advances, drawing on the methodology developed by 
UK HSE in articulating the process for the development of indicators. Notwithstanding the fact that 
these Recommended Practices represent advances, the question is, are they sufficient? It appears 
the answer is no, especially in relation to upstream petroleum. They are insufficient because the 
measures which are being collected for comparison purposes are: 

 consequence based and at too high a level to help understand the causes of the losses of 
containment;  
 do not give enough emphasis to drilling and well related events; 
 focused on one type of major incident event, namely losses of primary containment; and 
 as a result, do not cover other types of major incidents which can occur in the offshore oil 
and gas industry. 

This approach of recording events based on the consequences can leave us ignorant about the 
causes of the losses of containment. We need to know why they have happened to effectively direct 
preventive measures.  

As has been remarked upon by others,24 the problem is the lack of focus on wells and drilling. The 
evidence for this lies subtly in the language used but is nevertheless real enough. “Losses of primary 
containment,” “pressure relief devices,” “asset integrity” and even “process safety” itself are all 
terms used in the refinery and onshore petrochemicals business as well as offshore production 
processes. But they are much less used in the drilling world. They build wells and have the hazards 
presented by the sub‐surface strata and what lies in the rock pores, unseen and only detected 
remotely or by inference from subtle changes in rate of penetration, increases or decreases in flows 
and pressures, sticking pipe and so on. It needs to be made more accessible to the drilling world. 
After all without drilling the refineries have little to process. 

Finally, the focus on losses of containment, whilst obviously a very important class of incident, leaves 
out other types of major incidents which can occur. Are we a bit like an army fighting the last war? 
Do we need also to consider what other types of incidents are foreseeable and develop appropriate 
indicators? The semi‐submersible accommodation barge, the Alexander Kielland was lost in the 
North Sea in 1980 with the loss of 123 lives following a structural failure; the Ocean Ranger semi‐
submersible drilling rig sank offshore the Maritime Provinces of Canada in 1982 with the loss of 84 
lives following ballast control problems; and more recently the Kolskaya jack up was lost offshore 
Russia, also with substantial loss of life (apparently 53). None of these disasters involved a loss of 
containment.  

                                                            
24
    See for example Skogdalen, J.E., Utne, I.B. & Vinnem, J.E. (2011) Looking back and forward: Could safety 
indicators have given early warnings about the Deepwater Horizon Accident?  

13 
 
As the distribution of major incidents shows, the industry is international in scope.  The problem 
solving needs to be approached with this in mind. As the Transportation Research Board comments: 

“…many of the safety and environmental issues associated with offshore oil and gas operations are 
common worldwide, a data set compiled from all of these organizations would be invaluable. [They 
recommend that the]… BSEE should create a task force with the industry, Petroleum Safety Authority 
Norway, the United Kingdom Health and Safety Executive, and other similar regulatory bodies 
worldwide to identify KPIs.”25  This is surely the right approach. 

Recommendations 

1. Develop and implement a wider set of indicators based on the major incidents to which 
upstream petroleum is susceptible, including but not limited to drilling.  
a. These should focus on the causes of major incidents and not be solely consequence 
based. 
b. This should be done on an international basis. 
c. Communicate to senior executives the limitations of traditional personal safety 
lagging indicators 
2. Remove the term process safety indicators and replace with Major Incident Indicators. 
3. Develop managerial tools to provide senior leaders with information about the “health” of 
the barriers to a major incident, informed but not constrained by the PTTEP AA experience.  
4. Promote a trial use or pilot project using the TARP concept in offshore drilling. 

                                                            
25
Evaluating the Effectiveness of Offshore Safety and Environmental Management Systems, Transportation 
Research Board Special Report 309, National Academy of Sciences 2012, 
http://www.nap.edu/catalog.php?record_id=13434. 

  

14 
 
 ANNEX 1 

Example of a Trigger Action Response Plan (TARP) from the Queensland, Australia mining industry. 

Underground Operations
Hazard: Highwall In-Stability

Trigger Action Response Plan

Objective: Any change or deterioration in the physical condition of the Highwall may result in persons being exposed to unacceptable risk.
This Trigger Action response Plan has been formed in consultation with affected mineworkers, and Open Cut Examiners. It is
designed to prevent injury associated with the highwall.

The Highwall has been exposed for more than 10 years. Normal additional weathering is expected over the life of the mine, and
is more probable during or following heavy rain.

The Highwall consists of different types of strata, which will weather at different rates. There are large sandstone bodies up to
20m thick, which overlie siltstone/shale beds. The siltstone/shales weather more rapidly when compared to the sandstone
strata. This action may result in overhanging blocks of sandstone. The sandstone blocks are divided by joints, which cause
smaller blocks that may eventually fall from the Highwall.
 

The objective of this Trigger Action Response Plan (TARP) is to;

 Identify any increase in the weathering process, or other instability, that could place persons at an unacceptable level of
risk.
 Provide additional controls (to protect persons) when entering Restricted Areas, or when instability has been identified.
Trigger Level: A condition that is not normal. It must be able to be measured or observed and on being reached predetermined action must be
taken.

TARP: Trigger Action Response Plan (TARP) identifies the Normal State, and specifies the Trigger Levels and Actions to be taken,
when a hazard is identified.

Highwall Support The Highwall is draped with mesh, and bolted immediately above each portal. The draped mesh is designed to control the
movement of rocks to the base of the Highwall.
 

Steel portals extend to 7m from the base of the Highwall at each entry to the underground workings.
In the Pit C area of the Mine, the Highwall is benched at an angle of X degrees (from the vertical) and a horizontal bench of
approximately 10 metres provides a natural barrier from falling rocks that may fall from above that point.

 
Restricted Areas Base of Highwall

A restricted area barrier exists at the base of the high wall. Presently the barrier consists of a star picket and plastic tapes. It is
planned to replace these barriers with more durable solid fencing. The barriers are placed adjacent to the un-meshed areas
along the base of the Highwall. The barriers are normally placed at a location of approximately 10 metres from the base of the
Highwall. The permanent barriers are designed to prevent rocks from bouncing into non-restricted areas. They are not designed
to protect against a major slump of the highwall. The placement of barriers may be adjusted in accordance with this Standard
Operating Procedure (TARP).
 

Access into the Restricted Area is only allowed in accordance with this Standard Operating Procedure/ TARP. 

Top of Highwall
Vehicular access to the top of the Highwall is restricted by a berm (placed in accordance to the direction of an Open Cut
Examiner). The location of the berm is to consider possible failure of the Highwall, such that the berm would remain in
place if the Highwall failed- and shall be in accordance with any relevant standard established at other Capcoal Mining
Areas.
Pedestrian access shall be restricted by a fence (consisting of steel pickets and wire/rope), with Restricted Access signage.
Access into the Restricted Area shall only be in accordance with this Standard Operating Procedure/ TARP
 

Monitoring Monitoring of Highwall forms a part of the Mine Inspection Scheme. It consists of;

 Visual inspections by permanent employees

 Visual inspections by ERZ Controllers and Open Cut Examiners- in accordance with the Mine Inspection Scheme
 A survey (at pre-defined locations) by a registered survey at intervals of twice per year.

 
  

Reporting Any deterioration, or safety concern resulting from the Highwall Stability, shall be recorded on the ERZ Controller statutory
Report, and displayed on the district notice board.
 
 Triggers

Persons Affected Normal State Level 1 Trigger Level 2 Trigger Level 3 Trigger
All Personnel Highwall adjacent to Rain Event Deterioration of the Highwall where Major Highwall movement (slump)
employed in or the portals is drapped unstable large overhangs are present
adjacent to the with mesh, and bolted. or where keystone displacement is
likely.
Portal Entries Evidence of rock debris
Portals extend to 7m
from the base of the outside the 10m rill Large rock fall and evidence of
Highwall. area instability

New cracks observed Open cracks noted at the top of the

Highwall
A person requires
access into a Restricted Mesh fallen or knocked down exposing
Area unprotected Highwall
 Action Response Plans

Persons Affected Normal State Level 1 Response Level 2 Response Level 3 Response
(in addition to Level 1) (in addition to Level 2)
Operator/Maintainer Normal Activities Report any change to Obey all barriers and report evidence of Cease normal activities in pit area
ERZ Controller change. and muster at the “Surface
Emergency Muster Area”
Read Highwall
Inspection Reports. Read Highwall Participate in corrective actions as
Inspection Reports and directed Participate in Emergency Response
TARP Status Board at
start of shift.
Report any change to
ETZ Controller Do not enter a
Restricted Area without
permission of the ERZ
Controller
Do not go within
Restricted areas
without authority

CRO UG Normal Activities. Report any change to Assist 1st Response and Participate in
ERZ Controllers corrective actions as directed

Read the outbye ERZ

District Board. Raise awareness during mine
familiarisations
ERZ Controller Conduct Inspections as Report any change to Maintain and Update Inspection District Cease normal activities in pit area
per Mine Inspection UMM and OCE Board and muster at the “Surface
Scheme Emergency Muster Area”

Allow persons access Ensure all barriers are obeyed and

Complete a Statutory into the Restricted report evidence of change. Participate in Emergency Response
Inspection Report. Area, only after and/or Incident Management Team
consultation with the
Open Cut Examiner, Participate in formulation of Action Plan
Report any change to and if it is safe to do as required- Allow persons access into
the Open Cut so. the Restricted Area, only after
Examiner. consultation with the Underground Mine
Manager, and the Open Cut Examiner,
Record changes on the
district board An observer shall be and if it is safe to do so.
used to confirm
Highwall Stability
Set up additional barriers, in the
effected zone to restrict access where
there is a risk to persons or plant

Open Cut Examiner Normal Inspection Communicate changes Participate in formulation of Action Plan Cease normal activities in pit area
(OCE) regime-12 hourly or concerns to the as required. and muster at the “Surface
CRO. Emergency Muster Area”

Participate in Emergency Response

Lodge Statutory Report Only allow access into the Restricted and/or Incident Management Team
at Open Cut Office, and Only allow access into
 update ERZC with any the Restricted Area, if it Area, if it is safe to do so.
concerns. is safe to do so.

Contact and Strata

Control Engineer (or
Geologist) if continued
deterioration is noted

Strata Control Inspections as per the Inspect Highwall zone Participate in formulation of Action Participate in Incident Management
Engineer: Geologist Mine Inspection if required by the UMM, Plan in consultation with the OCE and Team
or Scheme OCE or ERZ Controller ERZ Controller and others as deemed
necessary
Delegate

Manager Inspections as per the Inspect Highwall zone Communicate with Site Senior Direct Incident Management Team;
Underground Mine Inspection if required by the OCE Executive and consult with ERZ
Operations Scheme or ERZ Controller Controllers, OCE’s and Site Safety and Report to Inspectorate and Industry
Health Representatives Safety and Health Representative.