03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered

-powered machines | Sp…

Anúncio

Busca

Iniciar sessão

Search SpringerLink
Search
IA e o caminho para o envolvimento: conhecimento como primeiro passo para a regulação responsável e uso de máquinas movidas
a IA
Baixe PDF
Download PDF

Fórum Aberto
Acesso Aberto
Publicado: 10 abril 2019

IA e o caminho para o envolvimento: conhecimento como primeiro passo para a

regulação responsável e uso de máquinas movidas a IA
Scott Robbins 1

IA e SOCIEDADE volume 35, pages391–400(2020)Cite este artigo

3251 Acessos

2 Citações

10 Altmetric

Métricas details

Abstrata
Com a Inteligência Artificial (IA) entrando em nossas vidas de novas maneiras — conhecidas e desconhecidas para nós — há tanto
o aprimoramento das questões éticas existentes associadas à IA quanto o surgimento de novas questões éticas. Há muito foco em
abrir a "caixa preta" de algoritmos modernos de aprendizagem de máquina para entender o raciocínio por trás de suas decisões —
especialmente decisões moralmente importantes. No entanto, algumas aplicações de IA que são, sem dúvida, benéficas para a
sociedade, dependem dessas caixas pretas. Em vez de exigir que os algoritmos sejam transparentes, devemos nos concentrar em
restringir a IA e as máquinas alimentadas pela IA dentro de microambientes — tanto físicos quanto virtuais — que permitem que
essas máquinas realizem sua função, evitando danos aos seres humanos. No campo da robótica isso é chamado de "envelopment".
No entanto, para colocar um "envelope" em torno de máquinas movidas a IA, precisamos saber algumas coisas básicas sobre elas
sobre as quais muitas vezes estamos no escuro. As propriedades que precisamos saber são: dados de treinamento, entradas, funções,
saídas e limites. Esse conhecimento é um primeiro passo necessário para o envoltório das máquinas movidas a IA. É só com esse
conhecimento que podemos regular, usar e viver de forma responsável e viver em um mundo povoado por essas máquinas.

Introdução
Inteligência artificial (IA) e robótica estão cada vez mais entrando em nossas vidas — desde assistentes inteligentes em casa, robôs
sociais no hospital, até algoritmos que entregam nossas notícias. Não faltam propostas para algoritmos e robôs no futuro assumirem
novos papéis — desde robôs sexuais movidos a IA (Sharkey et al. 2017) até robôs de terapia de IA (Gaggioli 2017). Se
implementados de forma responsável, esses algoritmos, sem dúvida, contribuirão para a sociedade de forma positiva. No entanto,
cada uma dessas aplicações levanta preocupações sobre a possibilidade de criar questões éticas únicas e/ou exacerbar as existentes.
Robôs de terapia e robôs sexuais estão, por exemplo, sendo colocados em papéis morais. Alguns argumentam que máquinas como
essas exigem capacidades de raciocínio moral para navegar nos dilemas éticos que certamente enfrentarão (Wallach e Allen 2010;
Scheutz 2016). Isso levanta questões relativas ao status moral da máquina, bem como uma questão que atribui responsabilidade
moral quando ocorrem resultados ruins (Johnson 2006; Bryson 2010; van Wynsberghe e Robbins 2018). Um problema que a
sociedade enfrenta atualmente é aquele em que não temos normas éticas, regulação ou diretrizes políticas para auxiliar os
desenvolvedores no equilíbrio cuidadoso entre aproveitar o poder da IA e, ao mesmo tempo, evitar impactos éticos e sociais
https://link.springer.com/article/10.1007/s00146-019-00891-1 1/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
negativos. O primeiro passo para resolver esse problema, no entanto, requer o encerramento de uma lacuna epistêmica, ou seja, a
sociedade não sabe ao certo o que esses algoritmos fazem ou como foram criados. Antes de criarmos uma regulação sólida e
política para orientar o desenvolvimento da IA, deve ser disponibilizado conhecimento específico dos produtos e serviços
alimentados por algoritmos de IA. É o objetivo deste artigo nos iniciar por um caminho que nos levará para fora da escuridão
epistêmica no que diz respeito às máquinas movidas a IA.

Grande parte do foco em torno da ética em IA tem sido na opacidade de como os algoritmos de IA atingem decisões. No momento,
não é possível saber as razões de uma determinada decisão tomada por um algoritmo de IA.Nota 1 Em alguns casos (por exemplo,
jogar xadrez) esta pode ser uma situação perfeitamente aceitável; no entanto, se o algoritmo está decidindo se alguém vai conseguir
um empréstimo ou não é inaceitável. Merece-se uma explicação de como a decisão de recusar um determinado pedido de
empréstimo foi alcançada porque as consequências podem resultar em danos à pessoa cujo empréstimo foi negado. Esse dano pode
não ser físico; no entanto, suas vidas serão significativamente impactadas devido à decisão. Há muitos casos, porém, quando seria
contraproducente exigir tal explicação — usamos a IA em alguns casos porque funciona de forma diferente dos humanos. Diante
disso, exigir que ele dê raciocínio humano para sua decisão pode minar sua eficácia. Por exemplo, enquanto a classificação de uma
toupeira como maligna é importante na medida em que "afeta significativamente ele" (Vollmer 2018), o algoritmo de IA que faz tal
classificação funciona bem precisamente porque não usa razões articuladas humanas para sua classificação. Por que, em alguns
casos, algoritmos com raciocínio opaco são aceitáveis, enquanto em outros não?

This tension surrounding algorithmic opacity described above is the inspiration for this paper. I argue that opaque algorithms are
acceptable when they are enveloped.Footnote 2 The central idea of envelopment is that machines are successful when they are inside
an ‘envelope’. This envelop constrains the system in a manner of speaking, allowing it to achieve a desired output given limited
capacities. However, to create an envelope for any given AI-powered machine we must have some basic knowledge of that machine
—knowledge that we often lack.

The knowledge that we need to create such envelopes are knowledge of the: inputs, outputs, function, boundaries, and training data
of the AI. In the case of the mole classification AI, we know about the: inputs (pictures of moles), the training data (lots of pictures
of moles), the function (to classify moles), and the outputs (malignant or not malignant). We do not know how it decides to classify
the moles, but with all these other knowledge, an explanation is not needed. Even when we know very little about many of these
aspects, it can be acceptable to use given that we constrain the AI appropriately. To take a really simple example, if the outputs of an
AI-powered machine are rotating blades and swinging hammers and we are ignorant about what its inputs are, how it decides what
to do, and what training data it was given it would be simple to figure out that this machine is only acceptable in very limited
circumstances. For example, the show Robot Wars could use such a machine within the confines of a protected arena to fight
against other robots.

The importance of this knowledge becomes especially salient when the outputs of an AI-powered machine have the potential to be
harmful. Here, harm is to be understood not only as physical harm, but also harms such as invasions of privacy, financial harms, and
restrictions on autonomy. It is also important to note here that these harms are understood as a result of the AI—not the companies
irresponsibly collecting data on users of their products. In theory, an AI digital assistant like the Amazon Echo could operate
without Amazon violating users’ privacy. The focus here is restricted to those harms that are possible due to the functioning of the
AI (both intended and unintended). When harms like this are present, we must know as much as we can about the properties
highlighted above to make informed choices regarding usage, implementation, and regulation of these machines.

This paper begins by going into more detail on the subject of opacity as it relates to applications of AI. Following from this is a
discussion of the concept of envelopment as it offers what I argue to be a better solution to AI’s opacity problem. This is because
many features outside of the inner workings of the algorithm remain opaque to us as well. I argue that enveloped AI will help us
regulate, use, and be bystanders to AI-powered machines without the need for so-called ‘explainable’ AI. I include users and
bystanders because regulation is one part of an overall picture which will guide the responsible introduction of AI-powered
machines into society. The people implementing and using these machines must do so responsibly and the people who are being
processed by or are bystandersFootnote 3 to these machines must be able to navigate this AI augmented world ethically. Section 4
delves into the properties that I argue are needed to properly envelope any given machine. Before concluding, I briefly respond to
some possible objections and limitations of the proper envelopment of AI-powered machines.

Opacity and algorithms

There is much discussion about a lack of transparency when it comes to algorithms. Frank Pasquale argues that we live in a ‘black
box’ society (Citron and Pasquale 2014; Pasquale 2015). Decisions are made by algorithms which affect many facets of our lives.
Many of the stories in the media regarding contemporary AI are about algorithms which fall under the umbrella of machine
learning. Machine-learning algorithms use statistics and probability to ‘learn’ from large datasets. The complexity of the statistics
involved and what those statistics refer to ‘learn’ has led to a situation in which we do not know how these algorithms make the
decisions they make.

This can be quite disconcerting—and probably unethical in many circumstances. A decision about who gets a loan or not or what
length of sentences are given to convicted criminals seems to require reasons. The same can be said about decisions regarding who
is placed on the No-Fly list (Robbins and Henschke 2017). Finding out you are on the No-Fly list or were denied a loan without
explanation is arbitrary and unacceptable. The European Union’s recent General Data Protection Regulation (GDPR) legislation has
been interpreted to include a “right to explanation”:

The right not to be subject to a decision, which may include a measure, evaluating personal aspects relating to him or her which is
based solely on automated processing and which produces legal effects concerning him or her or similarly significantly affects him
https://link.springer.com/article/10.1007/s00146-019-00891-1 2/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…

or her.Footnote 4

Although some disagree that such a right can be derived from GDPR (Wachter et al. 2016), the debate is illustrative of the desire for
such a right. While I am not opposed to such a right, I find that it has focused the discussion on how to open up the black box of
machine-learning algorithms rather than simply bar such algorithms from making such decisions. The question is “how can these
algorithms explain themselves” rather than “what decisions are acceptable for an opaque algorithm to make?”. The difficulty in
answering this second question can be found in our ignorance with regard to the basics of many AI-powered machines.

Isso é porque estamos no escuro em relação à IA. Por "nós" quero dizer consumidores, formuladores de políticas, advogados e
acadêmicos. Por "no escuro" quero dizer que temos uma falta geral de conhecimento e compreensão sobre a tecnologia. Tome-se o
exemplo recente do Amazon Echo. Em maio de 2018, uma mulher relatou que um Amazon Echo gravou uma conversa privada
entre ela e seu marido e a enviou para um dos funcionários de seu marido — tudo sem seu conhecimento (Chokshi 2018). Embora
ainda não esteja claro exatamente como isso ocorreu, a explicação da Amazon é desconcertante:

Como a mulher, identificada apenas como Danielle, conversou com o marido, a assistente virtual do dispositivo, Alexa, ouviu
erroneamente uma série de pedidos e comandos para enviar a gravação como mensagem de voz para um dos funcionários do marido
(Chokshi 2018).

Essa explicação do evento oferece a outros consumidores que compraram os dispositivos eco da Amazon com poucas informações
sobre como evitar que isso aconteça com eles também. Os consumidores (e a Amazon) não entendem a combinação de sons que
serviram como entradas neste dispositivo alimentado por IA. Os consumidores não sabem quais são seus limites em relação ao que
ele pode fazer. Sendo um dispositivo conectado à Internet com acesso a seus arquivos, contatos, e-mails, documentos, etc., parece
que não há limites virtuais para este dispositivo. Os consumidores também não sabem quais são as funções deste dispositivo. Ele é
apresentado como um assistente com capacidades ilimitadas e seu slogan é "basta perguntar". Suas saídas incluem: acender luzes,
fornecer informações, ler histórias de ninar, encomendar produtos, enviar e-mails, conversar, pedir um Uber, etc. Há listas online
detalhando quais são as possíveis saídas (Martin e Priest 2017) que devem ser atualizadas conforme as atualizações de software.

Máquinas movidas a IA também podem ter resultados mortais — como pode ser visto pelos recentes acidentes de carro autônomos
da Uber e da Tesla. Não se sabe qual combinação de entradas resultou, por exemplo, em um Tesla batendo na barreira da estrada
resultando na morte do passageiro (Levin 2018). Embora não possamos controlar nosso ambiente (por exemplo, um motorista
bêbado pode bater em seu carro), as máquinas alimentadas por IA são o primeiro exemplo de não sermos capazes de controlar as
ferramentas que usamos para navegar em nosso ambiente. Nenhum cálculo utilitário pode mudar a ideia perturbadora de que seu
carro autônomo, por razões desconhecidas, pode bater em um pedestre ou barreira. Sem conhecimento básico em torno dessas
máquinas, como os usuários devem usá-las de forma ética? Como os espectadores devem navegar adequadamente em um mundo
cheio dessas máquinas? Finalmente, como os governos devem criar políticas e regulação eficazes para essas máquinas?

Um grande problema em se concentrar na explicação como uma correção para o funcionamento interno opaco das máquinas
movidas a IA é que muitas dessas máquinas são benéficas porque não são articuladas na linguagem humana. Um algoritmo de
detecção de câncer que não pode explicar por que uma toupeira é rotulada como cancerosa não deve ser considerada um problema
se for mais eficaz do que dermatologistas.Nota 5 Devido ao fato de que muitos dos benefícios das máquinas movidas a IA vêm de
funcionamento interno inerentemente opaco, devemos ampliar como fizemos nesta seção para ver as outras opacidades em torno de
máquinas movidas a IA. Quando visto a partir dessa perspectiva é necessária uma melhor solução para este problema. A solução, eu
argumento, pode ser encontrada em um conceito emprestado do campo da robótica: o envoltório.

Envelopment
Luciano Floridi has claimed that robots will be successful when “we envelop microenvironments around simple robots to fit and
exploit at best their limited capacities and still deliver the desired output” (Floridi 2011a, p. 113). The term ‘envelop’ is borrowed
from the field of robotics. The ‘envelope’ of a robot is the “three-dimensional space that defines the boundaries that a robot can
reach” (Floridi 2011b, p. 228). Luciano Floridi has discussed envelopment as a process which allows for robots and AI to be more
effective. He provides the striking example of washing dishes. Dishwashers are effective because they have been properly
enveloped within an environment conducive to its operations (a closed box we call a dishwasher). The alternative is a humanoid
robot which would be decidedly ineffective with regard to washing dishes.

Using Floridi’s dishwashing robot as an example, we can see two broad sets of issues with regard to non-enveloped robotics and AI.
First, the humanoid robot would constantly face novel scenarios (i.e., its inputs are not precisely defined and constrained) in which
it would have to make judgments which could result in harm. I would consider myself deeply harmed were such a robot to scrub my
new Le Creuset nonstick skillet with an abrasive brush. Add in mistaking a tablet computer for a plate and we can see a few of the
many complex decisions such a humanoid robot would encounter. Furthermore, this robot would have to share its environment with
humans. This increases the potential for ethical dilemmas and harm to humans.

Second, the task for the robot is ill-defined. “Wash dishes” is not precise enough. This could mean finding dirty dishes throughout a
household, washing and drying those dishes, and, putting them away. Giving a robot this umbrella task, one could easily envision
further tasks which would need to be added on: notifying a human that the soap is running out, sweeping broken glass, etc. Human
users of such a robot may justifiably expect the robot to do things it simply is unable to do. These expectations could be mitigated if
the robot’s boundaries and functions were explicitly defined. These two sets of issues (harmful judgments and undefined task)
should not occur in robotic and AI systems.

Floridi também propõe que os veículos sem motorista só terão sucesso se o envelopamento acontecer para eles:

https://link.springer.com/article/10.1007/s00146-019-00891-1 3/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
Se drones ou veículos sem motorista podem se mover com problemas decrescentes, isso não é porque a IA produtiva finalmente
chegou, mas porque o "ao redor" que eles precisam negociar tornou-se cada vez mais adequado à IA reprodutiva e suas capacidades
limitadas. (Floridi, 2011a, p. 228).

Os limites dos carros sem motorista em um ambiente não envolto foram mostrados de forma dramática. Em abril de 2018, um
passageiro e um pedestre foram mortos por carros operados por inteligência artificial em incidentes separados. Até o momento, o
foco em carros sem motorista tem sido aumentar sua "inteligência" por algoritmos de autoaprendiz e aumentar a eficácia e as
capacidades de seus sensores. O ingrediente que falta, segundo Floridi, é envolvente.

Mas o envoltório com carros torna-se cada vez mais difícil. Primeiro, precisaríamos tornar cada vez mais as estradas e seus
arredores legíveis. Em vez de depender da IA de reconhecimento de imagem para 'ver' que um sinal de pare está chegando, os
sensores poderiam ser incorporados na estrada que o carro é facilmente capaz de ler. Isso evita que um sinal de pare seja perdido
pelas câmeras do carro devido a uma placa de lama esparramada ou neblina pesada. O ambiente efetivamente envolto para um carro
sem motorista seria aquele que fecha todas as variáveis inesperadas. Pedestres e ciclistas não seriam permitidos na estrada, todos os
carros seriam sem motorista (motoristas humanos são imprevisíveis), e todas as placas de trânsito, linhas pontilhadas, linhas sólidas,
etc., emitiriam sinais para os carros sem motorista lerem. Carros verdadeiramente envoltos sem motorista não seriam capazes de
sair da zona envolta. Isso ocorre porque suas entradas fora de uma zona envolta são potencialmente qualquer coisa acontecendo
perto da infraestrutura automobilística. A ignorância sobre as possíveis entradas levou a acidentes fatais. Há poucos conselhos sobre
onde e quando esses carros devem ser usados no modo autônomo. Eles só são destinados a infraestrutura recém-construída em dias
ensolarados e claros? Nós realmente não sabemos. A Tesla não faz uma afirmação sobre em que contexto os carros autônomos
devem ser usados — eles simplesmente dizem que o operador humano deve ter as mãos no volante no caso de precisar assumir.

O envolumento resolveria muitos problemas; no entanto, como observa Floridi, isso levanta a possibilidade de que o mundo se
torne um lugar que reduza nossa autonomia na medida em que teremos criado um mundo no qual somos forçados a nos adaptar ao
envoltório necessário pelas máquinas. Floridi está preocupado em garantir que esse processo de envoltório ocorra com nossa
previsão e orientação para prevenir um mundo que funcione bem com robôs e IA, mas não seja desejável para os seres humanos.
Pessoas que não podem pagar novos carros sem motorista seriam forçadas a lidar com uma infraestrutura em ruínas para seus carros
sem motorista, à medida que mais e mais recursos são usados para a infraestrutura que serve como envelope para carros sem
motorista. A privacidade em causa pode ser posta em risco porque o mundo foi mudado de tal forma que as máquinas orientadas
por IA dependem de sensores implantados em seres humanos — sensores que a privacidade em causa se recusa a torná-los
invisíveis. Embora eu argumente neste artigo que devemos envolver máquinas orientadas por IA, é importante notar que os
envelopes em si podem ser antiéticos. É por isso que devemos saber o que o envoltório teria que ser antes de empurrarmos essas
máquinas para a sociedade. Isso nos dá a chance de dizer que o envelope necessário não valeria a pena.

Embora Floridi use o envelopment para descrever as condições sob as quais as máquinas movidas a IA serão bem sucedidas, eu
argumento que o envolumento descreve as condições sob as quais as máquinas movidas a IA devem ser consideradas aceitáveis. O
exemplo de carros sem motorista mostra o dano potencial que pode ocorrer ao operar máquinas não envoltas em IA. Embora
possamos não saber como o algoritmo resulta em uma determinada ação, decisão ou saída, devemos saber o suficiente sobre as
possíveis entradas e saídas para saber em que condições um determinado sistema de IA deve ser usado. Alguns conhecimentos
básicos sobre a máquina nos ajudam a fazer seu envelope — evitando danos enquanto ajuda a máquina a atingir todo o seu
potencial. Se o envelope é muito difícil de criar (por exemplo, carros sem motorista), então a máquina em questão seria antiética de
implementar. Dizer o contrário cria um dilema. No primeiro chifre está a situação em que não sabemos o suficiente sobre a máquina
para criar tal envelope e, portanto, não podemos evitar situações prejudiciais (por exemplo, assistentes digitais). Na segunda buzina
está a situação em que sabemos que esta máquina levará a danos no contexto em que é colocada, mas é muito caro ou implausível
construir o envelope necessário (por exemplo, carros autônomos). Ambos os chifres devem ser inaceitáveis para reguladores,
usuários e espectadores.

Para alcançar o envoltório de qualquer máquina movida a IA requer um nível de conhecimento sobre a máquina que muitas vezes
nos falta. Para ser claro, o conhecimento por si só não impede que coisas ruins aconteçam. Saber que uma máquina é capaz de uma
saída que cause danos corporais graves deve nos impedir de colocá-la em contextos onde essa saída causaria danos corporais
graves. É assim que o conhecimento está ligado à resolução das diversas questões éticas que surgirão ao usar máquinas movidas a
IA. Antes de termos esse conhecimento, não saberemos se a regulação, a política, as normas éticas ou uma proibição total serão o
caminho para o desenvolvimento responsável, a implementação e o uso de máquinas movidas a IA. Assim como não colocamos
motosserras em creches, não devemos colocar robôs compactantes de lixo em lugares onde os bebês estão dormindo. Esse
conhecimento nos permitirá envolver máquinas movidas a IA. Só então essas máquinas podem ser consideradas sob controle
humano significativo (Santoni de Sio e van den Hoven 2018)— controle necessário para regular, usar e ser um espectador de tais
máquinas de forma responsável.

The knowledge that we are lacking not only refers to how the machine works, but the what, why, and where. The “what” refers to
the training data, possible inputs, and possible outputs. The “why” refers to what the machine is intended to be used for, i.e., its
function. And the “where” refers to what boundaries constrain this machine. There are simply too many unknowns with regard to
some AI-powered machines to regulate and use them. Many products now powered by AI are like the Monolith in Stanley
Kubrick’s 2001: a Space Odyssey in that their purpose, capabilities, and inputs are a complete mystery. The point is that we are in
no epistemic position to create ethical norms, enact policy and regulation, or engage with these AI-powered machines until we shine
a light on these important properties.

Towards the envelopment of AI

https://link.springer.com/article/10.1007/s00146-019-00891-1 4/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
If we are to make responsible decisions about regulating and using AI-powered machines we need to know a lot more about them
than we often do. This is especially true for modern AI algorithms (e.g., deep learning) which are opaque with regard to their
reasoning. The training data, inputs, outputs, function, and boundaries of these machines must be known to us.

Training data
The data used to train machine-learning algorithms are extremely important with regard to how that algorithm or machine will
work. Two algorithms that share the exact same code could work wildly differently because they were trained using different
datasets. A facial recognition system trained only using pictures of faces of old white men will not work very well for young black
women. If someone is to buy a facial recognition algorithm then there should be some information about the faces used to train it.
The number of faces and the breakdown of age, ethnicity, sex, etc., would be a basic start. The specifics regarding what information
is needed about the training data will obviously vary depending on context and type of data.

The knowledge regarding training data will be important when implementing algorithms. Simply knowing that the training data lack
a certain demographic would hopefully cause one to test the system before using it on such a demographic or to restrict its use to
demographics covered by the training data. For example, algorithms made to detect skin cancer were trained on images of moles
mostly from fair-skinned patients—meaning the algorithm does poorly with regard to darker skinned patients (Lashbrook 2018).
Whatever the reasons for this biased training data, it is important to know this before such an algorithm is used on a dark-skinned
patient.

Knowledge of training data can also help to determine unacceptable algorithms which will simply reinforce societal stereotypes
(Koepke 2016; Ensign et al. 2017). Predictive policing algorithms which rely upon training data that is biased against African
Americans simply should not be used. The knowledge of this bias would not lead to its envelopment; rather, it should, if possible,
lead to fixing the training data.

Boundaries and inputs

The terms ‘boundaries’ are construed broadly. Not only does it mean physical boundaries in the case of a robot, but also virtual
boundaries which refer to the possible inputs (or types of input) in the form of data that it could encounter. ‘Boundaries’, then,
refers to an algorithm’s or robot’s expected scenarios. For example, AlphaGo expects as an input a GO board with a configuration
of white and black pieces. AlphaGo is not expected to be able to suggest a chess move based on an input of a chess board with a
configuration of pawns, knights, bishops, rooks, queens, and kings on it. An algorithm playing chess is fine, but is a different
algorithm than AlphaGo.

Knowing precisely what the boundaries a machine is constrained by helps us know what the possible inputs are. For example, a
Roomba vacuum will have the boundaries of one floor of a home or apartment. A user is given a limited space with which to make
sure that the robot will function properly. We can imagine a seeing eye robot which is given the task of guiding the blind when they
go outside of the home. Now we have a machine whose boundaries are potentially limitless. It would be impossible to know all the
possible situations the machine could face. In other words, the inputs to the machine are limitless. With the Roomba, however, one
can survey the floor and detect possible problem inputs—the human has the information needed to envelop the machine.

Boundaries are different from inputs. A machine’s inputs are determined by its sensors or code. The seeing eye robot above may
have cameras, microphones, and haptic sensors all serving as inputs into the machine. An ‘input’ as I want to talk about it here is
the combined data from all sensors. We, as humans, make decisions based on a number of factors. For example, we might put on a
rain jacket because: it is raining, it is not too cold outside (otherwise we would opt for a heavy jacket), and we are going to be
outside. A machine might be able to tell a user to wear a rain jacket based on the same data because it has a temperature sensor to
sense how cold it is outside, a data feed from a weather website (to ‘sense’ that it is raining), and a microphone to hear the user say
they need to go outside. It is the combination of these data which determines what output will be given.

Therefore, we not only need to know what types of inputs there are (sound, image, temperature, specific voice commands, data
feeds, etc.), but how these get combined to form one input. There are machines which take very limited inputs which make very
important classifications. The machine capable of detecting cancerous moles can only accept an image of a mole as an input. We
have a very clear understanding of the inputs of this machine. On the other hand, a driverless car has many sensors which combine
to provide infinite combinations of inputs.

Não quero sugerir que uma máquina que possa aceitar infinitas combinações de entradas não deve ser usada. Devemos
simplesmente saber que esta é a situação. Podemos saber que um aplicativo de IA em nosso telefone aceita dados de estações
meteorológicas, nossos comandos de voz, imagens do nosso rosto, etc., bem como feedback após sua decisão (para que ele possa
melhorar). Além disso, ele pode não ter limites reais — ou seja, ele tem a capacidade de obter dados de outras fontes se ajudar a
melhorar suas decisões. No entanto, a função da máquina pode ser simplesmente decidir se aconselha ou não o usuário a usar uma
jaqueta. Ou seja, ele só tem duas saídas: jaqueta, ou nenhuma jaqueta. Podemos debater sobre o exagero em relação ao uso da IA
para aconselhamento sobre nossas roupas ao ar livre; no entanto, a questão é que uma decisão sobre a aceitabilidade de uma
máquina requer não apenas conhecer seus limites e entradas, mas também sua função e saídas.

Funções e saídas
O conhecimento das funções e possíveis saídas de uma máquina é essencial para alcançarmos o objetivo de envolver máquinas
alimentadas por IA. No exemplo AlphaGo, a saída é um movimento legal no jogo de GO. Podemos ficar chocados com isso
fazendo um movimento particular, mas é, no entanto, um movimento legal no jogo de GO. Seria estranho se a função do AlphaGo

https://link.springer.com/article/10.1007/s00146-019-00891-1 5/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
fosse definida como "não deixar um jogador adversário ganhar" e em vez de fazer um movimento sua saída era bagunçar a tabela
(porque sabia que não havia chance de ganhar e esta era a única maneira de garantir que o outro jogador não ganhasse).

Pode ser fácil pensar que funções e saídas são equivalentes. No caso da máquina de decidir jaqueta na seção anterior, a função da
máquina é aconselhar o usuário sobre se deve ou não usar uma jaqueta. Isto é o mesmo que sua saída que é "jaqueta" ou "sem
jaqueta". Isso, no entanto, muitas vezes não é o caso. A função de um carro sem motorista é dirigir do ponto A ao ponto B; no
entanto, isso envolverá muitas saídas. Cada curva, aceleração, desvio e freio é uma saída. Funções definidas são de extrema
importância porque nos permitem testar as máquinas para eficácia. O quão bem uma máquina funciona é claramente saliente no que
diz respeito à sua aceitabilidade moral. Se o algoritmo maligno de detecção de toupeiras raramente fosse bem sucedido na
categorização de mols, então seria antiético usá-lo. Igualmente antiético é o uso do algoritmo quando somos ignorantes no que diz
respeito ao quão bem sucedido ele é (ou seja, usar fora de um ambiente de teste).

As saídas não são as mesmas da função de uma máquina; no entanto, eles podem ser discutidos da mesma forma que falamos sobre
as capacidades de uma máquina. O que a máquina pode fazer? Um carro sem motorista pode ser capaz de ir a 200 mph — o que
significa que esta é uma saída possível. Um drone pode ter uma metralhadora embutida, dando-lhe a capacidade de disparar balas
— o que significa que uma possível saída é o disparo de balas. Este exemplo deixa claro por que é tão importante ter conhecimento
sobre as funções, saídas, limites e entradas. Uma máquina cuja saída possível é disparar balas pode ser aceitável se sua única
entrada for um usuário dizendo-lhe para atirar e seus limites são uma sala à prova de balas. Precisamos de todo esse conhecimento
para tomar decisões informadas sobre a aceitabilidade das máquinas.

Saindo do escuro
Saber quais são os insumos, limites, dados de treinamento, saídas e funções de uma máquina alimentada por IA nos permitirá ter
alguma pista sobre os envelopes em que essas máquinas devem estar operando. Mesmo quando as máquinas são operadas em
ambientes tão amplos que não podemos impedir novos cenários, o conhecimento de que este é o caso ajuda a informar nossas
decisões sobre a aceitabilidade de tal máquina. Se há possíveis ambientes novos (e, portanto, somos ignorantes aos possíveis
insumos), então as saídas devem ser tais que não importam. Não importa qual nova configuração de tabuleiro do jogo GO é dada ao
AlphaGo, a saída é sempre um movimento legal de GO. Simplesmente não é possível para uma saída prejudicial. Não importaria se
o AlphaGo aceitasse como suas entradas transmissões de vídeo ao vivo de CCTV de todo o mundo — as saídas seriam sempre os
mesmos movimentos go benignos (embora tais entradas provavelmente não ajudariam com o objetivo declarado de ganhar o jogo
de GO). Isso contrasta diretamente com a situação que enfrentamos com carros sem motorista. Seus possíveis insumos são estados
de coisas em praticamente qualquer estrada do mundo — com o clima, pedestres, outros carros, etc., todos combinando para criar
entradas consistentemente novas. Neste caso, porém, as saídas são potencialmente fatais.

Máquinas que possuem especificações claras sobre as propriedades listadas em Seitas. 4.1, 4.2 e 4.3 limitam esses problemas. Cortis
é um algoritmo que detecta padrões de voz associados à parada cardíaca (Vincent 2018). O algoritmo existe explicitamente para
ajudar os operadores de chamadas de emergência (sabemos sua função). O algoritmo toma como sua entrada som ao vivo da linha
de chamada. Sua saída é verdadeira se o padrão de voz estiver associado a parada cardíaca e falso se não for (saídas explicitamente
definidas). Este algoritmo ser tão explícito significa que temos o conhecimento para determinar que esta é uma máquina aceitável.
Se a máquina é usada dentro dos limites dados, então podemos facilmente descobrir quais são os cenários possíveis — sem entender
como a máquina chega à sua decisão. A máquina é verdadeira ou falsa. Se for verdade, e uma pessoa na ponta da linha telefônica
está realmente tendo um ataque cardíaco, então a máquina pode ser fundamental na prevenção da morte. Se a saída for verdadeira, e
ninguém na extremidade da linha telefônica está tendo um ataque cardíaco, então os serviços de emergência podem ser enviados
sem que seja necessário. Embora esta não seja uma situação ideal, saber que poderia ocorrer nos dá o conhecimento para decidir se
esse risco vale a pena. Se a máquina sair falsa, e ninguém no final da linha está tendo um ataque cardíaco, então a chamada de
emergência não é afetada pela máquina. O último cenário é a máquina que produz 'falso' quando alguém na linha está tendo um
ataque cardíaco. Este é o pior cenário; no entanto, as consequências da máquina agir dessa forma não são diferentes das
consequências da chamada de emergência sem a máquina. Mais uma vez, o conhecimento de que isso pode acontecer é necessário
para decidirmos se este é um risco aceitável.

We can imagine a machine which would operate in a similar context which could result in unacceptable risk—because we do not
have the knowledge necessary to make an informed choice. This machine would be a robot which would be assigned the task of
triaging incoming patients. The robot would be able to ‘see’ the patients, talk to them, and decide their place in line. The sheer
number of possible inputs to this machine makes it difficult to determine how people could be harmed. In one obvious way, the
machine could underestimate the seriousness of a person’s situation resulting in their death. The possible harms are numerous and
unpredictable. It could be that the machine results in less harm than when human beings are responsible for triaging; however,
empirically validating this is next to impossible—especially before these machines are implemented.

If we are in the dark about the inputs, boundaries, functions, and outputs, then we have a machine we do not know enough about to
properly envelop—leading to its possible failure which will often be an unacceptable risk to human beings. For, with modern AI,
we are already in the dark about how it makes decisions. An undeveloped machine means that we are also in the dark about what
could happen with these machines.

Ideally, AI-powered machines will be designed for envelopment—with clear ideas about the training data, inputs, functions,
outputs, and boundaries. This knowledge would clearly be necessary to properly design for values or to facilitate an ethicist as part
of the design team (van Wynsberghe and Robbins 2014). Not only would this result in ethically better designs but may prevent a
waste of resources on a machine which cannot be enveloped and, therefore, may be designed to fail.

Objections
https://link.springer.com/article/10.1007/s00146-019-00891-1 6/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
One objection could be that envelopment prevents the ultimate dream (or nightmare depending upon your perspective) of AI:
developing general artificial intelligence. While some still dream of general artificial intelligence which will outperform humans at
just about any task (Bostrom 2006; Müller and Bostrom 2016), the knowledge I am arguing for would explicitly exclude such a
machine. General is the opposite of precise and general AI would be expected to perform many different tasks, have a variety of
outputs, and accept unlimited inputs. Luckily, this is not even on the horizon for robotics and AI right now, despite some futurists
making bombastic and outlandish claims about this possibility. As Floridi puts it:

True AI is not logically impossible, but it is utterly implausible. We have no idea how we might begin to engineer it, not least
because we have very little understanding of how our own brains and intelligence work. This means that we should not lose sleep
over the possible appearance of some ultraintelligence. (Floridi 2016).

We should not be basing our ethical considerations and discussions around the possibility of general or strong AI. The focus should
be on what is happening now and what could be happening in the foreseeable future. We must remember that robots just recently
learned how to open a door—a capability that may be dependent upon specific door handles (Sulleyman 2018). We must not put a
cart of ethical issues before the horse of the possibility of strong AI. It would be absurd to discuss the ethics surrounding eating
unicorn meat when the foreseeable future does not include unicorns. The point is that discussion of general, super, or strong AI is a
distraction from the real problems surrounding AI and robotics.

More pressing is the objection that requiring such knowledge would stifle innovation in AI. When Elon Musk claims that those
opposing autonomous cars are “killing people” (McGoogan 2016) he is claiming that innovation in autonomous cars will save lives
in the long run—so we should do it despite concerns. Envelopment would, to be sure, stop his Teslas from having the “autopilot”
option. This function is not enveloped—and, therefore, we do not have the knowledge to make informed choices regarding its
implementation and usage. However, envelopment would leave plenty of room for artificial intelligence to thrive.

The AI machines which are successful are the ones which are already enveloped. The Cortis machine for detecting cardiac arrest,
AlphaGo, machines for analyzing X-rays (Litjens et al. 2017), spam filtering, fraud detection, etc., are all enveloped—and many of
them are valuable with regard to helping us solve serious problems. Furthermore, we can measure how effective all these machines
are. Most importantly, envelopment is a workaround for AI’s transparency problem. If enveloped, AI machines can remain black
boxes—therefore, ensuring that the benefits of AI are kept.

One objection which is difficult to resolve is that contemporary AI machines often have multiple algorithms at work to take inputs
and create outputs. Just what is it that should be enveloped? That is, what is the machine? In a driverless car there are many sensors
feeding into many algorithms which in turn feed their outputs to an algorithm which actually results in action. Taken as one
machine, we might reach one evaluation; namely, that we lack the knowledge we need to envelope the machine. However, if we
take this machine apart we may have many machines which are in fact enveloped. For example, if there was an algorithm which
takes as its input an image of the inside of the car while it is in motion which outputs how many people are in the car the algorithm
itself does not seem to have much problem. There are clear inputs, outputs, boundaries and a function.

However, human users of a driverless car experience the outputs of the car—the turns, accelerations, the braking, etc. Human users
may not even be aware of the camera on the inside of the car—or the sensors detecting the outside world. The outputs of concern
are the turns and accelerations of the car—not of the individual sensors. Therefore, the driverless car as a whole should be the object
of evaluation.

Importantly, however, each of the machines which makes up the driverless car should be enveloped as well. What is different is the
users of the machine. In this case, the user of the machine is the automaker. Each AI machine which makes up the driverless car
should be enveloped—that is we should know their possible inputs, possible outputs, boundaries, and function. Not knowing these
things about a machine of importance to the functioning of the driverless car would be unacceptable.

The limits of envelopment

It must be said that envelopment is not enough on its own. Although the function of the machine must be known to us, this paper
says nothing of what functions should be assigned to robotics and AI Systems. It is easy to conceive of a robotic or AI system in
which we have the knowledge I have argued we should require but is tasked with creating a superbug, or killing someone. What
functions should be excluded from acceptable applications of AI is an important question. This question is actively debated in the
field of robot ethics and the ethics of AI. Tasks that are deemed unethical for AI systems, therefore, should not be considered by
developers, and attempting to envelop machines is a step that only applies to those machines whose functions are deemed ethical.
Knowledge about these machines can help us with this, however. If the boundaries and function of the machine are forced to be
made explicit, then it will be much easier to focus on whether or not this machine’s function and context are acceptable.

The envelopment of a machine does not mean that a particular machine is effective. An enveloped machine may be spectacularly
bad at achieving its function. This should definitely be a reason not to use a particular machine. What knowledge of the features
described above can do for us with regard to efficacy is help us understand what success means for a particular machine. How do
we judge the success of a machine when we do not know what its function is or the boundaries of its operation? A machine which is
precise with regard to its inputs, outputs, boundaries, function, and training data comes ready-made with a rubric for the evaluation
of its efficacy.

A more general issue that this knowledge and ideal state of envelopment do not cover is the subtle changes technology can have on
society. Just because we have the necessary knowledge for envelopment does not ensure that society will be changed for the better
due to the technology. Guns serve as a good example here. We have good knowledge about how they work—their inputs and
outputs. We can even say that there is meaningful human control in relation to guns. However, the option of using a gun opens up
https://link.springer.com/article/10.1007/s00146-019-00891-1 7/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
choices that were not available before. The ability to quickly and easily kill people has led, despite meaningful human control, to
situations like the US, where too many people are harmed and killed. It would be better if such choices did not exist—and many
countries have passed legislation taking away this choice.

The same will need to happen with regard to certain machines. Already there are calls to enact a ban on autonomous weapons
(Sampler 2017). There may be many other machines which are unacceptable for their societal impact despite meaningful human
control. Evaluations on societal impact—given envelopment and efficacy—will be extremely important. I do not pretend that the
arguments in this paper help with such an evaluation; rather, they can prevent us from wasting time evaluating machines that have a
more immediate problem: we do not have the knowledge to make informed evaluations in the first place.

Conclusion
The techno-optimism surrounding AI is running high. There seems to be no limit to its applications and no bounds to the hype in the
media. It can be difficult, therefore, to separate out real hope from fantasy, the good ideas from the ridiculous, and the responsible
from the irresponsible. Luciano Floridi has helpfully highlighted the concept of envelopment for helping us to understand what
makes for successful robotics—and, as I have argued—for responsible robotics. To get to an enveloped state, however, we must
know some basics with regard to these machines: the inputs, functions, training data, outputs, and boundaries.

Not only would such knowledge inform further ethical evaluation with regard to whether or not a specific function is an acceptable
task for a machine, but it achieves a necessary condition for meaningful human control. Despite concerns about stifling innovation,
envelopment allows for opaque algorithms to do what they do best. It simply keeps that opacity constrained to how the machine
makes decisions. I argued here that opacity which spreads well beyond the ‘how’ of the machine and into the what, where, why,
etc., is unacceptable. This allows us to realize the great things AI promises to us whilst keeping the fantastical, unnecessary, and
dangerous machines out.

Envelopment is simply one part of the puzzle which, when solved, will result in creating AI-driven machines that will benefit and
not harm society. Given envelopment, there are still important ethical evaluations which need to be made regarding the
appropriateness of delegating a particular task to a machine, whether or not the operation of that machine is under meaningful
human control, and what subtle societal effects such machines will have. While envelopment would not answer these important
questions, it is a necessary and important first step towards the responsible design, development, and implementation of AI-powered
machines.

Notes
1. 1.

Here I am discussing those AI algorithms falling under the umbrella of ‘machine learning’. There is work to try and
overcome this opacity (see e.g., Wachter et al. 2018; Gilpin et al. 2018); however, nothing so far can give us the specific
reasons used to make a particular decision.

2. 2.

The term ‘envelopment’ comes from the robot ethics literature. See e.g., Luciano Floridi (2011a) for a discussion of
envelopment in which it is argued that envelopment describes the conditions under which robots would be successful.

3. 3.

Bystanders to AI-powered machines are those people who are forced to use engage with them in some way. For example,
people biking to work may come across an autonomous car and not know how to act around it.

4. 4.

GDPR Recital 71. The full text can be found at https://gdpr-info.eu/recitals/no-71/.

5. 5.

Other ethical concerns may, however, be raised for this application, e.g., concerns regarding the appropriate training data
when algorithms are proven to work far better on fair skin than on darker skin tones (Lashbrook 2018).

References
1. Bostrom N (2006) How long before superintelligence? Linguist Philos Invest 5(1):11–30

Google Scholar

2. Bryson J (2010) Robôs devem ser escravos. In: Wilks Y (ed) Compromissos próximos com companheiros artificiais: questões
sociais, psicológicas, éticas e de design importantes. John Benjamins Publishing, Amsterdam, pp 63-74

Google Scholar

https://link.springer.com/article/10.1007/s00146-019-00891-1 8/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
3. Chokshi N (2018) Alexa está ouvindo? Amazon Echo enviou gravação da conversa do casal. In: The New York Times.
https://www.nytimes.com/2018/05/25/business/amazon-alexa-conversation-sharedecho.html. Acessado em 28 de maio de
2018

4. Citron DK, Pasquale FA (2014) A sociedade pontuada: o devido processo legal para previsões automatizadas. Wash Law Rev
89:1

Google Scholar

5. Alferes D, Friedler SA, Neville S et al (2017) Loops de feedback fugitivos no policiamento preditivo. arXiv 1706:09847 (cs,
stat)

Google Scholar

6. Floridi L (2011a) Envolvendo o mundo: o sucesso restritário das tecnologias inteligentes. In: Mauger J (ed) CEPE 2011: ética
nas relações interdisciplinares e interculturais. Milwaukee, Wisconsin, pp 111-116

Google Scholar

7. Floridi L (2011b) Filhos da quarta revolução. Philos Technol 24:227-232. https://doi.org/10.1007/s13347-011-0042-7

Artigo Google Scholar

8. Floridi L (2016) True AI é ao mesmo tempo logicamente possível e totalmente implausível — Luciano Floridi | Ensaios
Aeon. In: Aeon. https://aeon.co/essays/true-ai-is-both-logically-possible-and-utterly-implausible. Acesso em 20 de março de
2018

9. Gaggioli A (2017) Inteligência artificial: o futuro da ciberterapia? Cyberpsicol Behav Soc Netw 20:402-403.
https://doi.org/10.1089/cyber.2017.29075.csi

Artigo Google Scholar

10. Gilpin LH, Bau D, Yuan BZ, et al (2018) Explicando explicações: uma visão geral da interpretação do aprendizado de
máquina. In: 2018 IEEE 5ª Conferência Internacional sobre ciência de dados e análise avançada (DSAA). pp 80-89

11. Johnson DG (2006) Sistemas de computador: entidades morais, mas não agentes morais. Ética Inf Technol 8:195-204.
https://doi.org/10.1007/s10676-006-9111-5

Artigo Google Scholar

12. Koepke L (2016) O policiamento preditivo não é sobre o futuro. In: Slate.
http://www.slate.com/articles/technology/future_tense/2016/11/predictive_policing_is_too_dependent_on_historical_data.html.
Acessado em 22 nov 2016

13. A dermatologia movida a IA lashbrook A (2018) pode deixar os pacientes de pele escura para trás. In: The Atlantic.
https://www.theatlantic.com/health/archive/2018/08/machine-learning-dermatology-skin-color/567619/. Acessado em 3 de
outubro de 2018

14. Levin S (2018) Acidente fatal de Tesla: modo "piloto automático" acelerou o carro antes do motorista morrer, segundo o
relatório. In: The Guardian. https://www.theguardian.com/technology/2018/jun/07/tesla-fatal-crash-silicon-valley-autopilot-
mode-report. Acessado em 16 out 2018

15. Litjens G, Kooi T, Bejnordi BE et al (2017) Uma pesquisa sobre aprendizagem profunda na análise de imagens médicas. Med
Image Anal 42:60-88. https://doi.org/10.1016/j.media.2017.07.005

Artigo Google Scholar

16. Martin T, Priest D (2017) A lista completa de comandos da Alexa até agora. In: CNET. https://www.cnet.com/how-
to/amazon-echo-the-complete-list-of-alexa-commands/. Acessado em 28 de maio de 2018

17. McGoogan C (2016) "Você está matando pessoas": Elon Musk ataca críticos de carros autônomos. In: The Telegraph.
https://www.telegraph.co.uk/technology/2016/10/20/youre-killing-people-elon-musk-attacks-critics-of-self-driving-c/.
Acessado em 23 de maio de 2018

18. Müller VC, Bostrom N (2016) Progresso futuro em inteligência artificial: um levantamento de opinião de especialistas. In:
Müller VC (ed) Questões fundamentais da inteligência artificial. Springer, Suíça, pp 555-572

Google Scholar

19. Pasquale F (2015) A sociedade caixa preta: os algoritmos secretos que controlam dinheiro e informação. Harvard University
Press

https://link.springer.com/article/10.1007/s00146-019-00891-1 9/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
Google Scholar

20. Robbins S, Henschke A (2017) O valor da transparência: dados em massa e autoritarismo. Surveill Soc 15:582-589.
https://doi.org/10.24908/ss.v15i3/4.6606

Artigo Google Scholar

21. Sampler I (2017) Proibição de robôs assassinos precisava urgentemente, dizem os cientistas. In: The Guardian.
http://www.theguardian.com/science/2017/nov/13/ban-on-killer-robots-urgently-needed-say-scientists. Acessado em 23 de
maio de 2018

22. Santoni de Sio F, van den Hoven J (2018) Controle humano significativo sobre sistemas autônomos: um relato filosófico.
Front Robot AI 5:15. https://doi.org/10.3389/frobt.2018.00015

Artigo Google Scholar

23. Scheutz M (2016) A necessidade de competência moral nas arquiteturas de agentes autônomos. In: Müller VC (ed) Questões
fundamentais da inteligência artificial. Springer, Suíça, pp 515-525

Google Scholar

24. Sharkey N, van Wynsberghe A, Robbins S, Hancock E (2017) Nosso futuro sexual com robôs. In: Fundação para Robótica
Responsável. https://responsiblerobotics.org/wp-content/uploads/2017/07/FRR-Consultation-Report-Our-Sexual-Future-with-
robots_Final.pdf. Acesso em 20 fev 2019

25. Sulleyman A (2018) Cão robô da Boston Dynamics abre as portas para outro robô sem braços. In: The Independent.
http://www.independent.co.uk/life-style/gadgets-and-tech/news/boston-dynamics-robot-dog-open-door-video-hold-open-no-
arms-help-video-youtube-a8208096.html. Acessado em 28 de maio de 2018

26. van Wynsberghe A, Robbins S (2014) Eticista como designer: uma abordagem pragmática da ética no laboratório. Sci Eng
Ethics 20:947-961. https://doi.org/10.1007/s11948-013-9498-4

Artigo Google Scholar

27. van Wynsberghe A, Robbins S (2018) Criticando as razões para fazer agentes morais artificiais. Sci Eng Ética.
https://doi.org/10.1007/s11948-018-0030-8

Artigo Google Scholar

28. Vincent J (2018) AI que detecta paradas cardíacas durante chamadas de emergência será testada em toda a Europa neste
verão. In: The Verge. https://www.theverge.com/2018/4/25/17278994/ai-cardiac-arrest-corti-emergency-call-response.
Acessado em 23 de maio de 2018

29. Vollmer N (2018) Considerando 71 Regulamento geral de proteção de dados da UE (EU-GDPR). http://www.privacy-
regulation.eu/en/recital-71-GDPR.htm. Acessado em 16 out 2018

30. Wachter S, Mittelstadt B, Floridi L (2016) Por que o direito à explicação da tomada de decisões automatizadas não existe no
regulamento geral de proteção de dados. Int Data Priv Lei 7:76-99. https://doi.org/10.1093/idpl/ipx005

Artigo Google Scholar

31. Wachter S, Mittelstadt B, Russell C (2018) Explicações contrafactuais sem abrir a caixa preta: decisões automatizadas e o
GDPR. Harv J Law Technol 31:1-52

Google Scholar

32. Wallach W, Allen C (2010) Máquinas morais: ensinando robôs desde o errado, 1ª edn. Oxford University Press

Google Scholar

Baixar referências

Agradecimentos
Gostaria de agradecer a Aimee van Wynsberghe, Adam Henschke e dois revisores anônimos por comentários sobre versões
anteriores deste artigo.

Financiamento

https://link.springer.com/article/10.1007/s00146-019-00891-1 10/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
A pesquisa beneficiou-se das atividades realizadas no projeto de subvenção avançada do Conselho Europeu de Pesquisa
"Responsabilidade Coletiva e Contraterrorismo" concedido ao professor Seumas Miller.

Informações do autor
Afiliações

1. Ética e Filosofia da Tecnologia, Faculdade de Tecnologia, Política e Gestão, Delft University of Technology, Jaffalaan 5,
2628 BX, Delft, Países Baixos

Scott Robbins

Authors

1. Scott Robbins
View author publications

You can also search for this author in PubMed Google Scholar

Autor correspondente

Correspondência para Scott Robbins.

Informações adicionais
Nota do Editor

Springer Nature permanece neutra em relação às reivindicações jurisdicionais em mapas publicados e afiliações institucionais.

Direitos e permissões
Acesso Aberto Este artigo é distribuído sob os termos da Creative Commons Attribution 4.0 International License
(http://creativecommons.org/licenses/by/4.0/), que permite uso, distribuição e reprodução irrestritos em qualquer meio, desde que
você dê crédito adequado ao autor original e à fonte, forneça um link para a licença Creative Commons e indique se foram feitas
alterações.

Reimpressões e Permissões

Sobre este artigo

Cite este artigo

Robbins, S. AI e o caminho para o envoltório: conhecimento como primeiro passo para a regulação responsável e o uso de
máquinas movidas a IA. AI & Soc 35, 391-400 (2020). https://doi.org/10.1007/s00146-019-00891-1

Citação de download

Recebido: 16 de outubro de 2018

Aceito: 04 de Abril de 2019

Publicado: 10 de abril de 2019

Data de emissão: junho de 2020

Doi: https://doi.org/10.1007/s00146-019-00891-1

Compartilhe este artigo

Qualquer um com quem você compartilhe o seguinte link poderá ler este conteúdo:

https://link.springer.com/article/10.1007/s00146-019-00891-1 11/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…

Obter link compartilhável

Sorry, a shareable link is not currently available for this article.

Copy to clipboard

Fornecido pela iniciativa Springer Nature SharedIt de compartilhamento de conteúdo

Keywords
Ética em IA
Ética da máquina
Controle humano significativo
Ética dos robôs

Baixe PDF

Seções
Referências

Abstrata
Introdução
Opacidade e algoritmos
Envolumento
Para o envoltório da IA
Objeções
Os limites do envoltório
Conclusão
Notas
Referências
Agradecimentos
Financiamento
Anúncio
Informações do autor
Informações adicionais
Direitos e permissões
Sobre este artigo

1. Bostrom N (2006) How long before superintelligence? Linguist Philos Invest 5(1):11–30

Google Scholar

2. Bryson J (2010) Robots should be slaves. In: Wilks Y (ed) Close engagements with artificial companions: key social,
psychological, ethical and design issues. John Benjamins Publishing, Amsterdam, pp 63–74

Google Scholar

3. Chokshi N (2018) Is Alexa listening? Amazon echo sent out recording of couple’s conversation. In: The New York Times.
https://www.nytimes.com/2018/05/25/business/amazon-alexa-conversation-sharedecho.html. Accessed 28 May 2018

4. Citron DK, Pasquale FA (2014) The scored society: due process for automated predictions. Wash Law Rev 89:1

Google Scholar

5. Ensign D, Friedler SA, Neville S et al (2017) Runaway feedback loops in predictive policing. arXiv 1706:09847 (cs, stat)

Google Scholar

6. Floridi L (2011a) Enveloping the world: the constraining success of smart technologies. In: Mauger J (ed) CEPE 2011: ethics
in interdisciplinary and intercultural relations. Milwaukee, Wisconsin, pp 111–116
https://link.springer.com/article/10.1007/s00146-019-00891-1 12/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
Google Scholar

7. Floridi L (2011b) Children of the fourth revolution. Philos Technol 24:227–232. https://doi.org/10.1007/s13347-011-0042-7

Article Google Scholar

8. Floridi L (2016) True AI is both logically possible and utterly implausible—Luciano Floridi | Aeon Essays. In: Aeon.
https://aeon.co/essays/true-ai-is-both-logically-possible-and-utterly-implausible. Accessed 20 Mar 2018

9. Gaggioli A (2017) Artificial intelligence: the future of cybertherapy? Cyberpsychol Behav Soc Netw 20:402–403.
https://doi.org/10.1089/cyber.2017.29075.csi

Article Google Scholar

10. Gilpin LH, Bau D, Yuan BZ, et al (2018) Explaining explanations: an overview of interpretability of machine learning. In:
2018 IEEE 5th International Conference on data science and advanced analytics (DSAA). pp 80–89

11. Johnson DG (2006) Computer systems: moral entities but not moral agents. Ethics Inf Technol 8:195–204.
https://doi.org/10.1007/s10676-006-9111-5

Article Google Scholar

12. Koepke L (2016) Predictive policing isn’t about the future. In: Slate.
http://www.slate.com/articles/technology/future_tense/2016/11/predictive_policing_is_too_dependent_on_historical_data.html.
Accessed 22 Nov 2016

13. Lashbrook A (2018) AI-driven dermatology could leave dark-skinned patients behind. In: The Atlantic.
https://www.theatlantic.com/health/archive/2018/08/machine-learning-dermatology-skin-color/567619/. Accessed 3 Oct 2018

14. Levin S (2018) Tesla fatal crash: “autopilot” mode sped up car before driver killed, report finds. In: The Guardian.
https://www.theguardian.com/technology/2018/jun/07/tesla-fatal-crash-silicon-valley-autopilot-mode-report. Accessed 16 Oct
2018

15. Litjens G, Kooi T, Bejnordi BE et al (2017) A survey on deep learning in medical image analysis. Med Image Anal 42:60–88.
https://doi.org/10.1016/j.media.2017.07.005

Article Google Scholar

16. Martin T, Priest D (2017) The complete list of Alexa commands so far. In: CNET. https://www.cnet.com/how-to/amazon-
echo-the-complete-list-of-alexa-commands/. Accessed 28 May 2018

17. McGoogan C (2016) “You’re killing people”: Elon Musk attacks critics of self-driving cars. In: The Telegraph.
https://www.telegraph.co.uk/technology/2016/10/20/youre-killing-people-elon-musk-attacks-critics-of-self-driving-c/.
Accessed 23 May 2018

18. Müller VC, Bostrom N (2016) Future progress in artificial intelligence: a survey of expert opinion. In: Müller VC (ed)
Fundamental issues of artificial intelligence. Springer, Switzerland, pp 555–572

Google Scholar

19. Pasquale F (2015) The Black box society: the secret algorithms that control money and information. Harvard University
Press, Cambridge

Google Scholar

20. Robbins S, Henschke A (2017) The value of transparency: bulk data and authoritarianism. Surveill Soc 15:582–589.
https://doi.org/10.24908/ss.v15i3/4.6606

Article Google Scholar

21. Sampler I (2017) Ban on killer robots urgently needed, say scientists. In: The Guardian.
http://www.theguardian.com/science/2017/nov/13/ban-on-killer-robots-urgently-needed-say-scientists. Accessed 23 May
2018

22. Santoni de Sio F, van den Hoven J (2018) Meaningful human control over autonomous systems: a philosophical account.
Front Robot AI 5:15. https://doi.org/10.3389/frobt.2018.00015

Article Google Scholar

23. Scheutz M (2016) The need for moral competency in autonomous agent architectures. In: Müller VC (ed) Fundamental issues
of artificial intelligence. Springer, Switzerland, pp 515–525

https://link.springer.com/article/10.1007/s00146-019-00891-1 13/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…
Google Scholar

24. Sharkey N, van Wynsberghe A, Robbins S, Hancock E (2017) Our sexual future with robots. In: Foundation for Responsible
Robotics. https://responsiblerobotics.org/wp-content/uploads/2017/07/FRR-Consultation-Report-Our-Sexual-Future-with-
robots_Final.pdf. Accessed 20 Feb 2019

25. Sulleyman A (2018) Boston dynamics robot dog opens door for another robot with no arms. In: The Independent.
http://www.independent.co.uk/life-style/gadgets-and-tech/news/boston-dynamics-robot-dog-open-door-video-hold-open-no-
arms-help-video-youtube-a8208096.html. Accessed 28 May 2018

26. van Wynsberghe A, Robbins S (2014) Ethicist as designer: a pragmatic approach to ethics in the lab. Sci Eng Ethics 20:947–
961. https://doi.org/10.1007/s11948-013-9498-4

Article Google Scholar

27. van Wynsberghe A, Robbins S (2018) Critiquing the reasons for making artificial moral agents. Sci Eng Ethics.
https://doi.org/10.1007/s11948-018-0030-8

Article Google Scholar

28. Vincent J (2018) AI that detects cardiac arrests during emergency calls will be tested across Europe this summer. In: The
Verge. https://www.theverge.com/2018/4/25/17278994/ai-cardiac-arrest-corti-emergency-call-response. Accessed 23 May
2018

29. Vollmer N (2018) Recital 71 EU general data protection regulation (EU-GDPR). http://www.privacy-regulation.eu/en/recital-
71-GDPR.htm. Accessed 16 Oct 2018

30. Wachter S, Mittelstadt B, Floridi L (2016) Why a right to explanation of automated decision-making does not exist in the
general data protection regulation. Int Data Priv Law 7:76–99. https://doi.org/10.1093/idpl/ipx005

Article Google Scholar

31. Wachter S, Mittelstadt B, Russell C (2018) Counterfactual explanations without opening the black box: automated decisions
and the GDPR. Harv J Law Technol 31:1–52

Google Scholar

32. Wallach W, Allen C (2010) Moral machines: teaching robots right from wrong, 1st edn. Oxford University Press, New York

Google Scholar

Mais de 10 milhões de documentos científicos na ponta dos dedos

Edição do Switch

Edição Acadêmica
Edição Corporativa

Casa
Impressum
Informações legais
Declaração de privacidade
Declaração de Privacidade da Califórnia
Como usamos cookies
Gerenciar cookies/Não vender meus dados
Acessibilidade
Entre em contato conosco

Not logged in - 201.17.79.236

Not affiliated

Natural Springer

© 2020 Springer Nature Switzerland AG. Part of Springer Nature.

https://link.springer.com/article/10.1007/s00146-019-00891-1 14/15
03/11/2020 AI and the path to envelopment: knowledge as a first step towards the responsible regulation and use of AI-powered machines | Sp…

Scott Robbins
Ethics and Philosophy of Technology, Faculty of Technology, Policy, and Management, Delft University of Technology,
Jaffalaan 5, 2628 BX, Delft, The Netherlands
Contact Scott Robbins

View author publications

You can also search for this author in PubMed Google Scholar

Close

https://link.springer.com/article/10.1007/s00146-019-00891-1 15/15