CAPÍTULO 8

ANÁLISE DA QUALIDADE DA USABILIDADE DO

PORTAL GOV.BR POR MEIO DO SYSTEM USABILITY
SCALE - SUS COMO FERRAMENTA ESTRATÉGICA

Data de aceite: 01/08/2023

Marina Tranzillo Rodrigues de Oliveira avaliação de usabilidade como o SUS

Laboratório, Departamento, Universidade como ferramenta estratégica garantem
qualidade, disponibilidade e efetividade de
Orlando Leonardo Berenguel
serviços, principalmente públicos digitais,
Instituto Federal de Educação, Ciência e
para manutenção e melhora contínua, com
Tecnologia de São Paulo, docente da pós-
indicadores para mobilização de recursos e
graduação, câmpus Bragança Paulista.
investimentos.
PALAVRAS-CHAVE: Usabilidade –
Estratégia – Qualidade – Serviço Público.
RESUMO: O Portal Gov.br é uma estratégia
do governo federal para reunir serviços ABSTRACT: The Gov.br Portal is a federal
públicos e fazendo parte das propostas government strategy for public services
de transformação digital. Esse tipo de and is part of the digital transformation
estratégia traz movimento aos setores e proposals. This movement strategy brings
buscam adequação de serviços alinhados the technology of services and services
à tecnologia da informação com vistas a aligned to the services and services sectors
melhoria da eficiência, eficácia e qualidade aligned to the efficiency, information and
dos serviços públicos digitais. Assim, quality of digital public services. Thus, this
esta pesquisa tem por objetivo avaliar a research aims to evaluate the usability
usabilidade do portal Gov.br, utilizando of the Gov.br portal, using the System
o método System Usability Scale - SUS Usability Scale - SUS method as a strategic
como ferramenta de gestão estratégica. management tool. The data were taken
Os dados foram retirados do próprio portal from the portal itself and adapted by the
e adaptados pelos pesquisadores para researchers to the SUS scale with the aim
a escala do método SUS com o intuito of evaluating a method for users. For the
de avaliar a satisfação dos usuários. creation of the SUS scale, the data were
Para a criação da escala SUS, os dados already made available on the Gov.br portal
foram já disponibilizados no portal Gov. and were redistributed, generating a new
br foram redistribuídos gerando nova analysis. To conclude that quality usability
análise. Conclui-se que métodos de methods such as the SUS will guarantee the

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 70

availability and resources of strategic services, mainly digital for maintenance and continuous
improvement, with indicators for the dissemination of public resources and investments.
KEYWORDS: Usability - Strategy - Quality - Public Service.

1 | INTRODUÇÃO
A transformação digital no setor público faz parte de uma política que determina a
adoção de estratégias de governo digital instituída desde 2020. De acordo com a Secretaria
Especial de Modernização do Estado, da Secretaria - Geral da Presidência da República,
apenas atrás dos Estados Unidos da América, o Brasil é o segundo país das Américas com
o maior número de serviços no formato digital.
A transformação digital é uma mudança que vem acontecendo na sociedade como
um todo, seja para os entes públicos ou privados e que demanda adequação dos serviços
alinhada às novas tecnologias de informação. A ideia dessa política pública é determinar
um plano para sustentar acesso da população à serviços prestados pelo governo por meio
de uma plataforma única e com avaliação de satisfação pelos seus usuários.
Para Peixoto (2021) “a transformação digital contribui diretamente para o aumento
da competitividade, da produtividade e geração de riqueza”. Nesse sentido, o termo
transformação digital consiste em novas criações e serviços, que atendam exigências,
padrões e adequações no que cerne o mundo da tecnologia.
A produção de serviços tecnológicos obedece a uma lógica subjetiva, que envolve a
cultura organizacional, novas práticas e saberes sociais (SEBRAE,2022).
Este trabalho tem como objetivo avaliar por meio de comparação a usabilidade do
portal Gov.br, utilizando o método System Usability Scale - SUS como ferramenta de gestão
estratégica.
Trata-se de uma pesquisa qualitativa com dois momentos específicos, sendo a
revisão bibliográfica e a investigação em documentos públicos do governo federal que
tratam das diretrizes das políticas públicas e estratégias de governo digital. O segundo
momento trata-se da adaptação da escala de usabilidade proposta pelo método SUS para
a avaliação da usabilidade do portal Gov.br. Os dados são abertos e foram extraídos do
próprio portal. Como forma complementar foi utilizada a Portaria SGD/ME nº 548, de 24 de
janeiro de 2022 que estabelece políticas públicas para usabilidade. As opiniões agrupadas
foram redistribuídas para a acomodação no método SUS gerando novas análises.

USABILIDADE E A ESCALA DO PADRÃO SUS

Usabilidade constitui-se na facilidade e agradabilidade que determinados recursos
têm em seu uso. Afirma Nielsen (2012) “é um atributo de qualidade, que avalia como as
interfaces de usuário são fáceis de usar.” Usabilidade também se refere a métodos para
melhoria contínua durante o processo de um projeto.

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 71

 De acordo com estudos de Jakob Nielsen (2012), define-se usabilidade em 5
componentes de qualidade:
1. Capacidade de aprendizado: Quão fácil é para os usuários realizar tarefas
básicas na primeira vez que encontram o design;
2. Eficiência: Uma vez que os usuários prenderam o design, quão rapidamente
eles podem executar tarefas;
3. Memorabilidade: Quando os usuários retornam ao design após um período de
não uso, quão facilmente eles podem restabelecer a proficiência;
4. Erros: Quantos erros os usuários cometem, quão graves são esses erros e
quão facilmente eles podem se recuperar dos erros;
5. Satisfação: Quão agradável é usar o design;

Para Teixeira (2015) a medição da usabilidade é difícil expressar quantitativamente,

segundo ele
“Um teste de usabilidade com usuários reais do produto pode rapidamente te
apontar as tarefas com as pessoas têm mais dificuldade no seu produto, mas
ainda assim não consegue indicar ‘o quão grande’ o problema de usabilidade
é, em uma escala numérica.”

Dessa forma usar escalas numéricas de usabilidade como a ferramenta SUS

(System Usability Scale), possibilita métricas para avaliação de cenários de sistemas.

SYSTEM USABILITY SCALE (SUS)

SUS é um método de averiguação do nível de usabilidade de um sistema, o
método se tornou popular principalmente por não ser longo nem para o usuário nem para
o pesquisador e também apresentar um balanço que pode ser cientificamente apurado.
Criado por John Brooke em 1986, o método pode ser usado para avaliar produtos, serviços,
hardware, software, websites, aplicações e qualquer outro tipo de interface. Critérios
avaliados pelo SUS são:

• Efetividade (os usuários conseguem completar seus objetivos?)

• Eficiência (quanto esforço e recursos são necessários para isso?)

• Satisfação (a experiência foi satisfatória?)

Sauro (2018), afirma que a escala disponibiliza, um método fácil e simples, que
fornece uma pontuação de alto nível para a qualidade do serviço, site ou aplicativo, é
agradável para ser respondida pelos usuários, confiável e econômica. “comparar os escores
do SUS em diferentes estágios de um projeto mostra como a usabilidade está mudando”.
A pesquisa SUS inclui um questionário de 10 perguntas, escaladas de 1 a 5 em que
1 significa discordo totalmente e 5 concordo totalmente (Figura 1).

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 72

 Desta forma o teste SUS se torna quantitativo, aplicando-o em um teste final de
usabilidade pode trazer resultados qualitativos.

Figura 1. Escala SUS. Disponível em: https://brasil.uxdesign.cc/ acesso 10/05/2022

1. Eu acho que gostaria de usar esse sistema com frequência.

2. Eu acho o sistema desnecessariamente complexo.
3. Eu achei o sistema fácil de usar.
4. Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos
para usar o sistema.
5. Eu acho que as várias funções do sistema estão muito bem integradas.
6. Eu acho que o sistema apresenta muita inconsistência.
7. Eu imagino que as pessoas aprenderão como usar esse sistema rapidamente.
8. Eu achei o sistema atrapalhado de usar.
9. Eu me senti confiante ao usar o sistema.
10. Eu precisei aprender várias coisas novas antes de conseguir usar o sistema.

Para o cálculo do SUS e interpretação de acordo com Teixeira (2015) e o Portal

Usability (2022) pode parecer complexo, mas os resultados não são percentuais.
Depois da coleta de dados, para respostas impares 1,3,5 subtrai-se 1, da pontuação
que o usuário respondeu;
Para as respostas pares 2,4 subtraia 5, ou seja, se for 2 ser 3, se for 4 será 1. Soma-
se todos os valores das dez perguntas e multiplique por 2,5. Essa pontuação vai de 0 a 100.
Sauro (2018) destaca que o escore SUS não é uma medida absoluta de usabilidade,
podendo fazer uso de outras técnicas para não limitar resultados.
Para ele, os usuários expressam atitudes “positivas, neutras e negativas” na
pesquisa SUS e para somar com um estudo maior a utilização de teste de usabilidade é
aconselhável.
Desta maneira obtêm-se o valor do escore do SUS, onde sua média é 68 pontos,
valores acima estão em um bom caminho na questão de qualidade da usabilidade, menos
pontos que a média ou menor que 50 o site ou aplicativo está enfrentando grandes problemas
e dificuldades, que implica no fracasso do produto e tem como indicador a priorização em
investimentos, para o plano de negócio em usabilidade e design.

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 73

USABILIADE E O PORTAL GOV.BR
Portal GOV.br é um projeto de unificação de canais digitais do governo federal
brasileiro, a proposta é ofertar serviços prestados pelo governo federal pelo portal, reunindo
um rol de informações para o cidadão, “a entrada única para as páginas institucionais da
administração federal, oferecendo ao cidadão um canal direto e rápido de relacionamento
com os órgãos federais” (Portal gov.br acesso 2022).
Seu objetivo é ser simples e focado nas necessidades do usuário de serviços
públicos.
A avaliação do uso do Portal Gov.Br estão previstas na Portaria SGD/ME nº 548,
de 24 de janeiro de 2022 que assegura ao usuário o direito de participar da avaliação dos
serviços públicos, por meio de coleta de dados, fornecendo informações para monitoramento
e melhoria contínua como forma de priorizar esforços e dar transparência e tornar públicas
as avaliações de satisfação dos serviços a partir da perspectiva dos usuários como mostra
nas figuras 5 e 6.
A avaliação feita pelo usuário dos serviços do portal gov.br, levarão em conta sua
satisfação percebida de acordo com sua experiência com o serviço e serão disponibilizadas
no término da última etapa do serviço utilizado. A satisfação será indicada pelo usuário em
escala de cinco pontos, com dimensões da qualidade percebida aos seguintes pontos: I -
clareza das informações; II - facilidade de uso; III - qualidade dos canais de comunicação;
IV - custo ou esforço para obtenção do serviço; V - disponibilidade do serviço; VI - tempo
para obtenção do serviço; VII -eficácia. Nesta etapa não há obrigatoriedade para obtenção
do serviço.
A avaliação servirá também para subsidiar decisões das unidades gestoras no que
tange padrões, modelos publicados e canais. Com o domínio de informações, a unidade
gestora poderá definir regras e adequação, quanto à frequência da coleta da avaliação.
A portaria também prevê a forma de divulgação, cálculo das médias de satisfação e a
publicação na plataforma. São princípios a serem observados por todos os serviços digitais
abrangidos a simplicidade, acessibilidade, privacidade, segurança, interoperabilidade e
transparência.

RESULTADOS E DISCUSSÃO
Para uma visualização do conjunto da avaliação foi criado a Figura 3 que constitui
as perguntas do Sistema de Escala de Usabilidade (SUS). De acordo com a avaliação
disponibilizada no Gov.br dos 760 serviços, observou-se que apenas 112 foram avaliados
com pontuações de 1 a 5 da escala de avaliação pelos usuários.
Para uma precisão na adequação das escalas com valores de 1 a 5, foi utilizada
a técnica de arredondamento para valores fracionários: valores depois da casa decimal

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 74

menores que 5 foram mantidos, maiores e iguais a 5 foram acrescentados uma unidade.
A análise neste ponto foi feita de forma geral levando em conta a escala de avaliação
contida no Portal Gov.br, nela foi tirado um percentual das quantidades de valores avaliados
pelos usuários Figura 2.
Dessa forma obteve-se os seguintes valores:

Figura 2. Avaliação de Satisfação em porcentagem.

Fonte: Adaptado pelos autores

Esses números convertidos para o SUS (System Usability Scale), não atentando-
se diretamente às perguntas, mas, a quantidade de Concordância e Não concordância
gerando a seguinte interpretação:

Figura 3. Perguntas Avaliação - SUS

Fonte: Adaptado pelos autores.

Com a transferência dos resultados de satisfação publicados no Gov.BR e

transferidos para a escala do método SUS, foi possível efetuar o cálculo para a obtenção
do Score SUS como mostrado na figura 4.

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 75

 Figura 4. Cálculo SUS
Fonte: Elaborado pelos autores.

Figura 5. Painel de monitoramento de serviços federais – visão geral

Disponível: paineldeservicos.com.br/serviço. acesso 10/05/2022

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 76

 Figura 6. Painel de monitoramento de serviços – Ranking
Disponível: paineldeservicos.com.br/serviço. acesso 10/05/2022

Esta pesquisa buscou avaliar por meio de comparação a usabilidade do portal Gov.
br, utilizando o método SUS como ferramenta de gestão estratégica, assim com a análise
dos dados retirados no Gov.br e o padrão de questões do SUS obtivemos um resultado
interessante para uma discussão.
Os dados resultantes do portal, foram obtidos no painel de monitoramento de
serviços federais, considerou-se os serviços já avaliados pelos usuários, também em uma
escala de 1 a 5, com o intuito da comparação para a conversão das questões do System
Usability Scale (SUS), foi contabilizado a quantidade de serviços e suas avaliações, pelo
que se percebeu as avaliações foram feitas com médias fracionárias, para esta pesquisa
utilizou-se a técnica de arredondamento para estes, para maior precisão.
O portal abrange uma grande quantidade de serviços, que foram avaliados com
uma única pontuação, assim juntou-se as mesmas pontuações nas quais conseguisse um
percentual para implementar na pontuação das questões SUS.
Dessa maneira esta pesquisa, evidenciou que de acordo com o escore SUS, o
Portal Gov.br obteve pontuação 65, sendo a média do SUS 68, produtos abaixo desse valor
estão enfrentando impedimentos. Por tanto, quanto a qualidade e usabilidade do portal,
faz-se necessário a verificação, melhora contínua e investimento em design e qualidade
da usabilidade para o portal Gov.br em seus serviços, por estar 3 pontos somente abaixo
da média, considera-se que possuem alguns serviços com boa facilidade, e agradabilidade
de uso, avaliados pelos usuários, atendendo razoavelmente os critérios de Efetividade,
Eficiência e Satisfação do SUS, alinhados, mas não totalmente com os padrões de qualidade
para serviços públicos digitais estabelecidos pela portaria nº 548, de 24 de janeiro de 2022.

CONSIDERAÇÕES FINAIS
Esta pesquisa não tem como objetivo, ir em detrimento da usabilidade e qualidade
do portal Gov.br, mas, sim contribuir como estratégia por meio do método System Usability
Scale - SUS, para uma melhoria contínua e priorização de recursos em qualidade de

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 77

usabilidade e design.
Nesta pode observar que o método SUS é válido para analisar a usabilidade de um
produto de acordo com retornos dos usuários do sistema, produto ou serviço digital, não
excluindo a utilização de outras ferramentas. Com seu escore, é possível visualizar em
que momento o produto está, e por meio de sua média, verifica-se que, pontuações abaixo
precisam de atenção e mobilização para manutenção de uma boa qualidade.
O portal Gov.br, apresentou em seus dados um bom retorno de seus usuários e na
análise desta pesquisa convertida para o SUS, mostra-se que mantém próximo da média,
atentando para a melhoria de recursos no portal, nas quais não está crítico, porém, precisa
de melhorias para um bom uso dos serviços públicos disponibilizados no mesmo, com o
objetivo de sustento da disponibilidade do acesso à população.
Dessa forma a transformação digital caminha para o cumprimento de seu papel na
adequação dos serviços alinhada às novas tecnologias.

REFERÊNCIAS
5 Ways to Interpret a SUS Score – MeasuringU, Disponível em: https://measuringu.com/interpret-sus-
score/. Acesso em 30 de Maio. 2022.

GERHARD, T & SILVEIRA, D. Métodos de pesquisa. Porto Alegre: Editora da UFRGS, 2009. 120p.

Governo Federal - Governo do Brasil- Português (Brasil), Disponível em: www.gov.br. Acesso em 10
de Maio. 2022.

MINAYO, M. C. S. O desafio do conhecimento. Pesquisa qualitativa em saúde. São Paulo:

HUCITEC, 2007.

MORAIS, F. Transformação Digital: Como A Inovação Digital Pode Ajudar No Seu Negócio Para Os
Próximos Anos, Saraiva Educação S.A., 2019.

PEIXOTO, E. C. Transformação Digital: Uma jornada possível. Jandaíra, 256p.2021.

PORTARIA SGD/ME Nº 548, DE 24 DE JANEIRO DE 2022 - PORTARIA SGD/ME Nº 548, DE 24 DE

JANEIRO DE 2022 - DOU - Imprensa Nacional (in.gov.br), Disponivel em: https://www.in.gov.br/en/web/
dou/-/portaria-sgd/me-n-548-de-24-de-janeiro-de-2022-375784151. Acesso em 10 de Maio. 2022.

SAURO, J. System Usability Scale (SUS) | Usability.gov (Set.2018), Disponível em https://www.

usability.gov/how-to-and-tools/methods/system-usability-scale.html. Acesso em 5 de Junho.2022.

System Usability Scale (uxls.org), Disponível em: https://uxls.org/methods/system-

usabilityscae/#:~:text=The%20System%20Usability%20Scale%2C%20or%20SUS%2C%20is%20
a,of%20a%20project%20shows%20how%20usability%20is%20changing. Acesso em 30 de Maio.2022.

TEIXEIRA, F. O que é o SUS (System Usability Scale) e como usá-lo em seu site, Disponivel em:
https://brasil.uxdesign.cc/o-que-%C3%A9-o-sus-system-usability-scale-e-como-us%C3%A1-lo-em-seu-
site-6d63224481c8. Acesso em 10 de Maio.2022.

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 78

Transformação digital: o que é e como aproveitar o momento para crescer - Sebrae Respostas,
Disponível em: https://respostas.sebrae.com.br/transformacao-digital-o-que-e-e-como-aproveitar-o-
momento-para-crescer/. Acesso 5 de Maio.2022.

Usability 101: Introduction to Usability (nngroup.com), Disponível em: https://www.nngroup.com/

articles/usability-101-introduction-to-usability/. Acesso em 2 de Junho. 2022.

VERAS, M. Gestão da Tecnologia da Informação: sustentação e inovação para a transformação

digital.1Ed, Brasport,2019. 216p.

Indicadores de ciência, tecnologia e inovação 2 Capítulo 8 79