BASE DE DADOS – CADASTRO PRODUTOS EAN e FOTOS

Autor: Romeu Gomes de Sousa

É Pós Graduado em Sistemas de Informação desde 1992. Tendo atuado na
área de de Bancos de Dados e Sistemas de Informação desde 1996. É consultor em
Tecnologia da Informação e Ciência de Dados, e ministra aulas de Linguagens de
Programação, Ciência de Dados, Tecnologias Web e Tópicos Avançados de
Processamento e Manipulação de Dados.
 Base de Dados - CEPs do Brasil e DNE

Índice
1 Apresentação................................................................................................................................... 3
2 Formato dos Dados e Atualizações..................................................................................................3
Formato dos Dados......................................................................................................................... 4
Tabelas Auxiliares.......................................................................................................................6
Tabela EMPRESAS...................................................................................................................6
Tabela FILIAIS.........................................................................................................................7
Tabela REGIME....................................................................................................................... 9
Tabela SIMPLESNACIONAL...................................................................................................10
Tabela SOCIOS......................................................................................................................10
Tabela PAISES....................................................................................................................... 11
OUTRAS TABELAS.................................................................................................................11
3 Utilizando a Base no Software DBeaver.........................................................................................12
Criando a Conexão a Base de Dados – Abrindo o Arquivo............................................................13
Abrindo os DADOS no MODO TABELA......................................................................................15
Visualizando e Exportando os Dados........................................................................................18
VER DADOS – Abrindo a tabela Para visualização e filtros...................................................19
Aplicando Filtros nos Dados.................................................................................................20
EXPORTAÇÃO DE DADOS..........................................................................................................23
Exportando Dados Para Outros Sistemas.............................................................................24
Utilizando o arquivo DAT SQLite em outros Sistemas...................................................................26
4 Diagrama da dados COMPLETO......................................................................................................27
5 ANEXOS.......................................................................................................................................... 28
ANEXO 1 – CALCULO DO DV DO CNPJ...........................................................................................28
IMPLEMENTANDO O DV EM LINGUAGENS DE PROGRAMAÇÃO...................................................29
JAVASCRIPT............................................................................................................................... 29
PHP........................................................................................................................................... 31
PYTHON.................................................................................................................................... 32
6 Considerações Finais e Dados do Autor.........................................................................................34

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 2

 Base de Dados - CEPs do Brasil e DNE

1 Apresentação
Este produto, é uma Base de Dados, desenvolvida e mantida pelo autor, que foi compilada
com base nas bases de dados de Cadastro de Medicamentos e Produtos ANVISA, e também
através da coleta e consulta de dados em diversos portais e entidades, bem como através do
cadastro centralizado de produtos do código de barras internacional EAN. Para os dados fiscais são
utilizados as tabelas fornecidas e atualizadas pelo IBPT (Instituto Brasileiro Pesquisa Tributaria) que
fornece os dados de acordo com vários critérios através do portal da entidade na internet em
https://deolhonoimposto.ibpt.org.br/ e caso você precise de dados mais específicos ou porte de
empresa basta substituir a tabela correspondente dentro do arquivo.
Todas as imagens são fornecidas pelos próprios sites dos fabricantes e/ou disponibilizadas em
sites de e-commerce, e só foram tratadas para serem inseridas dentro do formato padrão de
dados fornecido na base. Existem 4 arquivos de imagem, que vamos descrever afrente de modo
bem específico.
O principal objetivo desta base de dados, é permitir um fácil preenchimento de dados de
cadastro de produtos para supermercadistas, farmácias, lojas de conveniência, lojas de utilidades e
empresas que utilizam e/ou revendem produtos utilizando o padrão EAN. Os nomes dos produtos
são simplificados e estão em 2 formatos, sendo 1 com acentos para uso em impressão e
comunicação, e outro sem acentuação, para ser usado em emissões fiscais e documentos ou
transferências entre diferentes idiomas. É um facilitador para a completude dos cadastros, e
também um mode de higienização e homogeneização de cadastros e de outras bases de dados.
Através do sistema que foi desenvolvido, é possível realizar a filtragem e classificação dos
dados, pelo seu código EAN (codigo de barras), pela descrição ou por parte dela, pelo NCM, tipo de
embalagem, Marca registrada (marca) quendo existente, e pela categorização internacional que é
a categoria do produto muito utilizado para classificação em supermercadistas.
Devido a estruturação dos dados, é possível a conversão dos diversos padrões e a unição com
as bases de dados fiscais, de modo independente, ou seja, você pode substituir ou alterar a carga
tributária para diversos perfis de empresa e regimes de apuração para fazer simulações de carga
de impostos média para diversas situações, tornando a base também muito útil para consultorias
fiscais e empresas de contabilidade e advocacia que queiram prestar consultoria tributária para um
grande número de clientes.
Através do sistema fornecido, é possível, inserir novos produtos e expandindo a base não só
para os produtos padronizados pelo EAN DE ORIGEM como também para produtos de fabricação
própria ou artesanais que não possuem identificador internacional EAN, ou que utilizam outros
formatos de codificação.
Criada e distribuída através de um formato simples, e que permite a exportação e conversão
dos dados para mais de 55 formatos de bancos de dados e de arquivos, tornando-a compatível
com a grande maioria dos sistemas existentes no mercado, e podendo ser convertida para
praticamente qualquer sistema de gerenciamento de bancos de dados, tanto locais, como bases de
dados SQL e NoSQL ou mesmo embarcada em softwares comerciais, sites e outros sistemas.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 3

 Base de Dados - CEPs do Brasil e DNE

2 Formato dos Dados e Atualizações

O produto foi desenvolvido e distribuído em um formato de dados que é aberto e de livre
distribuição, chamado de SQLite (https://www.sqlite.org/index.html - em inglês) que é um
formato de banco de dados de arquivo único, que suporta a consulta através da linguagem SQL,
permitindo fácil manipulação e extração dos dados.
Sem sombra de dúvida é o mecanismo de banco de dados mais usado no mundo, estando
embutido em todos os telefones celulares e na maioria dos computadores, sendo suportado
diretamente por praticamente todas as linguagens de programação e embutido em inúmeros
outros aplicativos que as pessoas usam todos os dias.
Por exemplo as principais linguagens do mercado, suportam a manipulação DIRETA do
arquivo de dados, entre elas, PHP, Python 2, Python 3, Java, C#, C++, Node.JS, R Lang, Ruby,
Rust, .NET 3 em diante, GOLang, Swift, Perl, além de ser suportado pelos conectores JDBC (Java
Database Connector) e ODBC (Open Database Connector) que é compatível com centenas de
sistemas Windows e Linux.
Para a manipulação e exportação dos dados para outros formatos, como servidores de
bancos de dados, softwares de planilhas como o Excel ou o OpenOffice e para conversões de
dados, indicamos o uso do DBeaver, que é um poderoso software de manipulação de dados e
análise de dados compatível com mais de 50 servidores e centenas de formatos de bancos de
dados. É compatível com Windows, Linux e MacOS em diversas versões diferentes.
Mais a frente neste material, vamos apresentar como utilizar este sistema para manipular e
exportar os dados entre diferentes formatos e converter a base de dados para os principais
formatos do mercado, e também como conectar o arquivo diretamente a algumas das principais
linguagens e ferramentas do mercado.
Permitindo o seu uso em suas próprias aplicações e sistemas, além de permitindo uma fácil
atualização com base nas atualizações do próprio material, ou atualizações pessoais ou
independentes.

Formato dos Dados

A base de dados, foi
desenvolvida para permitir o
fácil preenchimento de
dados e a interligação com
outros sistemas de maneira
simplificada. Composta por 2
tabelas de produtos, onde
uma está toda a listagem dos
itens e suas marcas e/ou
fabricantes, e na outra um padrão de levantamento tributário médio geral, tanto para empresas
do grupo SIMPLES como para dos regimes de LUCRO REAL, LUCRO PRESUMIDO e LUCRO
ARBITRADO. Que pode ser expandido para dezenas de outras realidades através de dados IBPT ou
IOB.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 4

 Base de Dados - CEPs do Brasil e DNE

Como pode ser visto pelo diagrama, TODOS os campos que compoem cada uma das tabelas e
como eles podem ser interligados para o levantamento das informações.
Os campos de DATA como INICIO E TERMINO da vigência dos dados de impostos do NCM
estão todos representados seguindo o padrão YYYYMMDD que é o formato utilizado pela maioria
dos sistemas onde YYYY representa o ANO sempre com 4 dígitos, MM o MÊS sempre com 2 dígitos,
e o DD representa o DIA também sempre com 2 dígitos, este formato conhecido como
TIMESTAMP1 facilita a ordenação e a visualização por seres humanos, conforme o tipo de banco de
dados, você pode querer fazer a conversão para outros formatos como o UNIXEPOACH ou EPOACH
consulte o manual ou especificação técnica do seu sistema de Banco de Dados para verificar qual o
melhor formato para o seu uso.

3 Utilizando a Base no Software DBeaver

Ao acessar sua compra, além do link principal em amarelo, onde é possível baixar a base de
dados (em formato SQLite3) em um arquivo .DAT você também pode fazer o Download deste
manual de utilização.
Logo abaixo, nos links em vermelho é possível ver alguns softwares que também rodam nas
principais plataformas do mercado como Windows, Linux e MacOS e que vão auxiliá-lo a tirar o
máximo de proveito do produto adquirido.
Para a base de dados, o Software DBeaver é de extrema utilidade, permitindo abrir o arquivo
de dados diretamente no seu computador, juntamente com outras bases de dados permitindo a
conversão dos dados entre as diferentes bases de dados, e mesmo a ligação a servidores de
hospedagem ou a exportação dos dados em diversos formatos que podem ser usados para a
manipulação dos dados.

1 TIMESTAMP ou CARIMBO DE TEMPO é um formato de representação de datas e horas por sistemas informatizados que
permite sua ordenação tanto sendo analisado como um valor numérico, como com um valor de texto.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 5

 Base de Dados - CEPs do Brasil e DNE

São centenas de possibilidades de conversão, e transferências de dados entre os diversos

formatos. Atualmente o DBeaver suporta a conexão com mais de 55 formatos de bancos de dados
e servidores de bancos de dados do mercado, os mais conhecidos são o MySQL, MariaDB, Oracle,
MS-SQL Server, PostgreSQL, Firebird, Azure Database, Google BigQuery, Informix, Elastic Search,
SQLite3, e mais de 10 formatos de exportação de arquivos entre eles o CVS (usado pelo excel e por
sistemas de planilhas).
XML DB usado por dezenas de sistemas de ERP e Bancos de Dados comerciais, JSON
amplamente utilizado para importação e conversão de dados e APIs, SQL Dump usado para
inserção e criação das tabelas e bases de dados em diversas bases de dados relacionais que
seguem o padrão SQL92, XML tradicional com hierarquia de registros e tabelas, TXT usado para
transferências de dados em texto, compatível com centenas de sistemas do mercado desde a
década de 1970.
Após o download do sistema através do link, na versão compatível com a sua plataforma de
Sistema Operacional, basta seguir o passo a passo para a instalação e execução deste no seu
computador.

Criando a Conexão a Base de Dados – Abrindo o Arquivo

Esta é a tela principal do DBeaver, na parte superior temos a área de menus de contexto, para
acesso as configurações do software, na lateral direita a área de navegação das bases de dados e
projetos, e na área central a área de contexto, que vai sendo modificada conforme o contexto em
uso.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 6

 Base de Dados - CEPs do Brasil e DNE

Caso você não esteja vendo a área de

PROJETOS ou tenha acidentalmente fechado,
basta clicar sobre o menu Janela (Window) -
> Mostrar Visão → Explorador de Projetos
(como na imagem ao lado).
Ou se preferir, pode ligar e desligar as
visualizações selecionando os 4 checkbox de
telas de contexto logo acima.
Neste menu também existem outras
opções da área de trabalho, como
configuração dos padrões de cores, área de navegação de dados, e tudo pode ser personalizado de
acordo com a sua necessidade através de CSS ou da própria interface visual do programa.
Para ter acesso aos dados é necessário
CRIAR UMA CONEXÃO com o arquivo de dados
dentro do software, para fazer isso, você pode
clicar sobre o ícone NOVA CONEXÃO (ícone do
plugue), ou com o botão direito sobre a árvore
Connections que é a primeira da listagem,
selecionar Criar → Conexão em ambas as opções,
vai abrir uma janela onde você vai escolher o tipo
de conexão ou o servidor de banco de dados
desejado.
Se você for utilizar para exportar a base de
dados, você deve conectar com o servidor de
destino também criando uma conexão. Neste
tutorial, vamos explicar detalhadamente como se conectar a base no padrão SQLite3 usada,
porém, via de regra todos os mecanismos de bancos de dados seguem esse mesmo procedimento.
E cada formato de servidor vai pedir os passos e dados necessários (credenciais de acesso, usuário
e senha, endereço do servidor, ficando a critério do administrador de cada servidor o
fornecimento destes dados, e o fornecimento de instruções para a conexão com o servidor em
questão).
Você deve escolher o formato SQLite na
lista que se abre, e clicar em avançar na

sequencia, vai aparecer a janela acima, onde

você vai clicar em ABRIR e selecionar o arquivo
DAT que foi baixado do nosso site.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 7

 Base de Dados - CEPs do Brasil e DNE

Depois disso basta clicar sobre o botão de CONCLUIR e pronto, sua base de dados já estará
pronta para ser consultada, filtrada, exportada ou manipulada diretamente ou através de
consultas realizadas através da linguagem SQL. O SQLite é totalmente compatível com todas as
instruções SQL92 inclusive com suporte de transações, e as principais funções de manipulação e
conversão de dados e formatos.
O uso da linguagem SQL e de suas variações para a manipulação, seleção, inserção, alteração,
exclusão ou contextualização e criação de tabelas ou de visualizações foge ao contexto e
abrangência deste tutorial, e caso você queira se aprofundar neste assunto, existe vasto material
disponível na internet e também cursos específicos sobre o tema em diversos níveis.
Algumas QUERIES ou CONSULTAS e FILTROS em SQL foram mostrados neste tutorial, a titulo
ilustrativo, ou para facilitar a exportação de dados ou visualizações específicas. Nosso suporte
também pode fornecer alguma query pronta conforme a necessidade, ou dentro do próprio
arquivo DAT pode existir a tabela METADADOS_CONSULTAS contendo o comando SQL pronto e
um resumo do seu resultado ou forma de uso.

Abrindo os DADOS no MODO TABELA

Depois de criada a conexão com o arquivo de dados, você pode abrir a conexão e acessar os
dados contidos no arquivo. ATENÇÃO: Caso você deseje, é possível criar pastas, por exemplo, para
separar diversas conexões relacionadas, ou simplesmente para organizar, para criar novas
conexões ou pastas, basta clicar com o botão direito e escolher a opção correspondente no menu
de contexto que se abre.
No detalhe da imagem ao lado, é possível ver
diversas conexões com diversos arquivos e bancos de
dados diferentes.
Para abrir uma conexão (conectar), ou pasta
(expandir) basta clicar no ícone de seta que fica do lado
esquerdo, se for uma pasta ela vai automaticamente se
expandir, se for uma conexão a um arquivo de dados ou
banco de dados, o sistema vai se conectar.
Ao clicar com o botão direito sobre as pastas ou
conexões é possível acessar diversas opções, através do
menu de contexto.
Menu de Contexto PASTA:

CRIAR→Conexão: cria uma nova conexão com um banco de dados, dentro da pasta.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 8

 Base de Dados - CEPs do Brasil e DNE

CRIAR → Nova Pasta: Cria uma nova pasta dentro da pasta selecionada.
CRIAR → Outro: Permite criar outros objetos, como visualizações ou projetos, é uma
funcionalidade específica e não vamos entrar em detalhes do seu funcionamento.
ABRIR FOLDER: Abre a pasta atual (o mesmo efeito de clicar sobre a seta a esquerda)
NAVEGUE DAQUI: Abe o conteúdo dentro da área de contexto, para a navegação, como se
fosse um explorador de arquivos, onde é possível acessar algumas funcionalidades específicas de
alguns formatos de bancos de dados. No contexto do SQLite, permite explorar o conteúdo do
arquivo.
DESCONECTAR: Se houverem conexões ativas(conectadas) dentro da pasta, fecha todas as
conexões. Caso não existam conexões ativas, esse item não aparece.
COPIAR: Copia o nome da pasta, para a área de transferência.
COLAR: Se houver um item na área de transferência que possa ser usado dentro do contexto
de navegação como conexões ou outras pastas, o conteúdo será colado dentro da pasta atual.
EXCLUIR: Exclui todas as subpastas ou conexões, essa ação, só exclui o acesso de dentro do
DBeaver, não removendo os arquivos de dados ou bancos de dados, ou seja, não remove
fisicamente o arquivo DAT ou outro arquivo de base de dados.
RENOMEAR: Permite alterar o nome da pasta selecionada.
ATUALIZAR: Recarrega o conteúdo da pasta, verificando se as conexões ativas continuam
ativas, ou renovando o token de acesso a servidores que precisem manter conexões abertas,
alguns servidores como o MySQL e PostgreSQL podem fechar conexões que estejam abertas,
porém sem trafego, de acordo com configurações do servidor, caso você clique sobre atualizar a a
configuração da conexão estiver setada para reconectar o DBeaver pode fazer uma nova conexão.
Ao clicar com o botão
direito sobre uma conexão, o
menu de contexto muda,
permitindo algumas opções
específicas da conexão ou de
manipulação dos dados,
vamos detalhar elas, as que
possuem uma funcionalidade
igual a do contexto de pasta,
vamos “pular” pois já foi
explicado anteriormente.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 9

 Base de Dados - CEPs do Brasil e DNE

EDITOR SQL: Todas as opções do menu de editor, vão abrir o modo programático ou modo
SQL onde é possível executar as consultas (querys) ou outros comando da linguagem SQL como
criação de novas tabelas, visualizações e até mesmo a programação de SCRIPTS (transactions) que
automatizam uma série de processos na manipulação dos dados. Por se tratar de uma
funcionalidade avançada, não vamos entrar em detalhes sobre este modo, vamos diretamente ao
item ABRIR CONSOLE SQL, onde ao clicar sobre essa opção, será aberto na área de contexto um
lugar destinado ao desenvolvedor (programador) rodar comandos SQL diretamente na base de
dados aberta.
Alguns exemplos de QUERY foram mostradas acima e todas devem ser escritas exatamente
como apresentado, pois a linguagem SQL92 (usada pelo SQLite) é sensível a maiúsculas e
minúsculas. No sistema operacional WINDOWS algumas versões não são sensíveis a diferenças de
caixa do texto, e podem rodar consultas mesmo que escritas tanto com letras maiúsculas como
minuscula como com qualquer variação delas.
Em algumas situações, a tabela METADADOS_CONSULTAS pode conter algumas consultas que
podem ser copiadas e coladas diretamente no CONSOLE SQL para a execução de funções ou filtros,
ou, nossa equipe de suporte pode fornecer alguma consulta ou instrução específica para ser
rodada na console, por exemplo para criar modelos de exportação de dados, ou relatórios de
dados específicos para o cliente, ou mesmo criar tabelas ou outros conteúdos. Nestes casos o
próprio suporte vai auxiliar com a execução e utilização dentro da CONSOLE SQL.
EDITAR CONEXÃO: Em alguns sistemas de bancos de dados, permite acesso as configurações
avançadas da conexão, mudanças de credenciais, usuário e senha, parâmetros de conexão e
outros específicos. No nosso caso, não existe a necessidade de nenhuma alteração nestas
configurações, pois utilizamos sempre o padrão, caso sua configuração de computador seja muito
diferente (idiomas que usam o LTR – escrita da direita para esquerda) ou que o usuário necessite
de alguma configuração por exemplo para leitores de tela, você pode informar nosso suporte que
pode te auxiliar com as configurações específicas para nossos arquivos de dados. Alterações
inadvertidas nas configurações de servidores de bancos de dados, ou nas configurações pode
tornar o acesso aos dados inacessíveis ou causar corrupções de dados, principalmente em sistemas
que rodam remotamente.
INVALIDAR/RECONECTAR: Vai fechar e reabrir a conexão a base de dados, restaurando os
padrões de acesso ao definido na conexão. No caso do SQLite ele fecha e abre o apontador do
arquivo trazendo novamente a posição para o inicio do arquivo ou da tabela atual, e fazendo uma
nova leitura dos dados do disco rígido.
VER DIAGRAMA: Em casos de bases que suportam a visualização UML mostra o DIAGRAMA
UML de conexão. A maioria dos nossos arquivos de bases de dados, não possui nenhuma restrição
implícita ou explícita através do diagrama UML, o que permite uma maior flexibilidade na
exportação e tratamento dos dados por terceiros, caso precise você pode implementar seu próprio
diagrama, inclusive ligando com novas tabelas ou bases de dados. Como essa é uma funcionalidade
muito específica, mais destinada a analistas de dados ou desenvolvedores, não vamos entrar neste
contexto neste manual.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 10

 Base de Dados - CEPs do Brasil e DNE

COMPARAR/MIGRAR: Caso você utilize a base de dados, para alimentação de de outros

sistemas ou para suporte a outros sistemas computacionais, esse contexto vai permitir uma
comparação das bases de desenvolvimento e produção (DEPLOY) do conteúdo. Novamente, é uma
funcionalidade específica para analistas e desenvolvedores e não está dentro do escopo deste
manual.
IMPORTAR DADOS: Permite que você importe dados externos para a base atual, por
exemplo, permitindo que você incorpore outros dados dentro da base de dados, ou outras tabelas
para realizar tarefas de higienização de dados ou cruzamentos e filtros avançados com base em
outros contextos. Como o objetivo das conexões SQLite é a transferência de dados entre bases, e
conversão de formatos distintos de dados, e não o uso como um servidor de bancos de dados, o
melhor contexto de tratamento de grandes bases para higienização é importar para estas bases o
conteúdo dos arquivos SQLite.
FERRAMENTAS: Para alguns sistemas de bancos de dados como o PostgreSQL, Oracle, MS-
SQL Server e outros, podem abrir aqui, um menu de opções especificas para aquela conexão. No
caso do SQLite não existem opções extras além das já explicadas.
Pronto, agora, sua conexão a base de dados está pronta para ser utilizada, vamos ver algumas
opções de visualização e filtragem dos dados e também, como fazer a exportação destes para
outros sistemas.

Visualizando e Exportando os Dados

Após conectar e abrir a conexão com o arquivo,
algumas pastas especiais vão se abrir, e possuem
contextos especiais. Essas pastas são: -TABELAS, -
VISUALIZAÇÃO, -ÍNDICES, -SEQUÊNCIAS, -GATILHOS
DAS TABELAS e -TIPOS DE DADOS. Para o nosso
contexto, somente a pasta TABELAS tem utilidade, e
vamos explicar as opções desse menu de contexto.
As opções que tem a mesma função dos
contextos explicados anteriormente são omitidas.
CRIAR: É uma opção para a criação de novas
tabelas e conteúdos, não vamos entrar em detalhes
dessa opção, pois foge do assunto deste manual.
VISUALIZAR TABELA: Abre a tabela na área de
contexto, onde podem ser vistos detalhes das suas
propriedades, e diagramas detalhados, e também
onde são visualizados todos os dados do conteúdo,
mais a frente vamos detalhar essa forma de
exploração de dados da tabela, na aplicação de filtros.
FILTRO: Permite buscar uma tabela pelo seu nome ou exibir/ocultar uma determinada tabela
da listagem. Ao fechar ou atualizar a conexão, esses filtros são automaticamente limpos.
VER DADOS: A principal opção deste menu de contexto, abre a mesma área de contexto do
menu VISUALIZAR TABELA, porém com a aba DADOS já pré selecionada. Como informado mais a
frente vamos explorar mais detalhadamente.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 11

 Base de Dados - CEPs do Brasil e DNE

EXPORTAR DADOS: Abre as opções de exportação de dados e conversão de formatos, para

permitir exportar os dados para outros sistemas.
GERAR SQL: Uma opção muito usada por desenvolvedores, permite criar os comandos SQL
para a manipulação dos dados dessa tabela, copiar a estrutura da tabela, para ser alterada ou
inserida em outros sistemas. Por se tratar de uma opção avançada, não vamos entrar em detalhes
sobre essa funcionalidade.
COPIAR INFORMAÇÕES AVANÇADAS, COPIAR e COLAR: Basicamente, copiam e colam o
nome da tabela, em alguns sistemas de bancos de dados o copiar avançado permite copiar dados
específicos como ambiente, tipo de tabela, no caso do SQLite funciona de maneira análoga ao
copiar.
EXCLUIR: Remove a tabela do banco de dados, atenção especial a este menu, é que se a
tabela for removida ela é realmente excluída do arquivo ou conexão sendo impossível a sua
recuperação.
RENOMEAR: Também faz a alteração física no arquivo do nome da tabela, o que pode tornar
algumas query que dependam dessa tabela inutilizáveis, até que o nome original seja retornado.
Lembrando que a maioria dos sistemas é sensível a letras maiúsculas e minusculas.
É possível expandir no explorador as tabelas, abrindo contextos específicos de dados de
campos (colunas), indexadores (índices) e outros dados, por ser um contexto específico para
analistas de dados ou desenvolvedores, não vamos explorar essas opções.

VER DADOS – Abrindo a tabela Para visualização e filtros

Ao clicar em VISUALIZAR TABELA ou VER DADOS no menu de contexto, a área central do

DBeaver abre os dados da tabela, o visualizar tabela, abre a aba propriedades pré-selecionada. Já o
VER DADOS abre a aba Dados pré selecionada. Esta é a aba principal, onde você tem acesso aos
dados da tabela, e pode realizar filtros em suas colunas, como em um software de planilha.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 12

 Base de Dados - CEPs do Brasil e DNE

O Software DBeaver é feito para lidar com grandes volumes de dados, diferente de um
sistema de planilha, ele não possui uma limitação do número de linhas e colunas, sendo essa
limitação dependente do sistema de banco de dados que está conectado. A grande maioria dos
sistemas possui valores de limite muito acima das necessidades cotidianas e algumas centenas de
vezes maior que os sistemas de planilhas, dai esses limites são mais voltados ao equipamento do
que ao software.
Para essa tela, temos 2 grupos de controles que são de grande valia, um são os FILTROS e
ORDENAÇÕES que ficam na parte superior e outro é a exportação dos dados que fica na parte
inferior. Vamos ver com mais detalhes cada uma das opções, dando inicio com o contexto superior
que é a aplicação dos filtros.
Para ter acesso ao menu de contexto dos
FILTROS e ORDENAÇÕES você deve clicar sobre o
ícone de seta para baixo, ao lado no nome da
coluna que será usada para filtro ou ordenação.
Para ordenar, basta ticar sobre o checkbox de
uma ou da outra opção, onde ASC é ASCENDENTE
ou CRESCENTE, ou seja os valores serão exibidos do
menor para o maior.
Já a opção DESC ou DESCENDENTE é em
valores decrescentes, ou seja do maior para o
menor.
Quando existe um filtro para a coluna aplicado, a barra de titulo superior, exibe o nome da
coluna filtrada em negrito. Para remover o filtro em questão, basta selecionar a opção com o ícone
de uma seta vermelha, Remover Filtro Para ‘…’ que o filtro daquela coluna será removido. Para
remover todos os filtros e ordenações da tabela atual, basta selecionar o ícone da Pena, Remover
todos os filtros/ordenações que tudo será removido e todas as linhas voltam a ser exibidas.
Quando a coluna possuir valores vazios, será apresentado um bloco no menu de contexto que
na imagem é o terceiro bloco, e contém 2 opções IS NULL e IS NOT NULL estes dois filtros possuem
um significado diferente, quando IS NULL está selecionado serão mostradas somente as linhas que
nunca tiveram nenhum valor atribuído, já quando selecionado IS NOT NULL serão exibidas
somente as linhas onde existam valores indiferente do que seja, para a coluna.
O conceito de NULO (NULL) é um pouco abstrato, pois valores vazios, são entendidos por
mecanismos de bancos de dados, como existentes, porém de valor vazio. Enquanto valores nulos
equivale a não existir um valor que possa ser representado ou que nunca foi preenchido.
Analogamente ao sistema eleitoral brasileiro, o conceito de vazio seria similar ao voto em branco,
enquanto o conceito de nulo equivale ao voto nulo.
A opção Salvar Configurações de Filtro permite salvar os filtros aplicados, e a ordenação dos
dados para que possam ser aplicados ao abrir novamente a tabela. De modo que é possível,
sempre retornar a configuração salva. Essa opção é salva dentro da aplicação DBeaver, e não
interfere no arquivo de dados, nem nos bancos de dados, somente no computador e usuário
atuais.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 13

 Base de Dados - CEPs do Brasil e DNE

Aplicando Filtros nos Dados

Quando selecionamos no menu de contexto a opção de FILTRAR POR VALOR a caixa de
dialogo ao lado é apresentada, a área central, é preenchida dinamicamente pelo DBeaver, sempre
que a opção Ler Dados do Servidor estiver selecionada, quando estiver selecionado também a
opção Exibir Número de Linhas um contador com a quantidade de linhas que satisfazem aquele
filtro é exibido na coluna número da área de contexto.
Para grandes bases de dados, selecionar essa opção de
contagem, pode fazer com que o tempo de resposta para a
aplicação dos filtro seja elevada.
A opção Exibir Número de Valores Distintos, faz com que o
o DBeaver mostre a quantidade de possíveis valores para serem
filtrados naquela coluna, e também pode tornar o sistema mais
lento, na exibição dos resultados dependendo do tamanho da
base de dados que está sendo lida, e do número de opções
daquela coluna.
Estes dois totalizadores, podem ser úteis para aplicações
de dados estatísticos ou avaliação de resultados e só devem ser
usados nesses contextos.
O botão CLEAR ALL limpa a seleção de valores, e o botão APLICAR CRITÉRIOS DE FILTRAGEM
faz com que sejam exibidos nos resultados somente os valores que estão marcados. Ou seja, é
possível escolher entre a lista de possibilidades quais os valores desejados.

OBSERVAÇÃO IMPORTANTE: TODOS os filtros podem ser aplicados em conjunto,

ou seja, você pode aplicar diferentes filtros em diversas colunas. Por questões de
performance, e tempo de resposta, você deve aplicar os filtros mais restritivos
primeiro. Vamos detalhar um exemplo abaixo.

Por exemplo, você precisa fazer um filtro para 2 colunas, LOGRADOURO_TIPO e UF onde
sejam exibidos somente os registros de AVENIDAS e o estado de SP.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 14

 Base de Dados - CEPs do Brasil e DNE

Como o número de opções possíveis para LOGRADOURO_TIPO possui uma quantidade maior
de opções e de registros, para uma melhor performance você deve primeiro aplicar o filtro de UF e
posteriormente o filtro de TIPO. Lembre-se que isso é só uma sugestão, se você usar primeiro uma
ou outra, o conjunto de resultados não se altera, porém o tempo total de processamento pode ser
ligeiramente superior ou inferior.
No contexto de filtros, ainda temos 2 outros menus que podem ser acessados, para permitir
outros filtros e combinações, eles ficam separados, no segundo bloco, pois são filtros dependentes
de uma determinada célula, ou seja, de um valor no conjunto de resultados.
VALOR DA CÉLULA – quando clicamos sobre uma célula, seu valor fica realçado, e marcado
com uma borda mais grossa, indicando que ela está selecionada. Se com essa seleção feita, acessar
o menu de contexto de filtros, e selecionar a opção valor da célula, esta segunda caixa de opções
permite usar o valor atual para basear os resultados. No nosso caso, selecionamos uma célula que
tem o valor ‘Rua’ na coluna LOGRADOURO_TIPO e as opções seguintes são os critérios de filtragem
que podem ser de 5 tipos, como segue:
campo = ‘valor’ → filtra todos os registros que sejam iguais a valor.
Campo <> ‘valor’ → Filtra os registros que sejam diferentes de valor.
Campo > ‘valor’ → Filtra os campos que sejam maiores que, em valores numéricos, são
valores maiores, já em campos textuais são valores que quando ordenados alfabeticamente, sejam
maiores, em campos data são datas posteriores.
Campo < ‘valor’ → Filtra os campos que sejam menores que, em valores numéricos, são
valores menores, já em campos textuais são valores que quando ordenados alfabeticamente,
sejam anteriores, em campos data são datas anteriores.
Campo LIKE ‘%valor%’ → O filtro LIKE é um filtro especial para valores textuais, e significa que
contenha, no campo referente ao valor, existe também um caractere conhecido como caractere
curinga (%) que tem um significado especial. Por exemplo ‘%maçã%’ significa que queremos todos
os campos que contenham o texto ‘maca’ em qualquer parte do campo, ou seja, retornaria
registros para maçã, armação. Se usarmos o filtro ‘maçã%’ somente retornaria por exemplo
registro como maçã fuji, maçã gala. Se usar o filtro ‘%maçã’ seriam retornados valores como
banana maçã, geleia de maçã, maçã.
Os mesmos filtros acima estão também
disponíveis quando selecionamos o menu
CUSTOMIZADO sendo que a diferença é que será
aberto a caixa de contexto como ao lado, para que
você possa digitar o valor desejado.
Ao clicar em OK o filtro digitado será aplicado,
caso esteja um valor vazio, somente a caixa de
dialogo é fechada, e nenhum filtro será aplicado.
Por fim, temos uma outra opção, que é a de
PERSONALIZAR FILTROS… onde vai se abrir um novo menu de contexto, como o da figura abaixo:

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 15

 Base de Dados - CEPs do Brasil e DNE

Onde, vão aparecer todas as colunas da tabela e

você poderá escolher se deseja que a coluna seja
exibida ou não nos resultados, (basta marcar como na
figura os campos a serem exibidos), já a opção fixado,
significa que não pode ser movido ou seja, se
existirem mais colunas a direita, quando as barras de
rolagem lateral essas colunas não serão movidas, é
útil por exemplo pra travar o nome ou identificador
do registro e percorrer os possíveis valores em
tabelas extensas de dados.
A coluna ordem, possibilita 2 valores, um
numérico e outro é o ícone de seta acima ou seta
abaixo, que dizem se os valores devem ser
CRESCENTES (seta acima) ou DECRESCENTES (seta
abaixo), o valor numérico indica a ordem de aplicação, onde primeiro é usado a coluna de valor 1,
depois a de valor 2 e assim sucessivamente.
Ou seja, permite uma classificação complexa dos dados do mesmo modo que um sistema de
planilhas eletrônicas.
Já a última coluna representa o critério de filtro, e é exatamente os mesmos explicados
anteriormente, onde colunas do tipo texto podem usar o filtro LIKE e colunas numéricas somente
os valores de comparação, que neste caso podem ser: = (igual a), <> (diferente de), > (maior que),
< (menor que), >= (maior ou igual a), <= (menor ou igual a).

Para identificar o tipo de campo, os ícones em azul do lado da primeira coluna, mostram o
formato dos dados, ABC indicam campos de texto, 123 campos numéricos. Outros sistemas de
bancos de dados podem possuir outros tipos de dados, e permitirem valores e filtros diferentes.
Depois de aplicados os filtros, a linha superior do conjunto de resultados apresenta a forma
textual ou programática de aplicar esses filtros ao conjunto de resultados. No exemplo acima,
existem 2 filtros aplicados (logradouro_tipo = 'GRANDES CLIENTES') AND (uf_sigla = 'SP')
Veja, você pode escrever seus próprios filtros cada filtro, fica dentro de um () e para agrupar
mais de um filtro é usada a palavra AND por exemplo, você poderia criar filtros complexos com o
mesmo campo, intervalos de valores (aplicando um filtro maior e outro de menor) no mesmo
campo. Enfim, são inúmeras possibilidades.

EXPORTAÇÃO DE DADOS
Existem 2 formas de exportar dados pelo sistema de API do software DBeaver uma é a
exportação de todo o conjunto de resultados, e outra é a exportação dos dados já com os filtros
aplicados.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 16

 Base de Dados - CEPs do Brasil e DNE

Para exportar o conjunto de dados, como apresentado na tela, ou seja, já com os filtros
aplicados, vamos utiliza a barra de opções que fica embaixo do conjunto de resultados, como
abaixo:

Os itens importantes para o nosso contexto são somente os que estão destacados, mais a
direita temos o ícone de CONTAGEM DE RESULTADOS e o VALOR DO NÚMERO DE LINHAS quando
vamos fazer a exportação, dependendo do sistema existe a necessidade de limitar a quantidade de
resultados, seja por questões de politicas ou por questões de velocidade de processamento ou
mesmo limitações físicas dos sistemas de origem e destino dos dados.
Quando clicamos sobre o ícone de CONTAGEM o sistema vai analisar todo o conjunto de
dados, verificando quantos registros (linhas) satisfazem nossos filtros e atualiza o campo NUMERO
DE LINHAS, estes valores são somente informativos, porém eles determinam o tamanho final do
arquivo de destino.
O ícone central (seta para baixo) permite escolher se o resultado a ser exportado é um
formato BANCO DE DADOS/ARQUIVO ou NAVEGADOR padrão é BANCO DE DADOS/ARQUIVO e
vamos explicar ele mais a frente de modo mais detalhado.

Quando selecionado o modo NAVEGADOR o conjunto de dados é exportado em formato

HTML e é mostrado diretamente no navegador, permitindo ser salvo em PDF ou mesmo impresso
diretamente ou compartilhado de maneira simples.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 17

 Base de Dados - CEPs do Brasil e DNE

Na imagem acima, vemos uma visualização do relatório de logradouros exportada

diretamente pelo sistema DBeaver. As cores e nomes das colunas podem ser configurados através
dos menus do DBeaver, e também é possível utilizar folhas de estilo ou CSS para inserir no
relatório exportado em HTML afim de formatar ou mesmo inserir imagens e outros dados.
Podendo ser usado para gerar relatórios estatísticos diretamente da base de dados.

Exportando Dados Para Outros Sistemas

Quando clicamos sobre o ícone de Exportar Dados uma janela de contexto é aberta, onde é
possível escolher o formato dos dados a serem exportados, e após a escolha é possível continuar
no passo a passo fornecido pelo sistema que vai permitir determinar os dados e parâmetros
específicos para o sistema de destino.
Os formatos de dados mais
usuais são o CSV que é usado pelos
sistemas de planilhas eletrônicas
como Excell, Calc, e Google Sheets
entre outros. E também por sistemas
de análise automática como o Power
BI e outros serviços de dados e
analises baseados em nuvem.
Através da exportação CSV
centenas de bancos de dados como
MySQL, ORACLE, MSSQL, POSTGRES e
outros podem receber os dados de
maneira simples, alguns sistemas de
ERP e softwares de CRM ou
específicos também aceitam o
formato para a troca de dados através de exportação e importação. O sistema DBeaver e o SQLite
permitem que dados nesse formato sejam importados diretamente para as bases de dados e
combinados com as tabelas existentes, ou que sejam gerados relatórios em conjunto com esses
dados.

Caso tenha necessidades específicas de tratamento de dados, utilizando a base de

dados adquirida ou exportação automatização de processos, higienização de dados,
padronização e tratamentos de outras bases de dados, solicite um orçamento para
a nossa equipe de suporte, podemos te auxiliar com qualquer tipo de tratamento de
dados e serviços de desenvolvimento de softwares e API para automatização de
processos ou microsserviços.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 18

 Base de Dados - CEPs do Brasil e DNE

O formato HTML é amplamente usado para distribuição e apresentação de conteúdo via

internet, e é muito versátil para a exportação de dados, para desenvolvedores de sistemas que
usam a linguagem Python existem inúmeras bibliotecas especializadas em tratamento de dados
como a PANDAS que fazem a leitura diretamente pelos arquivos HTML do modo que são
exportados pelo sistema, ou podem ser facilmente incorporados em sites.
O formato JSON é utilizado por centenas de API em todo o mundo, sendo hoje, uma das
principais formas para troca de dados entre sistemas, e com uma vasta gama de materiais para
exemplificar seu uso.
O formato SQL é hoje suportado por praticamente qualquer servidor de bancos de dados do
mercado, e a base de dados pode ser facilmente exportada nesse formato.
O formato TXT é principalmente utilizado por sistemas antigos, ou mesmo sistemas baseados
em ambiente mainframe
O formato XML muito usado para troca de dados entre sistemas que necessitem de
informações precisas de tipagem de dados, e uma maior consistência e validação, amplamente
utilizada por sistemas bancários e governamentais, vem sendo gradualmente substituído pelo uso
do JSON porém ainda existem centenas de sistemas que utilizam o formato para troca de dados e
informações.
E o modo BANCO DE DADOS que permite que os dados sejam exportados para qualquer
outro servidor ou arquivo de dados usando os protocolos ODBC ou JDBC diretamente conectados
entre si. Atualmente mais de 50 modelos de servidores e formatos podem ser trabalhados pelo
DBeaver.
Após selecionado o tipo de dados e formato desejado, basta clicar sobre o botão AVANÇAR o
próximo passo é definir as opções de EXTRAÇÃO ou seja, da leitura dos dados na base SQLite as
opções padrão abrangem a grande maioria dos sistemas e formatos existentes, não havendo
grandes necessidades de alterações, caso seu sistema precise de algum parâmetro específico,
entre em contato com a nossa equipe de suporte técnico.
O Terceiro passo são as opções de formato do destino, essas opções são informadas pelo
sistema que vai receber os dados, e o administrador do sistema destino deve ser capaz de fornecer
todos os parâmetros necessários.
Caso tenha alguma dúvida as opções padrão geralmente são amplamente aceitas, e devem
atender a grande maioria dos sistemas de destino.
Este passo é totalmente dependente do destino, e de suas limitações ou politicas.

Utilizando o arquivo DAT SQLite em outros Sistemas

Como já foi exemplificado anteriormente, o SQLite é um banco de dados de arquivo único, e
suportado pela maioria das linguagens de programação do mercado, caso esteja usando esta base
de dados, para alimentar um sistema, como por exemplo o autopreenchimento de endereços em
um site ou sistema, encorajamos fortemente a utilizar o acesso direto da linguagem para o arquivo
DAT pois isso vai lhe garantir um bom desempenho e extrema facilidade das atualizações da base
externa.
Você pode verificar a documentação da linguagem utilizada, para verificar como pode ser
feito o acesso aos dados através dela.

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 19

 Base de Dados - CEPs do Brasil e DNE

Através da exportação dos dados, você também pode utilizar o sistema de gerenciamento de
banco de dados que desejar, porém, essa opção acaba gerando maior tempo na atualização, já que
existe a necessidade de exportação para o formato intermediário e depois a importação dos
mesmos na base final.
Você também pode utilizar a API do DBeaver, para exportar dados para outros sistemas e
bancos de dados, basta adicionar a conexão ao sistema de destino, e nas opções de exportação
selecionar o modelo de BANCO DE DADOS que o DBeaver já vai abrir as opções específicas da API
do banco de destino permitindo uma fácil exportação, que pode ser feita de maneira automática,
tanto substituindo todos os dados, como se o banco de destino permitir, somente os dados
alterados.

4 Dados Sobre as Imagens dos Produtos

Como pode ser visto na imagem ao lado, de uma amostra,
a imagem possui fundo claro (branco) ou transparente e o
tamanho de 600px na maior dimensão. A grande maioria dos
produtos, esta na proporção QUADRADA em o tamanho da
imagem em 600x600 pixel e 150 DPI.
Algumas imagens podem estar em outros formatos.
O ARQUIVO ImagensProdutos-PDV.zip contém arquivos
dos códigos de barra para serem colocados e utilizados em
impressões e etiquetadoras.
O arquivo img_288k_jpg500_v1.zip possui imagens de
mais de 280 mil produtos nacionais, amplamente utilizados na
rede varejista (supermercadista e farmácia) no formato JPEG tratado para ter o fundo BRANCO e o
tamanho exato de 500x500 pixel em 96 DPI para ser usados em sites de produtos de mercado e
farmácia, como Ifood, SiteMercado, Americanas Mercados, Supermercado Now e outros.
O arquivo img_288k_png_v1.zip é o o que contém as imagens com FUNDO TRANSPARENTES
usado para a criação de Tabloides, Panfletos e outras mídias impressas, contendo imagens no
tamanho 600x600 pixel e 300DPI com o formato PNG.
Por fim o arquivo img_gtin_945k_juntas.zip possui as imagens dos CÓDIGOS DE BARRAS para
serem impressas ou utilizadas nos produtos no formato GIF, sendo compostas pelas barras legíveis
pelo leitor, e o código numérico inferior (legível a humanos)

5 Considerações Finais e Dados do Autor

As atualizações são fornecidas através do próprio link de acesso ao produto. E são sempre
integrais, ou seja, basta substituir o arquivo DAT e abrir o DBeaver ou, se o sistema já estiver
aberto, clicar sobre a opção de contexto ATUALIZAR que o sistema vai receber o acesso ao arquivo
novo.
Caso precise de suporte técnico com o uso do banco de dados, ou tenha alguma necessidade
especial de tratamento dos dados, ou de desenvolvimento de sistemas e modelos de consultas e
integração com outros sistemas e equipamentos, entre em contato com o Autor
Romeu Gomes de Sousa
Telefone / WhatsApp (19) 98710-5987

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 20

 Base de Dados - CEPs do Brasil e DNE

E-Mail: [email protected]
WEB: www.brasap.com.br – Desenvolvimento de Sistemas
WEB: www.digitalproductsshop.com.br

Conheça também nossos outros produtos em: https://digitalproductsshop.com.br/lovavirtual

Autor: Romeu Gomes de Sousa digitalproductsshop.com.br 21