Exercises/draft/Exercicios_simple_email_extraction.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from bs4 import BeautifulSoup\n",
    "import nltk\n",
    "import requests\n",
    "import string\n",
    "from collections import Counter\n",
    "import re"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Extracting emails from text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "url1 = 'http://www.dcc.ufmg.br/dcc/?q=pt-br/professores'\n",
    "url2 = 'https://emap.fgv.br/pessoas'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<!DOCTYPE html>\n",
      "<html lang=\"pt-br\" dir=\"ltr\"\n",
      "  xmlns:content=\"http://purl.org/rss/1.0/modules/content/\"\n",
      "  xmlns:dc=\"http://purl.org/dc/terms/\"\n",
      "  xmlns:foaf=\"http://xmlns.com/foaf/0.1/\"\n",
      "  xmlns:og=\"http://ogp.me/ns#\"\n",
      "  xmlns:rdfs=\"http://www.w3.org/2000/01/rdf-schema#\"\n",
      "  xmlns:sioc=\"http://rdfs.org/sioc/ns#\"\n",
      "  xmlns:sioct=\"http://rdfs.org/sioc/types#\"\n",
      "  xmlns:skos=\"http://www.w3.org/2004/02/skos/core#\"\n",
      "  xmlns:xsd=\"http://www.w3.org/2001/XMLSchema#\">\n",
      "<head profile=\"http://www.w3.org/1999/xhtml/vocab\">\n",
      "  <meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n",
      "<link rel=\"shortcut icon\" href=\"https://www.dcc.ufmg.br/dcc/misc/dcc_imagem.png\" type=\"image/png\" />\n",
      "<meta name=\"viewport\" content=\"width=device-width, initial-scale=1\" />\n",
      "<meta name=\"MobileOptimized\" content=\"width\" />\n",
      "<meta name=\"Generator\" content=\"Drupal 7 (http://drupal.org)\" />\n",
      "<meta name=\"HandheldFriendly\" content=\"true\" />\n",
      "  <title>Professores | DCC</title>\n",
      "  <link type=\"text/css\" rel=\"stylesheet\" href=\"https:/\n"
     ]
    }
   ],
   "source": [
    "pagina = requests.get(url1)\n",
    "texto = pagina.text\n",
    "print(texto[0:1000])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['adrianov@dcc.ufmg.br', 'adrianoc@dcc.ufmg.br', 'laender@dcc.ufmg.br', 'acunha@dcc.ufmg.br', 'ana.coutosilva@dcc.ufmg.br', 'andrehora@dcc.ufmg.br', 'anisio@dcc.ufmg.br', 'loureiro@dcc.ufmg.br', 'arnaldo@dcc.ufmg.br', 'berthier@dcc.ufmg.br', 'camarao@dcc.ufmg.br', 'clarindo@dcc.ufmg.br', 'clodoveu@dcc.ufmg.br', 'arbex@dcc.ufmg.br', 'damacedo@dcc.ufmg.br', 'dorgival@dcc.ufmg.br', 'doug@dcc.ufmg.br', 'figueiredo@dcc.ufmg.br', 'erickson@dcc.ufmg.br', 'fabricio@dcc.ufmg.br', 'murai@dcc.ufmg.br', 'fernando@dcc.ufmg.br', 'flaviovdf@dcc.ufmg.br', 'ffcampos@dcc.ufmg.br', 'gabriel@dcc.ufmg.br', 'george@dcc.ufmg.br', 'mateus@dcc.ufmg.br', 'gilberto@dcc.ufmg.br', 'glpappa@dcc.ufmg.br', 'hbarbosa@dcc.ufmg.br', 'ramosh@dcc.ufmg.br', 'hfmatos@dcc.ufmg.br', 'cunha@dcc.ufmg.br', 'jefersson@dcc.ufmg.br', 'jvdg@dcc.ufmg.br', 'jgmm@dcc.ufmg.br', 'jose@dcc.ufmg.br', 'jmarcos@dcc.ufmg.br', 'arabe@dcc.ufmg.br', 'jussara@dcc.ufmg.br', 'leob@dcc.ufmg.br', 'lcerf@dcc.ufmg.br', 'chaimo@dcc.ufmg.br', 'lfvieira@dcc.ufmg.br', 'mlbc@dcc.ufmg.br', 'mgoncalv@dcc.ufmg.br', 'marcos@dcc.ufmg.br', 'mmvieira@dcc.ufmg.br', 'mtov@dcc.ufmg.br', 'mario@dcc.ufmg.br', 'msalvim@dcc.ufmg.br', 'mariza@dcc.ufmg.br', 'martin@dcc.ufmg.br', 'mirella@dcc.ufmg.br', 'nvieira@dcc.ufmg.br', 'olga@dcc.ufmg.br', 'omar@dcc.ufmg.br', 'osvaldo@dcc.ufmg.br', 'olmo@dcc.ufmg.br', 'phablo@dcc.ufmg.br', 'raquelcm@dcc.ufmg.br', 'rprates@dcc.ufmg.br', 'renato@dcc.ufmg.br', 'assuncao@dcc.ufmg.br', 'rvimieiro@dcc.ufmg.br', 'rodrygo@dcc.ufmg.br', 'surrutia@dcc.ufmg.br', 'scampos@dcc.ufmg.br', 'tfn@dcc.ufmg.br', 'viniciussantos@dcc.ufmg.br', 'meira@dcc.ufmg.br', 'william@dcc.ufmg.br', 'imcampos@ufmg.br', 'nivio@dcc.ufmg.br', 'bigonha@dcc.ufmg.br', 'virgilio@dcc.ufmg.br', 'wppf@ieee.org', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'amendes@dcc.ufmg.br', 'otavio@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'echaves@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'contato@dcc.ufmg.br', 'rodolfo@dcc.ufmg.br', 'contato@dcc.ufmg.b']\n"
     ]
    }
   ],
   "source": [
    "res1 = [candidato for candidato in texto.split() if '@' in candidato]\n",
    "res2 = [candidato for candidato in res1 if 'http' not in candidato]\n",
    "res3 = [candidato.replace('href=\"mailto:','') for candidato in res2]\n",
    "res4 = [candidato.strip('\"') for candidato in res3]\n",
    "res5 = [candidato for candidato in res4 if '.' in candidato[candidato.find('@'):]]\n",
    "res6 = [candidato[:candidato.find('\"')] for candidato in res5]\n",
    "print(res6)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<!DOCTYPE html>\n",
      "<!--[if IEMobile 7]><html class=\"iem7\" lang=\"pt-br\" dir=\"ltr\"><![endif]-->\n",
      "<!--[if lte IE 6]><html class=\"lt-ie9 lt-ie8 lt-ie7\" lang=\"pt-br\" dir=\"ltr\"><![endif]-->\n",
      "<!--[if (IE 7)&(!IEMobile)]><html class=\"lt-ie9 lt-ie8\" lang=\"pt-br\" dir=\"ltr\"><![endif]-->\n",
      "<!--[if IE 8]><html class=\"lt-ie9\" lang=\"pt-br\" dir=\"ltr\"><![endif]-->\n",
      "<!--[if (gte IE 9)|(gt IEMobile 7)]><!--><html lang=\"pt-br\" dir=\"ltr\"><!--<![endif]-->\n",
      "<head>\n",
      "<meta charset=\"utf-8\" />\n",
      "<meta name=\"viewport\" content=\"width=device-width, initial-scale=1\" />\n",
      "<meta name=\"MobileOptimized\" content=\"width\" />\n",
      "<meta name=\"HandheldFriendly\" content=\"true\" />\n",
      "<meta name=\"apple-mobile-web-app-capable\" content=\"yes\" />\n",
      "<meta name=\"generator\" content=\"Drupal 7 (http://drupal.org)\" />\n",
      "<link rel=\"canonical\" href=\"https://emap.fgv.br/pessoas\" />\n",
      "<link rel=\"shortlink\" href=\"https://emap.fgv.br/node/12\" />\n",
      "<meta name=\"google-site-verification\" content=\"3qdpjz8DZd6XNYJR543TwaY3FnTUcCh6btNv4ihGchA\" />\n",
      "<meta http-equiv=\"X-UA-Compatibl\n"
     ]
    }
   ],
   "source": [
    "pagina = requests.get(url2)\n",
    "texto = pagina.text\n",
    "print(texto[0:1000])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "emap.fgv.br/modules/system/system.menus.css?pyfww2\");\n",
      "@import url(\"https://emap.fgv.br/modules/system/system.messages.css?pyfww2\");\n",
      "@import url(\"https://emap.fgv.br/modules/system/system.theme.css?pyfww2\");\n",
      "\n",
      "\n",
      "@import url(\"https://emap.fgv.br/sites/all/modules/date/date_api/date.css?pyfww2\");\n",
      "@import url(\"https://emap.fgv.br/sites/all/modules/date/date_popup/themes/datepicker.1.7.css?pyfww2\");\n",
      "@import url(\"https://emap.fgv.br/modules/field/theme/field.css?pyfww2\");\n",
      "@import url(\"https://emap.fgv.br/sites/all/modules/footer_sitemap/footer_sitemap.css?pyfww2\");\n",
      "@import url(\"https://emap.fgv.br/modules/node/node.css?pyfww2\");\n",
      "@import url\n"
     ]
    }
   ],
   "source": [
    "soup = BeautifulSoup(pagina.text, \"lxml\")\n",
    "print(soup.text[160:800])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "links = soup.findAll('a')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['#main-content', '/', '/quem-somos', '/quem-somos', '/institucional', '/estrutura-organizacional', '/comissao-propria-de-avaliacao', '/pessoas', '/noticias', '/graduacao/matematica-aplicada', '/graduacao/matematica-aplicada', '/vestibular', '/graduacao/grade-curricular', '/horarios-calendarios', '/graduacao/corpo-docente', '/transferencia-portadores-de-diploma', '/colocacao-profissional', '/nucleo-de-apoio-pedagogico-nap', '/academia-matematica', '/graduacao/ciencia-dados', '/graduacao/ciencia-dados', '/ciencia-dados/vestibular', '/ciencia-dados/grade-curricular', '/ciencia-dados/horarios-calendarios', '/ciencia-dados/corpo-docente', '/colocacao-profissional', '/nucleo-de-apoio-pedagogico-nap', '/transferencia-portadores-de-diploma-ciencia-de-dados', '/mestrado/modelagem-matematica', '/mestrado/modelagem-matematica', '/mestrado/disciplinas', '/mestrado/horarios-calendarios', '/mestrado/corpo-docente', '/processo-seletivo', '/mestrado/dissertacoes', '/doutorado/modelagem-matematica', '/doutorado/modelagem-matematica', '/doutorado/processo-seletivo', '/doutorado/disciplinas', '/doutorado/horarios-calendarios', '/doutorado/corpo-docente', '/projetos-de-pesquisa-aplicada', '/linhas-de-pesquisa', '/publicacoes', '/projetos-de-pesquisa-aplicada', '/projetos-de-pesquisa-academica', '/pesquisa-aplicada-andamento', '/pesquisa-academica-andamento', '/capes-print', '/', '/eventos', '/seminarios', '/cursos', '/programa-de-verao', '/defesa-de-dissertacao', '/contato', '/quem-somos', '/quem-somos', '/institucional', '/estrutura-organizacional', '/comissao-propria-de-avaliacao', '/pessoas', '/noticias', '/graduacao/matematica-aplicada', '/graduacao/matematica-aplicada', '/vestibular', '/graduacao/grade-curricular', '/horarios-calendarios', '/graduacao/corpo-docente', '/transferencia-portadores-de-diploma', '/colocacao-profissional', '/nucleo-de-apoio-pedagogico-nap', '/academia-matematica', '/graduacao/ciencia-dados', '/graduacao/ciencia-dados', '/ciencia-dados/vestibular', '/ciencia-dados/grade-curricular', '/ciencia-dados/horarios-calendarios', '/ciencia-dados/corpo-docente', '/colocacao-profissional', '/nucleo-de-apoio-pedagogico-nap', '/transferencia-portadores-de-diploma-ciencia-de-dados', '/mestrado/modelagem-matematica', '/mestrado/modelagem-matematica', '/mestrado/disciplinas', '/mestrado/horarios-calendarios', '/mestrado/corpo-docente', '/processo-seletivo', '/mestrado/dissertacoes', '/doutorado/modelagem-matematica', '/doutorado/modelagem-matematica', '/doutorado/processo-seletivo', '/doutorado/disciplinas', '/doutorado/horarios-calendarios', '/doutorado/corpo-docente', '/projetos-de-pesquisa-aplicada', '/linhas-de-pesquisa', '/publicacoes', '/projetos-de-pesquisa-aplicada', '/projetos-de-pesquisa-academica', '/pesquisa-aplicada-andamento', '/pesquisa-academica-andamento', '/capes-print', '/', '/eventos', '/seminarios', '/cursos', '/programa-de-verao', '/defesa-de-dissertacao', '/contato', '/quem-somos', '/graduacao/matematica-aplicada', '/graduacao/ciencia-dados', '/mestrado/modelagem-matematica', '/doutorado/modelagem-matematica', '/projetos-de-pesquisa-aplicada', '/', '/contato', '/corpo-docente/alexandre-rademaker-0', '/corpo-docente/antonio-carlos-saraiva-branco', '/corpo-docente/asla-medeiros-sa', '/corpo-docente/cesar-camacho-diretor-emap', '/corpo-docente/claudio-jose-struchiner', '/corpo-docente/eduardo-fonseca-mendes', '/corpo-docente/eduardo-massad', '/corpo-docente/eduardo-wagner', '/corpo-docente/flavio-codeco-coelho', '/corpo-docente/hugo-de-la-cruz-cancino', '/corpo-docente/jorge-poco', '/corpo-docente/luiz-max-fagundes-de-carvalho', '/corpo-docente/maria-izabel-tavares-camacho', '/corpo-docente/maria-soledad-aronna', '/corpo-docente/moacyr-alvim-horta-barbosa-silva', '/corpo-docente/paulo-cezar-p-carvalho', '/corpo-docente/renato-rocha-souza', '/corpo-docente/rodrigo-santos-targino', '/corpo-docente/roger-behling', '/corpo-docente/vincent-gerard-yannick-guigues', '/corpo-docente/walter-wagner-carvalho-sande', '/corpo-docente/yuri-fahham-saporito', '/corpo-docente/david-evangelista-silveira-junior', '/corpo-docente/rajivganthi-chinnathambi', '/corpo-docente/roberto-guglielmi', '/quem-somos', '/institucional', '/estrutura-organizacional', '/comissao-propria-de-avaliacao', '/pessoas', '/noticias', '/quem-somos', '/quem-somos', '/institucional', '/estrutura-organizacional', '/comissao-propria-de-avaliacao', '/pessoas', '/noticias', '/graduacao/matematica-aplicada', '/graduacao/matematica-aplicada', '/vestibular', '/graduacao/grade-curricular', '/horarios-calendarios', '/graduacao/corpo-docente', '/transferencia-portadores-de-diploma', '/colocacao-profissional', '/nucleo-de-apoio-pedagogico-nap', '/academia-matematica', '/graduacao/ciencia-dados', '/graduacao/ciencia-dados', '/ciencia-dados/vestibular', '/ciencia-dados/grade-curricular', '/ciencia-dados/horarios-calendarios', '/ciencia-dados/corpo-docente', '/colocacao-profissional', '/nucleo-de-apoio-pedagogico-nap', '/transferencia-portadores-de-diploma-ciencia-de-dados', '/mestrado/modelagem-matematica', '/mestrado/modelagem-matematica', '/mestrado/disciplinas', '/mestrado/horarios-calendarios', '/mestrado/corpo-docente', '/processo-seletivo', '/mestrado/dissertacoes', '/doutorado/modelagem-matematica', '/doutorado/modelagem-matematica', '/doutorado/processo-seletivo', '/doutorado/disciplinas', '/doutorado/horarios-calendarios', '/doutorado/corpo-docente', '/projetos-de-pesquisa-aplicada', '/linhas-de-pesquisa', '/publicacoes', '/projetos-de-pesquisa-aplicada', '/projetos-de-pesquisa-academica', '/pesquisa-aplicada-andamento', '/pesquisa-academica-andamento', '/capes-print', '/', '/eventos', '/seminarios', '/cursos', '/programa-de-verao', '/defesa-de-dissertacao', '/contato', 'https://www.facebook.com/emap.fgv', 'https://twitter.com/fgv', 'https://www.youtube.com/channel/UC8DhN1cJi0QklBQot5hv_kg', 'https://eclass.fgv.br/', 'https://www.google.com/maps?ll=-22.940808,-43.180153&spn=0.011441,0.01929&cid=3352914085499141244&t=m&z=16&vpsrc=0', 'http://www.fgv.br/politica-privacidade/sites-fgv/politica-de-privacidade.pdf', 'http://portal.fgv.br', 'http://portal.fgv.br/en', 'http://portal.fgv.br/educacao/graduacao', 'http://graduacaotecnologica.fgv.br/', 'http://portal.fgv.br/educacao/mestrado-doutorado', 'http://portal.fgv.br/educacao/mba-pos', 'http://portal.fgv.br/educacao/cursos-extensao', 'http://incompany.fgv.br/', 'http://www5.fgv.br/fgvonline/', 'http://vestibular.fgv.br', 'http://ensinomediodigital.fgv.br/', 'http://portal.fgv.br/livros', 'http://editora.fgv.br', 'http://bibliotecadigital.fgv.br/', 'http://cpdoc.fgv.br', 'http://cpdoc.fgv.br', 'http://direitorio.fgv.br', 'http://direitorio.fgv.br', 'http://direitosp.fgv.br', 'http://direitosp.fgv.br', 'http://eaesp.fgvsp.br', 'http://eaesp.fgvsp.br', 'http://ebape.fgv.br', 'http://ebape.fgv.br', 'http://eesp.fgv.br', 'http://eesp.fgv.br', 'http://emap.fgv.br', 'http://emap.fgv.br', 'http://epge.fgv.br', 'http://epge.fgv.br', 'https://eppg.fgv.br/', 'https://eppg.fgv.br/', 'https://ri.fgv.br/', 'https://ri.fgv.br/', 'https://portal.fgv.br/pesquisas-teses-publicacoes', 'http://fgvprojetos.fgv.br/', 'https://fgveurope.fgv.br/', 'http://portalibre.fgv.br', 'http://ceri.fgv.br', 'http://dapp.fgv.br', 'http://dint.fgv.br', 'http://fgvenergia.fgv.br', 'http://cps.fgv.br', 'http://portal.fgv.br', 'http://portal.fgv.br/areas/administracao', 'http://portal.fgv.br/areas/ciencias-sociais', 'http://portal.fgv.br/areas/direito', 'http://portal.fgv.br/areas/economia', 'http://portal.fgv.br/areas/matematica', 'https://www.facebook.com/Vestibular.FGV/', 'https://www.linkedin.com/school/8175?pathWildcard=8175', 'https://twitter.com/fgv', 'https://www.instagram.com/fgv.oficial/', 'https://plus.google.com/+FGV', 'https://www.youtube.com/user/fgv', 'http://portal.fgv.br/livros', 'http://portal.fgv.br/noticias', 'http://portal.fgv.br/eventos']\n"
     ]
    }
   ],
   "source": [
    "lista_links = []\n",
    "for link in links:\n",
    "    lista_links.append(link.get('href'))\n",
    "print(lista_links)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['/corpo-docente/alexandre-rademaker-0',\n",
       " '/corpo-docente/antonio-carlos-saraiva-branco',\n",
       " '/corpo-docente/asla-medeiros-sa',\n",
       " '/corpo-docente/cesar-camacho-diretor-emap',\n",
       " '/corpo-docente/claudio-jose-struchiner',\n",
       " '/corpo-docente/eduardo-fonseca-mendes',\n",
       " '/corpo-docente/eduardo-massad',\n",
       " '/corpo-docente/eduardo-wagner',\n",
       " '/corpo-docente/flavio-codeco-coelho',\n",
       " '/corpo-docente/hugo-de-la-cruz-cancino',\n",
       " '/corpo-docente/jorge-poco',\n",
       " '/corpo-docente/luiz-max-fagundes-de-carvalho',\n",
       " '/corpo-docente/maria-izabel-tavares-camacho',\n",
       " '/corpo-docente/maria-soledad-aronna',\n",
       " '/corpo-docente/moacyr-alvim-horta-barbosa-silva',\n",
       " '/corpo-docente/paulo-cezar-p-carvalho',\n",
       " '/corpo-docente/renato-rocha-souza',\n",
       " '/corpo-docente/rodrigo-santos-targino',\n",
       " '/corpo-docente/roger-behling',\n",
       " '/corpo-docente/vincent-gerard-yannick-guigues',\n",
       " '/corpo-docente/walter-wagner-carvalho-sande',\n",
       " '/corpo-docente/yuri-fahham-saporito',\n",
       " '/corpo-docente/david-evangelista-silveira-junior',\n",
       " '/corpo-docente/rajivganthi-chinnathambi',\n",
       " '/corpo-docente/roberto-guglielmi']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lista_links = [link for link in lista_links if '/corpo-docente/' in link]\n",
    "lista_links"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "requisicao = requests.get('https://emap.fgv.br/' + lista_links[1])\n",
    "soup = BeautifulSoup(requisicao.text, \"lxml\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<a href=\"mailto:antonio.branco@fgv.br\">antonio.branco@fgv.br</a>]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "email_do_professor = soup.select('a[href^=mailto]')\n",
    "email_do_professor"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Using regular expressions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = \"\"\"The E-Book looks amazing and I would like a copy of it, here is my e-mail id - xyz@gmail.com | \n",
    "        Hi, I am looking for a job in data science field, please send me the E-book and kindly suggest\n",
    "        how to move forward, thanks - ab_c@gmail.com\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['xyz@gmail.com', 'ab_c@gmail.com']"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "re.findall(r\"([\\w.-]+@[\\w.-]+)\", text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Removing Emojis from text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Raw tweet: Hi 😂! Have a nice weekend 💕👭\n",
      "Preprocessed tweet: Hi ! Have a nice weekend \n"
     ]
    }
   ],
   "source": [
    "text= \"Hi 😂! Have a nice weekend 💕👭\"\n",
    "preprocessed_text=text.encode('ascii', 'ignore').decode('ascii')\n",
    "\n",
    "print(\"Raw tweet:\",text)  #with emoji\n",
    "print(\"Preprocessed tweet:\",preprocessed_text) # no emoji"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}