Estou tentando raspar as primeiras 3 imagens para obter uma lista de cadeias de caracteres de pesquisa do google. Como não sou muito versado em Python, recebi ajuda de algumas fontes e poderia escrever o código abaixo. Preciso que as imagens sejam salvas nas respectivas pastas (contendo o nome da string de pesquisa) no diretório de trabalho atual. O código cria uma pasta, mas apenas para a primeira string de pesquisa e essa também uma pasta vazia.
Ele está saindo com o seguinte erro: -
NameError: name 'time' is not defined
O código é: -
def fetch_image_urls(query:str, max_links_to_fetch:int, wd:webdriver, sleep_between_interactions:int=3):
search_url = f"https://www.google.com/search?q={query}&tbm=isch&ved=2ahUKEwjdh7KtreXqAhX8zIsBHbGHDGkQ2-cCegQIABAA&oq={query}&gs_lcp=CgNpbWcQA1CntRBYp7UQYNe7EGgAcAB4AIABywGIAcsBkgEDMi0xmAEAoAEBqgELZ3dzLXdpei1pbWfAAQE&sclient=img&ei=MYwaX52rF_yZr7wPsY-yyAY&bih=578&biw=1280"
wd.get(search_url)
time.sleep(sleep_between_interactions)
image_urls = set()
image_count = 0
number_results = 0
for i in range(1,20):
time.sleep(5)
thumb = wd.find_elements_by_css_selector("img.Q4LuWd")
time.sleep(5)
for img in thumb:
print(img)
print(img.get_attribute('src'))
image_urls.add(img.get_attribute('src'))
image_count = len(image_urls)
number_results = image_count
time.sleep(.5)
print(f"Found: {number_results} search results. Extracting links...")
return image_urls
def persist_image(folder_path:str,url:str):
try:
headers = {'User-agent': 'Chrome/84.0.4147.89'}
image_content = requests.get(url, headers=headers).content
except Exception as e:
print(f"ERROR - Could not download {url} - {e}")
try:
image_file = io.BytesIO(image_content)
image = Image.open(image_file).convert('RGB')
file_path = os.path.join(folder_path,hashlib.sha1(image_content).hexdigest()[:10] + '.jpg')
with open(file_path, 'wb') as f:
image.save(f, "JPEG", quality=85)
print(f"SUCCESS - saved {url} - as {file_path}")
except Exception as e:
print(f"ERROR - Could not save {url} - {e}")
def search_and_download(search_term:str,driver_path:str,target_path='./images',number_images=5):
target_folder = os.path.join(target_path,'_'.join(search_term.lower().split(' ')))
if not os.path.exists(target_folder):
os.makedirs(target_folder)
with webdriver.Chrome(executable_path=driver_path) as wd:
res = fetch_image_urls(search_term, number_images, wd=wd, sleep_between_interactions=3)
for elem in res:
persist_image(target_folder,elem)
import requests
import os
import io
from PIL import Image
import hashlib
search_terms = ['1415 Bush St', '2015 Washington Blvd', '1420 Joh Ave', '901 W Ostend St']
for search_term in search_terms:
search_and_download(search_term=search_term, driver_path=DRIVER_PATH)
Por favor, sugira a correção / edições para produzir a saída desejada,
Obrigado !!
import time
Você precisa importar tempo para que funcione.
Resolvi o problema com uma solução alternativa. O código abaixo funciona exatamente de acordo com o requisito. Postá-lo para ajuda futura a qualquer pessoa com necessidade semelhante.
Obrigado a todos por qualquer ajuda !!
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import os
import urllib.request
searchterm = ['3500 Boston St','1415 Bush St','1811 POrtal St']
for i in searchterm:
url = "https://www.google.co.in/search?q="+i+"&source=lnms&tbm=isch"
browser = webdriver.Chrome(r'C:\Users\XXXX\xxxx\Documents\chromedriver.exe')
browser.get(url)
header={'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36"}
counter = 0
succounter = 0
if not os.path.exists(i):
os.mkdir(i)
for x in browser.find_elements_by_xpath('//img[contains(@class,"rg_i Q4LuWd")]'):
counter = counter + 1
print("Total Count:", counter)
print("Succsessful Count:", succounter)
print("URL:", x.get_attribute('src'))
img = x.get_attribute('src')
new_filename = i+" " +str(counter)+".jpg"
try:
path = os.path.join(i , i + "_" + str(counter))
path += new_filename
urllib.request.urlretrieve(img, path)
succounter += 1
except Exception as e:
print(e)
print(succounter, "pictures succesfully downloaded")
browser.close()
Jana Duggar foi aberta sobre sua busca pelo amor. Aqui está tudo o que ela disse sobre o assunto e sua janela de cinco anos para o casamento.
O astro de 'Outlander', Sam Heughan, revelou recentemente o que vai levar do set para relembrar Jamie Fraser, o papel que o tornou uma estrela.
'She Loves You' foi escrita em uma hora, gravada em um dia, e foi a música dos Beatles com uma de suas melhores apresentações de sua carreira.
Dolly Parton e sua avó Bessie tiveram um relacionamento especial. Vovó Parton estava muito doente, mas isso não impediu Dolly de pregar uma peça nela.
Você pode achar que o carvalho ou a nogueira são madeiras resistentes, mas quando se trata da madeira mais dura do mundo, elas nem chegam perto.
O oceano é repleto de beleza, mas também esconde algumas das criaturas marinhas mais assustadoras do planeta. Muitos desses animais espreitam nas profundezas do oceano, no mundo escuro e de alta pressão do fundo do mar.
Se você está enfrentando criaturas hostis ou se preparando para cenários PvP, conhecer os melhores encantamentos de espada no Minecraft pode te dar uma grande vantagem. Encantar espadas permite causar mais dano, aumentar a quantidade de itens obtidos de criaturas e prolongar a durabilidade da sua espada.
Quando as pessoas falam sobre países socialistas, geralmente imaginam o controle total do governo e a ausência de propriedade privada. Mas, na prática, as economias socialistas variam muito.
“Children” traz uma participação especial de grande nome e algumas notícias devastadoras
Este RAV4 está em excelentes condições e está preparado para um jogo de cadeiras musicais.
Imagens de drone capturaram bombeiros parecendo lutar para apagar o incêndio.
Eyes of Wakanda está diretamente relacionado ao MCU, além de atualizações sobre X-Men '97, What If..., Demolidor e muito mais.
O anel de noivado de Kate Middleton pertenceu à Princesa Diana antes do Príncipe William pedi-la em casamento. Descubra tudo o que há para saber sobre a peça histórica aqui.
John Cleese se casou com sua esposa, Jennifer Wade, em 2012. Aqui está tudo o que você precisa saber sobre a esposa de John Cleese, Jennifer Wade.
Patton Oswalt se casou com sua esposa, a também atriz Meredith Salenger, em 2017. Aqui está tudo o que você precisa saber sobre a esposa de Patton Oswalt, Meredith Salenger.
Mena Suvari é casada com o marido Michael Hope desde 2018. Aqui está tudo o que você precisa saber sobre o marido de Mena Suvari.
Isso me atinge De repente, como tantas vezes acontece É o meio do caminho tudo de novo <Não, não aquele no Pacífico, seu marrom, aquele no carnaval> Todas as manchetes em voz alta…..
Em 2022, com o lançamento do GPT-3, a habilidade de escrita parece se tornar menos importante. Com a IA, pessoas com redação ruim também podem gerar funcionários de qualidade.
No mundo acelerado e competitivo de hoje, a carreira desempenha um papel significativo no crescimento pessoal, na estabilidade financeira e na satisfação geral com a vida. No entanto, muitos indivíduos encontram-se presos em um ciclo implacável de estagnação e insatisfação, definhando gradualmente em suas vidas profissionais.
Na semana passada, notei um comunicado de imprensa, enviado via PressGazette (um site de notícias da mídia britânica). O artigo anunciava que a Acast, a empresa de publicidade e hospedagem de podcast Scandi, lideraria um consórcio de "provavelmente os editores mais influentes" em podcasting.