Python asyncio não mostra erros

Estou tentando obter alguns dados de milhares de urls usando asyncio. Aqui está uma breve visão geral do design:

1. Preencha de uma Queuesó vez com vários urls usando um únicoProducer
2. Gerar um monte de Consumers
3. Cada um Consumercontinua extraindo urls de forma assíncrona do Queuee enviando GETsolicitações
4. Faça algum pós-processamento no resultado
5. Combine todos os resultados processados ​​e retorne

Problemas: asyncio quase nunca mostra se algo está errado, ele apenas trava silenciosamente, sem erros. Eu coloquei printdeclarações em todos os lugares para detectar problemas por conta própria, mas não ajudou muito.

Dependendo do número de urls de entrada e do número de consumidores ou limites, posso obter estes erros:

1. Task was destroyed but it is pending!
2. task exception was never retrieved future: <Task finished coro=<consumer()
3. aiohttp.client_exceptions.ServerDisconnectedError
4. aiohttp.client_exceptions.ClientOSError: [WinError 10053] An established connection was aborted by the software in your host machine

Perguntas: como detectar e tratar exceções em asyncio? como tentar novamente sem interromper o Queue?

Abaixo está o meu código que compilei olhando para vários exemplos de código assíncrono. Atualmente, há um erro intencional no final de uma def get_video_titlefunção. Quando executado, nada aparece.

import asyncio
import aiohttp
import json
import re
import nest_asyncio
nest_asyncio.apply() # jupyter notebook throws errors without this


user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"

def get_video_title(data):
    match = re.search(r'window\[["\']ytInitialPlayerResponse["\']\]\s*=\s*(.*)', data)
    string = match[1].strip()[:-1]
    result = json.loads(string)
    return result['videoDetails']['TEST_ERROR'] # <---- should be 'title'

async def fetch(session, url, c):
    async with session.get(url, headers={"user-agent": user_agent}, raise_for_status=True, timeout=60) as r:
        print('---------Fetching', c)
        if r.status != 200:
            r.raise_for_status()
        return await r.text()

async def consumer(queue, session, responses):
    while True:
        try:
            i, url = await queue.get()
            print("Fetching from a queue", i)
            html_page = await fetch(session, url, i)

            print('+++Processing', i)
            result = get_video_title(html_page) # should raise an error here!
            responses.append(result)
            queue.task_done()

            print('+++Task Done', i)

        except (aiohttp.http_exceptions.HttpProcessingError, asyncio.TimeoutError) as e:
            print('>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>Error', i, type(e))
            await asyncio.sleep(1)
            queue.task_done()

async def produce(queue, urls):
    for i, url in enumerate(urls):
        print('Putting in a queue', i)
        await queue.put((i, url))

async def run(session, urls, consumer_num):
    queue, responses = asyncio.Queue(maxsize=2000), []

    print('[Making Consumers]')
    consumers = [asyncio.ensure_future(
        consumer(queue, session, responses)) 
                 for _ in range(consumer_num)]

    print('[Making Producer]')
    producer = await produce(queue=queue, urls=urls)

    print('[Joining queue]')
    await queue.join()

    print('[Cancelling]')
    for consumer_future in consumers:
        consumer_future.cancel()

    print('[Returning results]')
    return responses

async def main(loop, urls):
    print('Starting a Session')
    async with aiohttp.ClientSession(loop=loop, connector=aiohttp.TCPConnector(limit=300)) as session:
        print('Calling main function')
        posts = await run(session, urls, 100)
        print('Done')
        return posts


if __name__ == '__main__':
    urls = ['https://www.youtube.com/watch?v=dNQs_Bef_V8'] * 100
    loop = asyncio.get_event_loop()
    results = loop.run_until_complete(main(loop, urls))

O problema é que você consumercaptura apenas duas exceções muito específicas e, no caso delas, marca a tarefa como concluída. Se qualquer outra exceção acontecer, como uma exceção relacionada à rede, o consumidor será encerrado. No entanto, isso não é detectado pelo run, que está aguardando queue.join()com o consumidor (efetivamente) em execução em segundo plano. É por isso que seu programa trava - os itens na fila nunca são contabilizados e a fila nunca é totalmente processada.

Existem duas maneiras de corrigir isso, dependendo do que você deseja que seu programa faça quando encontrar uma exceção imprevista. Se quiser que ele continue em execução, você pode adicionar uma exceptcláusula pega-tudo ao consumidor, por exemplo:

        except Exception as e
            print('other error', e)
            queue.task_done()

A alternativa é a propagação de uma exceção não tratada do consumidor run. Isso deve ser organizado explicitamente, mas tem a vantagem de nunca permitir que exceções passem silenciosamente. (Veja este artigo para um tratamento detalhado do assunto.) Uma maneira de conseguir isso é esperar pelos queue.join()consumidores ao mesmo tempo; como os consumidores estão em um loop infinito, eles serão concluídos apenas no caso de uma exceção.

    print('[Joining queue]')
    # wait for either `queue.join()` to complete or a consumer to raise
    done, _ = await asyncio.wait([queue.join(), *consumers],
                                 return_when=asyncio.FIRST_COMPLETED)
    consumers_raised = set(done) & set(consumers)
    if consumers_raised:
        await consumers_raised.pop()  # propagate the exception

Perguntas: como detectar e lidar com exceções no assíncio?

As exceções são propagadas awaite normalmente detectadas e tratadas como em qualquer outro código. O tratamento especial é necessário apenas para capturar exceções que vazam de uma tarefa "em segundo plano" como o consumer.

como tentar novamente sem interromper a fila?

Você pode ligar await queue.put((i, url))no exceptbloco. O item será adicionado ao final da fila para ser retirado por um consumidor. Nesse caso, você só precisa do primeiro snippet e não quer se preocupar em tentar propagar a exceção consumerpara run.