IdentifiantMot de passe
Loading...
Mot de passe oubli� ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les r�ponses en temps r�el, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Questions g�n�rales : performance lecture fichier et excel en python [Python 2.X]


Sujet :

Python

Vue hybride

Message pr�c�dent Message pr�c�dent   Message suivant Message suivant
  1. #1
    Membre averti
    Homme Profil pro
    Ing�nieur
    Inscrit en
    Ao�t 2014
    Messages
    40
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 37
    Localisation : France, Seine et Marne (�le de France)

    Informations professionnelles :
    Activit� : Ing�nieur

    Informations forums :
    Inscription : Ao�t 2014
    Messages : 40
    Par d�faut Questions g�n�rales : performance lecture fichier et excel en python
    Bonjour,


    J'aimerais reproduire le comportement d'Excel sous Python sous la forme d'une IHM. En gros reproduire un onglet, les cellules et permettre de faire des op�rations comme sous Excel. L'id�e serait de ne plus d�pendre de la version d'Excel utilis�e.
    Savez-vous si ce genre de chose existe d�j� en opensource ?

    De plus, je rencontre un probl�me de performance lorsque je lis des fichiers qui sont assez lourd pour mettre en forme ou faire des recherches (plusieurs centaines de mo). Ce que je fais :
    - readlines()
    - boucle sur les lignes pour mettre en forme

    Or quand il y a plusieurs millions de lignes �a prend une �ternit�. Existe-t-il une m�thode pour aller plus vite ? Passer par du fortran serait plus efficace ?

    Merci pour votre aide !

  2. #2
    Expert confirm�

    Homme Profil pro
    Inscrit en
    Octobre 2008
    Messages
    4 307
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations forums :
    Inscription : Octobre 2008
    Messages : 4 307
    Par d�faut
    Salut,

    Application multidocuments, tableur, architecture Mod�le Vue Contr�leur ... PyQt est fait pour toi.

    Les ressources ne manquent pas, sur ce site d'abord (en fran�ais) et quelques ouvrages sp�cialis�s (en anglais g�n�ralement).


    Pour ta lecture de fichier, qui est une toute autre question, sache que readlines() te retourne une liste de la totalit� des lignes de texte du fichier. Pas s'�tonner que �a d�borde parfois. Utilise readline comme it�rateur � la place.

  3. #3
    Membre �m�rite
    Homme Profil pro
    Aucune activit�
    Inscrit en
    Novembre 2011
    Messages
    505
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activit� : Aucune activit�

    Informations forums :
    Inscription : Novembre 2011
    Messages : 505
    Par d�faut
    Citation Envoy� par coolpix77 Voir le message
    J'aimerais reproduire le comportement d'Excel sous Python sous la forme d'une IHM. En gros reproduire un onglet, les cellules et permettre de faire des op�rations comme sous Excel. L'id�e serait de ne plus d�pendre de la version d'Excel utilis�e.
    Savez-vous si ce genre de chose existe d�j� en opensource ?
    Bonjour,
    Quelque chose comme Calc de LibreOffice?
    Je pense que la t�che est vraiment ardue. Mais alors vraiment!!
    (Quelques centaines de codeurs assidus avec une hi�rarchie tr�s bien structur�e�)

    Clodion

  4. #4
    Membre averti
    Homme Profil pro
    Ing�nieur
    Inscrit en
    Ao�t 2014
    Messages
    40
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 37
    Localisation : France, Seine et Marne (�le de France)

    Informations professionnelles :
    Activit� : Ing�nieur

    Informations forums :
    Inscription : Ao�t 2014
    Messages : 40
    Par d�faut
    @VinsS :

    Aurais-tu des exemples de documentation ? Je connais PyQt mais je ne vois pas quel module pourrait m'aider dans ce que je veux faire.

    Sinon concernant readlines(). Que je lise les lignes une par une avec readline ou que je lise tout d'un coup et que je boucle �a revient au m�me non ? J'aurais toujours mon probl�me de performance

    @Clodion : O�p �a m'a l'air un peu hors port�e eheh ! Je cherche plus une IHM de type tableur d�velopp�e sous Python avec des fonctions avanc�es type Excel (filtre, c/c, etc...)

  5. #5
    Expert confirm�

    Homme Profil pro
    Inscrit en
    Octobre 2008
    Messages
    4 307
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations forums :
    Inscription : Octobre 2008
    Messages : 4 307
    Par d�faut
    Citation Envoy� par coolpix77 Voir le message
    ...
    Je connais PyQt mais je ne vois pas quel module pourrait m'aider ...
    �a me para�t contradictoire. Tu as des ressources entre autre ici:

    http://pyqt.developpez.com/tutoriels/

    Ce livre tr�s complet:

    http://pyqt.developpez.com/livres/in...is#L0132354187

    Moi personnellement, je cherche l'inspiration avec ce moteur de recherche:

    http://nullege.com/

    -------------------------------------------------------------------------------------------------------------------------------


    for line in inf.readlines() et inf.readline() ne sont pas la m�me chose. Du tout.

    Exemples d'utilisation de readline():
    Code : S�lectionner tout - Visualiser dans une fen�tre � part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
     
    # -*- encoding: utf-8 -*-
     
    # Première méthode:
     
    def file_iterator(path):
        with open(path, "r", encoding='utf-8') as inf:
            for line in inf:
                yield line
     
    fi = file_iterator('mongrosfichier')
    while 1:
        try:
            print(next(fi))
        except StopIteration:
            break
     
    # Deuxième méthode:
     
    inf = open('mongrosfichier', "r", encoding='utf-8')
    src = inf.readline
     
    while 1:
        l = src()
        if not l:
            break
        print(l)
     
    inf.close()

  6. #6
    Membre averti
    Homme Profil pro
    Ing�nieur
    Inscrit en
    Ao�t 2014
    Messages
    40
    D�tails du profil
    Informations personnelles :
    Sexe : Homme
    �ge : 37
    Localisation : France, Seine et Marne (�le de France)

    Informations professionnelles :
    Activit� : Ing�nieur

    Informations forums :
    Inscription : Ao�t 2014
    Messages : 40
    Par d�faut
    J'ai pas dis que c'�tait la m�me chose mais que les m�thodes �taient �quivalentes en terme de performance.
    Apr�s je peux me tromper !

    Sinon j'ai trouv� �a : http://manns.github.io/pyspread/index.html
    �a a l'air de r�pondre � mon besoin

+ R�pondre � la discussion
Cette discussion est r�solue.

Discussions similaires

  1. Performance lecture fichier
    Par MatRem dans le forum G�n�ral Python
    R�ponses: 8
    Dernier message: 04/12/2011, 03h10
  2. {VBA Excel}Question sur la lecture de fichier excel
    Par Thomas69 dans le forum Macros et VBA Excel
    R�ponses: 2
    Dernier message: 11/12/2007, 09h12
  3. [VB.net] Lecture fichier excel, cellule fusionn�e
    Par UNi[FR] dans le forum Windows Forms
    R�ponses: 1
    Dernier message: 16/08/2006, 13h12
  4. Lecture d'un fichier avec Excel . .
    Par Flow_75 dans le forum Macros et VBA Excel
    R�ponses: 3
    Dernier message: 24/06/2006, 21h59
  5. 3 questions sur l�importation de fichier Excel
    Par helenafr dans le forum Access
    R�ponses: 5
    Dernier message: 05/04/2006, 07h38

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo