Forum Linux.général probleme sur les gros tableur

Posté par  . Licence CC By‑SA.
Étiquettes :
2
21
nov.
2017

Il m'arrive travailler sur des gros tableur dans openoffice de 50/200K ligne.
et lorsque je copie un formule sur toute les lignes je me retrouve avec le
processus soffice qui monte à 100%
la température qui grimpe
1 core sur 4 à 100%
donc une load average ~0,5 pas de swap?

pendant ce temps là office deviens inutilisable.
Donc plusieurs questions
Est ce que ca vous parait logique?
Que pourrais je faire pour résoudre le soucis? un processeur plus puissant?

  • # reduire la tableau, mettre à jour openoffice

    Posté par  . Évalué à 3.

    tu dis toi meme 1 coeur sur 4 monte à 100%
    tu dis aussi open office qui est un projet mort depuis bientot 5 ans remplacé par libreoffice.

    donc à l'epoque le logiciel ne savait probablement utiliser qu'un seul processeur,
    essaie de mettre à jour vers le dernier libreoffice,
    qui gere peut-etre mieux ce que l'on appelle le "multi-threading" (la gestion de plusieurs coeurs)

    • [^] # Re: reduire la tableau, mettre à jour openoffice

      Posté par  . Évalué à 2.

      Pardon à vous deux… J'ai dis par habitude openoffice mais je suis sous libre office: 4.2.8.2

      • [^] # Re: reduire la tableau, mettre à jour openoffice

        Posté par  (site web personnel) . Évalué à 1. Dernière modification le 21 novembre 2017 à 11:03.

        J'en ai mis un à jour y'a pas longtemps, je pense que c'était plutôt 5.3.7 !

        « Il vaut mieux mobiliser son intelligence sur des conneries que mobiliser sa connerie sur des choses intelligentes. »

        • [^] # Re: reduire la tableau, mettre à jour openoffice

          Posté par  . Évalué à 2.

          étant sous ubuntu 14 de base c'est la 4.2
          Je viens de désinstaller, rajouter le dépot, et réinstaller:

          sudo add-apt-repository ppa:libreoffice/ppa -y
          sudo apt-get remove --purge libreoffice*
          sudo apt update
          sudo apt-get install libreoffice -y
          je suis passé sous la 5.4,

          Et bah ca change tout…
          Merci à vous

          • [^] # Re: reduire la tableau, mettre à jour openoffice

            Posté par  . Évalué à 3.

            étant sous ubuntu 14 de base c'est la 4.2

            soit ubuntu de 2014
            y a une obligation sur cette machine à conserver un ubuntu si vieux ?

            content en tout cas content de voir que tu as pu resoudre tes soucis.

            • [^] # Re: reduire la tableau, mettre à jour openoffice

              Posté par  . Évalué à 1.

              Obligation de rester sous la 14 non,
              Mais si on tourne la question dans l'autre sens!?

              Obligation de passer en 16/17?
              Non plus.
              Donc tant que ca tourne…
              Sachant que c'est un machine de travaille avec pas mal de configuration, script en tout genre… Changez de versions c'est pas juste lancer l'installation.
              C'est prévu…

              • [^] # Re: reduire la tableau, mettre à jour openoffice

                Posté par  . Évalué à 2.

                Sachant que c'est un machine de travaille avec pas mal de configuration, script en tout genre… Changez de versions c'est pas juste lancer l'installation

                il est vrai que ubuntu14 est une LTS, donc maintenue jusqu'à avril 2019
                donc il n'est pas "utile" de mettre à jour,

                neanmoins tu le constates toi meme, en 3 ans, il y a eu pas mal d'amelioration sur pas mal de logiciels

                et non, ce n'est pas "lancer l'installation", juste lancer la mise à jour,

                evidemment en 2017 ca va commencer à etre compliquer de passer de ubuntu14 à ubuntu17 directement,
                il te faudra peut-etre passer à ubuntu16 d'abord, puis en avril 2018, passer à ubuntu18 (LTS)

                • [^] # Re: reduire la tableau, mettre à jour openoffice

                  Posté par  . Évalué à 1.

                  De tout façon compte tenu de ma situation et notamment mon partionnement j'envisage plus un clonage (dd) pour backup sur un autre disque, puis un réinstallation à 0

                  • [^] # Re: reduire la tableau, mettre à jour openoffice

                    Posté par  . Évalué à 2.

                    oui ca peut etre l'occasion de repartir sur de nouvelles bases
                    - partitionnement LVM par exemple
                    - nouveau gestionnaire de bureau
                    - nouveaux outils

                    • [^] # Re: reduire la tableau, mettre à jour openoffice

                      Posté par  . Évalué à 1.

                      Je sais pas si tu te souviens de mon cas, relu mes différents post…
                      Mais c'est l'idée.

                      J'ai un soucis de partion qui me bloque,
                      et un horrible mélange unity/xfce donc c'est un beau bazard.

                      Dont éffectivement début d'année prochaine je repart à plat.
                      1. un DD du disque actuel
                      2. réinstallation de de Xubntu 16
                      3. récupération sur le disque de backup des documents, VM, clé, script,(~/.config, ~/.dropbox,è ~/.git-credential-cache, ~/.mozilla, ~/.Skype, ~/.ssh, ~/.thunderbird, ~/.bash_logout, ~/.bashrc, ~/.gitconfig, ~/.selected_editor, ~/.viminfo, ~/.vimrc, ~/.vimrc.bepo, )

                      Et ca sera effectivement l'occasion de passer sous lVM. et xubuntu propre.

                      • [^] # Re: reduire la tableau, mettre à jour openoffice

                        Posté par  . Évalué à 2.

                        Dont éffectivement début d'année prochaine je repart à plat.
                        1. un DD du disque actuel
                        2. réinstallation de de Xubntu 16
                        3. récupération sur le disque de backup des documents, VM, clé, script,(~/.config, ~/.dropbox,è ~/.git-credential-cache, ~/.mozilla, ~/.Skype, ~/.ssh, ~/.thunderbird, ~/.bash_logout, ~/.bashrc, ~/.gitconfig, ~/.selected_editor, ~/.viminfo, ~/.vimrc, ~/.vimrc.bepo, )

                        attends les vacances de paques, et installes directement (x|l|k|'')ubuntu 18 qui sera la prochaine LTS
                        plutot que de te trainer avec 2 ans de retard, des le depart.

                        • [^] # Re: reduire la tableau, mettre à jour openoffice

                          Posté par  . Évalué à 1.

                          Perso tu réinstalles ton système à quel rythme?

                          • [^] # Re: reduire la tableau, mettre à jour openoffice

                            Posté par  . Évalué à 2.

                            je ne reinstalles pas, je fais lance le programme do-release-upgrade fournit par le paquet "update-manager"
                            qui detecte la nouvelle version disponible.

                            si tu es en LTS tu passes alors d'une LTS à l'autre (tous les 2 ans)
                            si tu es en release ordinaire, tu changes tous les 6 mois (avril et octobre)

                            mon partitionnement est basiquement / et swap

  • # utiliser les outils appropriés

    Posté par  (site web personnel) . Évalué à 4.

    lorsque je copie un formule sur toute les lignes

    pourquoi ne pas utiliser gawk, ou perl, ou python, ou R-Project ou tout autre langage permettant de traiter des calculs en masse de manière efficace ? Tu n'es pas encore sur du Big Data… mais bon autant utiliser des outils appropriés, même si LibreOffice te permettrait de monter jusqu'à 1 M de lignes.

    Par ailleurs, LibreOffice est sorti depuis 2010 et a été adopté par toutes les distributions dans la foulée (go-ooo auparavant) et le tableur Calc a fait l'objet d'amélioration significatives, notamment pour le calcul des formules (il y avait eu une présentation au Fosdem il y a 3-4 ans iirc).

  • # Le calcul, ça prend... du temps de calcul

    Posté par  . Évalué à 2.

    Il y a plusieurs aspects à ton problème. Le premier est l'incertitude sur le logiciel et la version utilisée ; si c'est vraiment OpenOffice, il est relativement obsolète.

    Le deuxième aspect, c'est l'absence de parallélisation. Apparemment, le logiciel n'utilise qu'un seul cœur, ce qui fait que le calcul dure plus longtemps que s'il utilisait plusieurs cœurs. C'est peut-être lié au premier point (logiciel ancien?).

    Le dernier aspect, c'est que tu demandes de faire 200K calculs, et que ça peut prendre du temps. Si c'est juste des additions, ça peut aller vite, mais si c'est une routine numérique (par exemple si tu intègres numériquement une fonction de 0 à x pour 200K x), bah c'est lourd, et ça demande du temps de calcul. Les ordinateurs sont rapides, mais quand même… Si c'est là ton problème (calculs trop lourds pour un tableur), il faut probablement changer de logiciel et passer à un outil adapté.

  • # Le bon outils

    Posté par  . Évalué à 1.

    @BAud @arnaudus

    Je vous remercie tous les deux
    Effectivement Je suis conscient que l'outils est limite pour ce volume,
    Mais ce sont des taches ponctuels, avec du calcul très simple (si((col1=1)et(col2=0);"ok",""))

    Donc le coté ponctuel me fait toujours penser que dev un script pour ca est pas le plus rapide
    et la simplicité du calcul me font penser que le pc peux l'encaisser.

    Sachant que les données sont de base en mysql, je pourrais passer en php.

    • [^] # Re: Le bon outils

      Posté par  . Évalué à 1.

      Sachant que les données sont de base en mysql, je pourrais passer en php.

      Pourquoi pas tout simplement quelque chose comme ça :

      SELECT col1, col2, col = 1 AND col2 = 0 FROM table
      • [^] # Re: Le bon outils

        Posté par  (Mastodon) . Évalué à 3.

        Je pronostique entre instantané et immédiat le résultat d'une telle requête, et ce quel que soit le CPU de ta machine :)

        En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.

        • [^] # Re: Le bon outils

          Posté par  . Évalué à 1.

          Je suis d'accord, mais quand je collais la formule sur 50K ligne, ca partait dans un calcul pendant 10min avec le cpu à 100%.

          Avec le passage en LO v5 ca parait bon.

          Merci à tous

      • [^] # Re: Le bon outils

        Posté par  . Évalué à 1.

        C'était juste un exemple de calcul.
        Sachant que je vais faire un ensemble de calcul

    • [^] # Re: Le bon outils

      Posté par  . Évalué à 1. Dernière modification le 21 novembre 2017 à 11:46.

      ** commentaire redondant, pas rafraîchie la page **

  • # Hello

    Posté par  . Évalué à 3.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.