Το Excel είναι εξαιρετικό σε τόσα καθημερινά καθήκοντα. Αλλά κάθε μέρα, αντιμετωπίζετε μία από τις ελλείψεις της: το μέγεθος ενός υπολογιστικού φύλλου. Αν πρέπει να ξέρετε πώς να κάνετε μικρότερο υπολογιστικό φύλλο Excel ή πώς να διαιρέσετε ένα μεγάλο CSV, σας καλύπτουμε.
Το χτύπημα του ορίου του φύλλου υπολογιστικών φύλλων είναι ένα πολύ σοβαρό καθήκον από μόνο του. Το τρέχον όριο σειράς υπολογιστικών φύλλων του Excel είναι 1.048.576. Αυτό είναι σωστό - πάνω από 1 εκατομμύριο σειρές, και το ίδιο ποσό των στηλών, πάρα πολύ.
Αλλά χτυπώντας αυτό το όριο σειρά είναι πραγματικά απίστευτα εύκολο, κατά τη διάρκεια ορισμένων εργασιών. Εάν διαφημίζετε μέσω ηλεκτρονικού ταχυδρομείου, μπορείτε να εισαγάγετε ένα αρχείο CSV Πώς να εισαγάγετε δεδομένα σε υπολογιστικά φύλλα του Excel τον Τακτοποιημένο και Εύκολο Τρόπο Πώς να εισαγάγετε δεδομένα σε υπολογιστικά φύλλα του Excel τον τακτοποιημένο και εύκολο τρόπο Έχετε ποτέ αγωνιστεί με την εισαγωγή ή την εξαγωγή δεδομένων σε ένα υπολογιστικό φύλλο; Αυτό το σεμινάριο θα σας βοηθήσει να μάθετε την τέχνη της μεταφοράς δεδομένων μεταξύ Microsoft Excel, CSV, HTML και άλλων μορφών αρχείων. Διαβάστε περισσότερα που περιέχουν εκατομμύρια διευθύνσεις ηλεκτρονικού ταχυδρομείου. Το μόνο πρόβλημα είναι πώς διαχειρίζεστε πραγματικά ένα υπολογιστικό φύλλο με πολλές διευθύνσεις; Επιπλέον, τι γίνεται αν κάποιος σας στέλνει ένα CSV που βρίσκεται ήδη πάνω από το όριο (από άλλο πρόγραμμα);
Λοιπόν, θα σας δείξω πώς να σπάσετε αυτό το τεράστιο CSV σε εύκολα διαχειρίσιμα κομμάτια.
(Δεν έχετε μεγάλο CSV εύχρηστο; Υπάρχουν αρκετά αρκετά μεγάλα σύνολα δεδομένων CSV διαθέσιμα 15 Μαζικές Βάσεις Δεδομένων Online θα πρέπει να γνωρίζετε περίπου 15 μεγάλες βάσεις δεδομένων σε απευθείας σύνδεση πρέπει να ξέρετε για το Internet έγγραφα όλα. Είναι online ερωτοπαιδαιμίες ή βάσεις δεδομένων - το ερώτημα είναι, γνωρίζετε για τους καλύτερους; Διαβάστε περισσότερα στο data.gov, πρόκειται να χρησιμοποιήσω τη λίστα σύγκρισης νοσοκομείων 260.000 σειρών, ώστε να μπορείτε να χρησιμοποιήσετε το ίδιο αρχείο.)
1. Χρησιμοποιήστε ένα Πρόγραμμα
Υπάρχουν πολλά χρήσιμα προγράμματα splitter CSV εκεί έξω. Θα σας δείξω δύο από τα καλύτερα.
CSV Chunker
Το CSV Chunker είναι ένας διαχωριστής CSV ανοιχτού κώδικα. Μπορεί να χειριστεί μαζικά αρχεία, γρήγορα τα χωρίζει σε κομμάτια της επιλογής σας. Χρειάστηκαν περίπου 3 δευτερόλεπτα για να χωρίσουμε το Νοσοκομείο μας Συγκρίνετε CSV σε 106 κομμάτια, που περιέχουν 2.500 σειρές το καθένα.
CSV Splitter
Ο CSV Splitter είναι το δεύτερο εργαλείο μας. Προσφέρει σχεδόν την ίδια λειτουργικότητα του CSV Chunker, αν και με ελαφρώς πιο κομψή σχεδίαση. Το CSV Splitter χρειάστηκε περίπου 4 δευτερόλεπτα για να χωρίσει το νοσοκομείο μας Συγκρίνετε CSV σε 106, και πάλι περιέχει 2.500 σειρές το καθένα.
2. Χρησιμοποιήστε ένα αρχείο παρτίδας
Στη συνέχεια, ένα προγραμματιζόμενο αρχείο δέσμης Πώς να γράψετε ένα αρχείο απλής παρτίδας (BAT) Πώς να γράψετε αρχεία Batch αρχείων απλής δέσμης (BAT) Μπορείτε να αυτοματοποιήσετε καθημερινές εργασίες υπολογιστή. Θα σας δείξουμε πώς τα αρχεία παρτίδας λειτουργούν και σας διδάσκουν τα βασικά. Μέχρι το τέλος αυτού του άρθρου, θα έχετε γράψει το πρώτο αρχείο δέσμης. Διαβάστε περισσότερα . Μπορούμε να χρησιμοποιήσουμε ένα αρχείο δέσμης για να επεξεργαστούμε το CSV σε μικρότερα κομμάτια, προσαρμόζοντας το αρχείο ώστε να παραδίδει διαφορετικά κομμάτια.
Ανοίξτε ένα νέο έγγραφο κειμένου. Αντιγράψτε και επικολλήστε τα εξής:
@echo off setlocal ENABLEDELAYEDEXPANSION REM Επεξεργαστείτε αυτήν την τιμή για να αλλάξετε το όνομα του αρχείου που χρειάζεται διαίρεση. Συμπεριλάβετε την επέκταση. SET BFN = HCAHPSHospital.csv REM Επεξεργαστείτε αυτήν την τιμή για να αλλάξετε τον αριθμό γραμμών ανά αρχείο. SET LPF = 2500 REM Επεξεργαστείτε αυτήν την τιμή για να αλλάξετε το όνομα κάθε μικρού αρχείου. Θα ακολουθείται από έναν αριθμό που υποδεικνύει πού βρίσκεται στη λίστα. SET SFN = HosptialSplitFile REM Μην αλλάξετε πέρα από αυτή τη γραμμή. (SET / A LineNum + = 1 echo %%) Για να αποκαταστήσετε την τιμή του στοιχείου, πληκτρολογήστε το όνομα του στοιχείου. l >>% SFN%! FileNum!.% SFX% if! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)
Θα χρειαστεί να διαμορφώσετε το αρχείο δέσμης πριν από την εκτέλεση. Θα σας πω τι κάνει κάθε εντολή και μπορείτε να την αλλάξετε ώστε να ταιριάζει με το μέγεθος του αρχείου δέσμης, καθώς και την απαιτούμενη έξοδο.
- "SET BFN =" θα πρέπει να δείχνει στο CSV που πρέπει να καταρρεύσει
- " SET LPF =" είναι ο αριθμός των γραμμών που θέλετε να περιορίσετε το νέο αρχείο σας
- "SET SFN =" είναι το νέο σχήμα ονομασίας για τα αρχεία κατανομής
Μόλις καταχωρίσετε τις μεταβλητές σας, πηγαίνετε στο Αρχείο> Αποθήκευση ως. Επιλέξτε το όνομα αρχείου και επιλέξτε Αποθήκευση. Στη συνέχεια, επιλέξτε το πρόσφατα αποθηκευμένο αρχείο κειμένου και πατήστε F2 για να το μετονομάσετε. Αντικαταστήστε την επέκταση TXT με BAT και πατήστε OK όταν εμφανιστεί η προειδοποίηση. Τώρα μπορείτε να χωρίσετε το μεγάλο σας CSV!
Σας προειδοποιώ όμως, αυτή η μέθοδος χρειάζεται κάποιο χρόνο. Ίσως είστε καλύτερα χρησιμοποιώντας έναν από τους προαναφερθέντες διαχωριστές.
Το αρχικό σενάριο και το νήμα μπορούν να βρεθούν εδώ.
3. Χρησιμοποιήστε ένα PowerShell Script
Τα αρχεία δέσμης είναι χρήσιμα. Μπορείτε να τα χρησιμοποιήσετε για ένα ευρύ φάσμα καθημερινών εργασιών. Ωστόσο, τα σενάρια PowerShell είναι ταχύτερα, ειδικά για αυτόν τον τύπο επεξεργασίας και διαίρεσης.
Το παρακάτω σενάριο θα μειώσει γρήγορα το μεγάλο CSV σε μικρότερα αρχεία. Και πάλι, έχω χρησιμοποιήσει το Νοσοκομείο σύγκρισης CSV για το παράδειγμά μου. Χρειάστηκαν περίπου 3 δευτερόλεπτα για την εκτέλεση της εντολής. Ανοίξτε το ISE Windows PowerShell. Εάν δεν είστε σίγουροι για το πώς να το κάνετε αυτό, πληκτρολογήστε powershell ise στην αναζήτηση μενού Start και επιλέξτε την αντίστοιχη επιλογή. Όταν το PowerShell ISE είναι ανοιχτό, επιλέξτε το βέλος Show Script, το οποίο βρίσκεται στην επάνω δεξιά γωνία (σκιαγραφείται με κόκκινο χρώμα στην παρακάτω εικόνα).
Αντιγράψτε και επικολλήστε την ακόλουθη εντολή στον πίνακα δέσμης ενεργειών, στην κορυφή της οθόνης σας.
$ i = 0; Λήψη περιεχομένου C: \ Users \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % {$ i ++; $ _ | Out-αρχείο C: \ Χρήστες \ Gavin \ Downloads \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv} Πρώτον, πρέπει να αλλάξετε τη θέση του αρχείου εισόδου. Δεύτερον, πρέπει να καθορίσετε πόσες σειρές θα πρέπει να περιέχουν τα αρχεία εξόδου σας. Τέλος, καθορίστε την τοποθεσία του αρχείου εξόδου. Έχω αφήσει τα μονοπάτια αρχείων μου εκεί για να επεξηγήσω την κατάσταση. Επιπλέον, το όνομα αρχείου εξόδου σας πρέπει να έχει το κατάληλο "_ $ i.csv" που ταιριάζει με το δικό μου. Διαφορετικά, τα αρχεία εξόδου δεν θα είναι σωστά αριθμημένα.
Όταν επεξεργαστείτε το αρχείο με τα δικά σας δεδομένα, πατήστε CTRL + S για να αποθηκεύσετε τη δέσμη ενεργειών.
Το αρχικό σενάριο μπορεί να βρεθεί εδώ.
4. Τοποθετήστε το σε ένα μοντέλο δεδομένων
Η τελική μας λύση δεν είναι η διαίρεση του μεγάλου CSV σε μικρότερα τμήματα. Βλέπετε, ο Jose Barreto, μέλος της ομάδας OneDrive, παρουσίασε πρόσφατα πώς ακριβώς μπορείτε να φορτώσετε ένα μεγάλο αρχείο CSV στο Excel. Στην περίπτωση αυτή, μεγάλα μέσα πάνω από το όριο των 1, 048, 567 σειρών. Εξηγεί σε ένα σεμινάριο ότι αντί να φορτώσει πραγματικά το αρχείο, το Excel 2016 μπορεί να δημιουργήσει μια σύνδεση δεδομένων στο αρχείο CSV.
Τα δεδομένα από τον αρχικό CSV θα είναι διαθέσιμα στο χρήστη μέσα σε ένα μοντέλο δεδομένων. Η Barreto δημιούργησε ένα Pivot Table χρησιμοποιώντας "έως και 8, 5 εκατομμύρια γραμμές χωρίς πρόβλημα". Η παραπάνω εικόνα προέρχεται από το blog post της Barreto (συνδέεται παρακάτω), που δείχνει συνολικά 2 εκατομμύρια γραμμές στο Excel. (Μάθετε πώς μπορείτε να χρησιμοποιήσετε έναν πίνακα περιστροφής για ανάλυση δεδομένων Πώς να χρησιμοποιήσετε έναν πίνακα περιστροφής του Excel για ανάλυση δεδομένων Πώς να χρησιμοποιήσετε έναν πίνακα περιστροφής του Excel για ανάλυση δεδομένων Ο πίνακας περιστροφής είναι ένα από τα πιο ισχυρά εργαλεία του ρεπερτορίου του Excel 2013. που χρησιμοποιούνται συχνά για ανάλυση μεγάλων δεδομένων. Ακολουθήστε την επίδειξη βήμα προς βήμα για να μάθετε τα πάντα για αυτό.
Αν αυτή είναι η λύση που σας ταιριάζει, ακολουθήστε το λεπτομερές σεμινάριο του Jose Barreto εδώ. Θυμηθείτε ότι αυτό δεν χωρίζει το CSV αλλά σημαίνει ότι μπορείτε να χειριστείτε τα δεδομένα σας μέσα σε συγκεκριμένα εργαλεία του Excel Πώς να οπτικοποιήσετε την ανάλυση δεδομένων σας με τα εργαλεία του Excel Πώς να απεικονίσετε την ανάλυση δεδομένων σας με τα εργαλεία του Excel Το Excel σκοτώνει το με τα προηγμένα χαρακτηριστικά διαχείρισης δεδομένων. Αφού χρησιμοποιήσετε ένα από τα νέα εργαλεία, θα τα θελήσετε όλοι. Γίνετε κύριος της ανάλυσης δεδομένων σας με ηλεκτρικά εργαλεία! Διαβάστε περισσότερα . Εάν έχετε πρόσβαση στα δεδομένα σας για να αλληλεπιδράσετε άμεσα με αυτό, αξίζει να το δοκιμάσετε.
Σπάστε το!
Έχουμε αναφέρει τέσσερις λύσεις για την κατανομή των τεράστιων αρχείων CSV, συμπεριλαμβανομένων δύο διαφορετικών εργαλείων.
Από τις τέσσερις λύσεις, το αρχείο παρτίδας είναι ίσως το πιο αργό 5 Λόγοι που πρέπει να χρησιμοποιήσετε PowerShell Αντί δέσμης ενεργειών Scripting 5 λόγοι που πρέπει να χρησιμοποιήσετε PowerShell Αντί δέσμης ενεργειών Scripting PowerShell είναι αυτό που θα έχετε αν έχετε περάσει από τη γραμμή εντολών με Batch Scripting, σε μερικά επιπλέον χαρακτηριστικά, και κλώτσησε όλα τα πολλά κομμάτια. Ακολουθούν αρκετοί λόγοι για να το δοκιμάσετε. Διαβάστε περισσότερα . Το σενάριο PowerShell είναι γρήγορο και εύκολα προσαρμόσιμο, ενώ οι δύο εφαρμογές είναι απλές για χρήση από το κουτί. Τέλος, μπορείτε να εισαγάγετε απευθείας τα δεδομένα σας στο Excel, από τα εκατομμύρια των σειρών.
Ποια μέθοδος επιλέγετε; Και έχετε άλλες συμβουλές; Παρακαλώ μοιραστείτε μαζί μας στα σχόλια!
Πιστωτική εικόνα: lucadp / Depositphotos