Τι θα λέγατε αν σας έλεγα ότι έχετε τα εργαλεία που έχετε στη διάθεσή σας για να κάνετε πρωτοποριακή, τερατώδη έρευνα; Λοιπόν, το κάνετε, και θα σας δείξω πώς.
Οι κυβερνήσεις, τα ακαδημαϊκά ιδρύματα και οι μη κερδοσκοπικοί ερευνητικοί οργανισμοί δημοσιεύουν πίνακες γεμάτοι από δεδομένα στο δημόσιο τομέα. Χωρίς κανέναν που χρησιμοποιεί αυτές τις πληροφορίες, η πραγματική του αξία δεν θα είναι ποτέ γνωστή. Δυστυχώς, λίγοι άνθρωποι έχουν τη διορατικότητα, τις δεξιότητες ή τα εργαλεία για να πάρουν τα δεδομένα και να κάνουν ενδιαφέροντες συσχετισμούς μεταξύ φαινομενικά άσχετων πληροφοριών.
Ιστορικό
Πολλές από τις έρευνες που κάνω για το δικό μου blog περιλαμβάνουν το σκάψιμο μέσα από αυτό που είναι γνωστό ως ο αόρατος ιστός 10 Μηχανές αναζήτησης για να εξερευνήσετε τον αόρατο ιστό 10 Μηχανές αναζήτησης για να εξερευνήσετε τον αόρατο ιστό Γνωρίζουμε τον ιστό. Αλλά ξέρατε ότι υπάρχει μια τεράστια μνήμη πληροφοριών που οι μηχανές αναζήτησης όπως η Google δεν έχουν άμεση πρόσβαση; Αυτός είναι ο αόρατος ιστός. Διαβάστε περισσότερα για να αποκαλύψετε δεδομένα που έχουν κυκλοφορήσει στο κοινό, αλλά κρυμμένα από τις μηχανές αναζήτησης Οι 5 πιο προηγμένες μηχανές αναζήτησης στον ιστό Οι 5 πιο προηγμένες μηχανές αναζήτησης στον ιστό Διαβάστε περισσότερα σε μια ηλεκτρονική βάση δεδομένων. Αυτό είναι το βαθύ web TorSearch Στόχος να είναι η Google για το Deep Web TorSearch Στόχος να είναι η Google για το Deep Web Tor είναι μια κρυφή υπηρεσία και μέρος του Deep Web. Το TorSearch είναι μια νέα ανώνυμη μηχανή αναζήτησης που ο ιδρυτής της Chris MacNaughton θέλει να κάνει το "Google of Tor". Διαβάστε περισσότερα, και είναι γεμάτο με πολύτιμα δεδομένα. Πολύ συχνά, έρχομαι σε ιστοσελίδες απλώς γεμάτες με μερικά από τα πιο πολύτιμα δεδομένα σχετικά με θέματα που τρέχουν το φάσμα από τα δεδομένα απογραφής σε επιδημιολογικές μελέτες για τις σπάνιες ασθένειες. Έχω συνεχώς νέες ιδέες για το πώς να δοκιμάζω και να συσχετίζω αυτές τις διαφορετικές πηγές δεδομένων χρησιμοποιώντας διάφορα εργαλεία - και ένα από τα πιο πολύτιμα εργαλεία που έχω βρει είναι το Web Query μέσα στο Microsoft Excel.
Εύρεση ενδιαφερόντων συσχετίσεων δεδομένων
Αυτό που θα σας παρουσιάσω σήμερα είναι ένα παράδειγμα του τρόπου με τον οποίο μπορείτε να χρησιμοποιήσετε τα Excel Web Queries για να τραβήξετε δεδομένα από διαφορετικούς ιστότοπους και να τα καταγράψετε μεταξύ τους για να αναζητήσετε πιθανές συσχετίσεις μεταξύ των δεδομένων.
Ο τρόπος για να ξεκινήσετε μια άσκηση όπως αυτή είναι να καταλήξουμε σε μια ενδιαφέρουσα υπόθεση. Για παράδειγμα - για να κρατήσουμε τα πράγματα ενδιαφέροντα εδώ - πρόκειται να υποθέσω τυχαία ότι τα υψηλά ποσοστά αυτισμού στις Ηνωμένες Πολιτείες προκαλούνται είτε από τον εμβολιασμό εμβολίων είτε από την αυξανόμενη παρουσία ηλεκτρομαγνητικών πεδίων μέσα και γύρω από τα παιδιά, όπως τα κινητά τηλέφωνα. Είναι μια τρελή υπόθεση όπως η οποία θα βρείτε στις περισσότερες ιστοσελίδες θεωρίας συνωμοσίας, αλλά αυτό κάνει αυτό το διασκεδαστικό. Ας ξεκινήσουμε, λοιπόν;
Αρχικά, ανοίξτε το Excel, μεταβείτε στο στοιχείο μενού δεδομένων και βρείτε το εικονίδιο "Από το Web" στην κορδέλα μενού.
Αυτό θα χρησιμοποιήσετε για να εισαγάγετε τους διαφορετικούς πίνακες δεδομένων από τον πολυάριθμο ιστότοπο εκεί έξω που τα δημοσίευσε.
Εισαγωγή δεδομένων Web στο Excel
Έτσι, στις παλιές μέρες θα πρέπει να προσπαθήσετε να αντιγράψετε τα δεδομένα από αυτό το τραπέζι σε μια ιστοσελίδα, να τα επικολλήσετε στο Excel και στη συνέχεια να ασχοληθείτε με όλα τα τρελά ζητήματα μορφοποίησης που εμπλέκονται σε αυτό. Συνολικά ταλαιπωρία, και πολλές φορές δεν αξίζει τον πονοκέφαλο. Λοιπόν, με τα Excel Web Queries, αυτές οι μέρες έχουν φύγει. Φυσικά, προτού μπορέσετε να εισαγάγετε τα δεδομένα, θα χρειαστεί να επισκεφθείτε το Google τον τρόπο σας γύρω από τον Ιστό για να βρείτε τα δεδομένα που χρειάζεστε σε μορφή πίνακα. Στην περίπτωσή μου, βρήκα έναν ιστότοπο που δημοσίευσε τις στατιστικές του Υπουργείου Παιδείας για τον αριθμό των Αμερικανών φοιτητών δημοσίων σχολείων που αναγνωρίστηκαν ως έχοντες αυτισμό. Ένα ωραίο τραπέζι έδωσε αριθμούς από το 1994 μέχρι το 2006.
Απλώς κάντε κλικ στο "Από το Web", επικολλήστε τη διεύθυνση URL της ιστοσελίδας στο πεδίο διεύθυνσης ερώτησης και, στη συνέχεια, μετακινηθείτε προς τα κάτω στη σελίδα μέχρι να δείτε το κίτρινο βέλος δίπλα στον πίνακα με τα δεδομένα που θέλετε να εισαγάγετε.
Κάντε κλικ στο βέλος για να γίνει ένα πράσινο σημάδι επιλογής.
Τέλος, πείτε στο Excel ποιο πεδίο θέλετε να επικολλήσετε τα δεδομένα πίνακα μέσα στο νέο σας υπολογιστικό φύλλο.
Στη συνέχεια - Voila! Τα δεδομένα μεταφέρονται αυτόματα στο υπολογιστικό φύλλο σας.
Έτσι, με μια τάση των ποσοστών δημοσίων σχολείων αυτισμού από το 1996 έως το 2006 στη θέση του, ήρθε η ώρα να βγούμε σε αναζήτηση εμβολιασμού και τις τάσεις χρήσης κινητού τηλεφώνου επίσης.
Ευτυχώς, βρήκα γρήγορα τάσεις για τους συνδρομητές κινητής τηλεφωνίας στις ΗΠΑ από το 1985 έως το 2012. Εξαιρετικά στοιχεία για τη συγκεκριμένη μελέτη. Και πάλι, χρησιμοποίησα το εργαλείο Excel Web Query για να εισάγω αυτόν τον πίνακα.
Εισήγαγα αυτόν τον πίνακα σε ένα καθαρό και νέο φύλλο. Στη συνέχεια, ανακάλυψα τις τάσεις εμβολιασμού για το ποσοστό των μαθητών που εμβολιάστηκαν για διάφορες ασθένειες. Εισήγαγα αυτόν τον πίνακα χρησιμοποιώντας το εργαλείο ερωτήματος Web σε ένα τρίτο φύλλο. Έτσι, τελικά, είχα τρία φύλλα με τα τρία τραπέζια γεμάτα με τα φαινομενικά άσχετα δεδομένα που είχα ανακαλύψει στον Ιστό.
Το επόμενο βήμα είναι να χρησιμοποιήσετε το Excel για να αναλύσετε τα δεδομένα και να προσπαθήσετε να εντοπίσετε τυχόν συσχετισμούς. Εκεί βρίσκεται στο παιχνίδι ένα από τα αγαπημένα μου εργαλεία ανάλυσης δεδομένων - ο Συγκεντρωτικός Πίνακας.
Αναλύοντας τα δεδομένα στο Excel με το Συγκεντρωτικό Πίνακα
Είναι καλύτερο να δημιουργήσετε τον Συγκεντρωτικό σας Πίνακα σε ένα ολοκαίνουργιο, άδειο φύλλο. Θέλετε να χρησιμοποιήσετε τον οδηγό για αυτό που πρόκειται να κάνετε. Για να ενεργοποιήσετε τον οδηγό Συγκεντρωτικού Πίνακα στο Excel, πρέπει να πατήσετε ταυτόχρονα Alt-D μέχρι να εμφανιστεί ένα παράθυρο ειδοποίησης. Στη συνέχεια αφήστε τα κουμπιά αυτά και πατήστε το πλήκτρο "P". Στη συνέχεια, θα εμφανιστεί ο οδηγός που εμφανίζεται.
Στο πρώτο παράθυρο του οδηγού, θέλετε να επιλέξετε "Περιοχές πολλαπλής ενοποίησης", που σας επιτρέπουν να επιλέξετε τα δεδομένα από όλα τα φύλλα που έχετε εισάγει. Κάνοντας αυτό, μπορείτε να εδραιώσετε όλα αυτά τα φαινομενικά άσχετα δεδομένα σε ένα, ισχυρότατο περιστρεφόμενο. Σε ορισμένες περιπτώσεις, ίσως χρειαστεί να κάνετε μασάζ μερικά από τα δεδομένα. Για παράδειγμα, έπρεπε να διορθώσω το πεδίο "Έτος" στο τραπέζι του αυτισμού, ώστε να δείξει "1994" αντί "1994-95" - να το κατατάξει καλύτερα με τους πίνακες των άλλων φύλλων, πεδίο.
Αυτό το κοινό πεδίο μεταξύ των δεδομένων είναι αυτό που χρειάζεστε για να δοκιμάσετε και να συσχετίσετε πληροφορίες, γι 'αυτό κρατήστε αυτό υπόψη κατά το κυνήγι του Ιστού για τα δεδομένα σας.
Μόλις ολοκληρωθεί ο Συγκεντρωτικός Πίνακας και έχετε όλες τις διαφορετικές τιμές δεδομένων που εμφανίζονται σε ένα τραπέζι, ήρθε η ώρα να κάνετε μια οπτική ανάλυση για να διαπιστώσετε εάν υπάρχει κάποια προφανής σύνδεση που θα περάσει σε σας.
Η απεικόνιση δεδομένων είναι το κλειδί
Έχοντας μια δέσμη αριθμών σε ένα τραπέζι είναι μεγάλη, αν είστε οικονομολόγος, αλλά ο γρηγορότερος και ευκολότερος τρόπος να έχετε αυτή τη στιγμή "aha!" Όταν προσπαθείτε να βρείτε συνδέσεις όπως μια βελόνα σε ένα άχυρα, είναι μέσω διαγραμμάτων και γραφικές παραστάσεις. Μόλις τοποθετήσετε τον Συγκεντρωτικό σας Πίνακα με όλα τα σύνολα δεδομένων που έχετε συλλέξει, ήρθε η ώρα να δημιουργήσετε το γράφημά σας. Συνήθως ένα γραμμικό γράφημα θα κάνει τα καλύτερα, αλλά εξαρτάται από τα δεδομένα. Υπάρχουν στιγμές που ένα διάγραμμα ράβδων λειτουργεί πολύ καλύτερα. Προσπαθήστε να καταλάβετε τι είδους δεδομένα κοιτάτε και ποιες συγκρίσεις μορφών λειτουργούν καλύτερα.
Σε αυτήν την περίπτωση, ψάχνω τα δεδομένα με την πάροδο του χρόνου, οπότε ένα γραμμικό γράφημα είναι πραγματικά ο καλύτερος τρόπος για να δείτε τις τάσεις τα τελευταία χρόνια. Η καταγραφή των ποσοστών αυτισμού (πράσινο) σε σχέση με τα ποσοστά εμβολιασμού (σκούρο μπλε), τα εμβόλια κοτόπουλου (γαλάζια) και η χρήση κινητού τηλεφώνου (μωβ), εμφανίστηκε ξαφνικά σε αυτή τη δειγματοληπτική σειρά δεδομένων με την οποία παίζαμε.
Παραδόξως, η τάση χρήσης των κινητών τηλεφώνων από το 1994 έως το 2006 αντιστοιχούσε σχεδόν τέλεια στην άνοδο των ποσοστών αυτισμού κατά την ίδια χρονική περίοδο. Αν και το πρότυπο ήταν εντελώς απροσδόκητο, είναι ένα τέλειο παράδειγμα του τρόπου με τον οποίο ο συνδυασμός ενδιαφερόντων δεδομένων μπορεί να αποκαλύψει συναρπαστικούς οδηγούς - παρέχοντάς σας μεγαλύτερη γνώση και κίνητρο για να συνεχίσετε να προωθούμε και να αναζητήσετε περισσότερα δεδομένα που μπορεί να ενισχύσουν περαιτέρω την υπόθεσή σας.
Μια τέτοια συσχέτιση δεν αποδεικνύει τίποτα. Υπάρχουν πολλές τάσεις που αυξάνονται με την πάροδο του χρόνου - το πρότυπο μπορεί να είναι σύμπτωση, αλλά θα μπορούσε επίσης να αποτελέσει σημαντική ένδειξη στην συνεχιζόμενη αναζήτηση για περισσότερα δεδομένα στο Διαδίκτυο. Ευτυχώς, έχετε ένα ισχυρό εργαλείο που ονομάζεται Excel Web Queries που θα κάνει αυτή την αναζήτηση λίγο πιο εύκολη.
Φωτογραφία Πιστωτική: Kevin Dooley μέσω photopin cc