Comment j`importer internet les observations de ufo données dans une feuille de calcul google

En ce qui concerne les bases de données en ligne et des informations qui peuvent être trouvés à l`intérieur ce qui est communément connu sous le nom «Web invisible

« Je ne suis pas votre utilisateur typique. Bien sûr, je passe un peu trop de mon temps passant au crible les bases de données en ligne dans des endroits comme les Archives nationales et la CIA FOIA salle de lecture, mais je dois dire que rien ne me rend plus heureux que lorsque je trouve une table à base de HTML remplie de volumes des données apparemment complexes et non connectés.10 moteurs de recherche à explorer le Web Invisible10 moteurs de recherche à explorer le Web InvisibleNon, ce n`est pas le dernier outil de élingage Web de Spiderman, mais quelque chose qui est plus réel. Tout comme le World Wide Web.Lire la suite

Le fait est, tableaux de données sont une mine d`or des vérités importantes. Les données recueillies se souvent par des armées de grognements de collecte de données avec des bottes sur le terrain. Vous avez des gens du recensement américain voyageant ensemble du pays pour l`information des ménages et de la famille. Vous avez des groupes environnementaux sans but lucratif collecte toutes sortes d`informations intéressantes sur l`environnement, la pollution, le réchauffement climatique et plus encore. Et si vous êtes dans le paranormal ou ufologie, il y a aussi des tables constamment mises à jour des informations sur les observations d`objets étranges dans le ciel au-dessus de nous.

Ironie du sort, on pourrait penser que tout autre gouvernement dans le monde serait intéressé de savoir quel genre de métier étranger sont d`être repéré dans le ciel de tous les pays, mais apparemment pas - du moins pas aux États-Unis de toute façon. En Amérique, la collection d`observations inhabituelles de l`artisanat ont été relégués aux équipes d`amateurs amateurs qui se ruent à de nouvelles observations d`OVNI comme une flamme à mites. Mon intérêt pour ces observations découle en fait pas d`une fascination pour les étrangers ou de l`artisanat d`autres planètes, mais d`une fascination scientifique avec des motifs - où et pourquoi plus de gens voient des choses dans le ciel, et que ces observations pourraient refléter quelque chose de très réel et beaucoup plus bas à la Terre passe réellement.

Pour explorer les volumes de données recueillies par les équipes de UFO amateurs, je l`ai fait développé un moyen d`importer de grandes tables HTML de données dans une feuille de calcul Google, puis de manipuler et d`analyser ces données pour extraire et découvrir des informations utiles et importantes. Dans cet article, je me propose de vous montrer comment faire la même chose.

Les données HTML importantes dans Google Tableur

Dans cet exemple, je vais vous montrer comment importer des données qui pourraient être stockées dans une table sur un site Web sur Internet, dans votre feuille de calcul Google. Pensez à l`énorme volume de données qui est disponible sur l`Internet aujourd`hui sous forme de tableaux HTML. Wikipedia seul a des données dans des tables pour des sujets tels que le réchauffement climatique, le Bureau du recensement américain a des tonnes de jeux de données de la population, et un peu de recherche sur Google vous débarquera beaucoup plus au-delà.

Dans mon exemple, je commence avec une base de données sur le National UFO Reporting Center qui ressemble vraiment à ce pourrait être une base de données web profonde de style de requête, mais si vous observez la structuration d`URL, il est en fait un Web- semi-complexe système de reporting basé composé de pages Web statiques et des tables HTML statiques - exactement ce que nous voulons quand la recherche de données à importer.

NUForc.org est l`une de ces organisations qui sert comme l`un des plus grands centres d`information pour les observations d`OVNI. Il n`est pas le seul, mais il est assez grand pour trouver de nouveaux ensembles de données avec les observations actuelles pour chaque mois. Vous choisissez d`afficher les données triées par des critères tels que l`État ou la date, et chacun de ceux-ci est fourni sous la forme d`une page statique. Si vous triez par date, puis cliquez sur la date la plus récente, vous verrez que le tableau ci il y a une page Web statique nommé selon le format de la date.

Donc, nous avons maintenant un modèle pour extraire régulièrement les dernières informations sur les observations de cette base de données HTML. Tout ce que vous avez à faire est d`importer la première table, utilisez la plus récente entrée (du haut) pour identifier la dernière mise à jour, puis utiliser la date de cette publication pour construire le lien URL où la dernière table de données HTML existe. Faire cela simplement besoin d`un ou deux cas de la fonction IMPORTHTML, puis quelques utilisations créatives des fonctions de manipulation de texte. Lorsque vous avez terminé, vous aurez un des plus cool, des feuilles de calcul de rapports auto-mise à jour de votre propre. Commençons.

Tableaux Importation et manipulation de données

La première étape, bien sûr, est de créer la nouvelle feuille de calcul.

Alors, comment voulez-vous importer des tables HTML? Tout ce que vous avez besoin est l`URL où la table est stockée, et le numéro du tableau de la page - habituellement une première énuméré est 1, le second est 2, et ainsi de suite. Depuis que je connais l`URL de cette première date liste tableau et compte des observations énumérées, il est possible d`importer en tapant la fonction suivante dans la cellule A1.

Video: Google Sheets : Protéger une feuille ou une plage de cellule

= ImportHtml ( « http://nuforc.org/webreports/ndxpost.html? »&H2, » table », 1)

H2 détient la fonction «= Heure (maintenant ())« , De sorte que la table se mettra à jour toutes les heures. Ceci est probablement extrême pour les données qui met à jour ce peu souvent, donc je pourrais probablement avec le faire tous les jours. Quoi qu`il en soit, la fonction IMPORTHTML ci-dessus apporte dans le tableau comme indiqué ci-dessous.

Vous aurez besoin de faire un peu de manipulation des données sur cette page avant de pouvoir rassembler l`URL pour la deuxième table avec toutes les observations d`OVNI. Mais aller de l`avant et de créer la deuxième feuille sur le classeur.

Avant d`essayer de construire cette deuxième feuille, il est temps d`extraire la date de publication de cette première table, afin de construire le lien vers la deuxième table. Le problème est que la date est introduit comme un format de date, pas une chaîne. Donc, vous devez d`abord utiliser la fonction TEXT pour convertir la date de publication du rapport dans une chaîne:

Video: 05. Google Sheets - Importer des données

= Text (A2, » mm / jj / aa »)

Dans la cellule suivante à droite, vous devez utiliser la fonction SPLIT avec le séparateur « / » pour briser la date jusqu`à en mois, le jour et l`année.

= Split (D2, »/ »)

Vous cherchez une bonne! Cependant, chaque numéro doit être forcé à deux chiffres. Vous faites cela dans les cellules juste en dessous de les utiliser à nouveau la commande TEXTE.

= Texte (E2, » 00")

Video: Comment Importer des Données avec Google Sheets

Un format de « 00 » (ce sont des zéros) force deux chiffres, ou un « 0 » comme un espace réservé.

Maintenant, vous êtes prêt à reconstruire l`URL complète à la dernière table HTML de nouvelles observations. Vous pouvez le faire en utilisant la fonction CONCATENER, et assemblant tous les bits d`information que vous venez d`extraire de la première table.

= Concaténer ( « http://nuforc.org/webreports/ndxp », G3, E3, F3, » .html »)

Maintenant, sur la nouvelle feuille créé ci-dessus (la feuille blanche), vous allez faire une nouvelle fonction « ImportHtml », mais cette fois pour le premier paramètre de lien URL, vous allez pour revenir à la première feuille de calcul et cliquez sur la cellule avec le lien URL que vous venez de créer.

Le deuxième paramètre est « table » et le dernier est « 1 » (car la table des observations est la première et seule sur la page). Appuyez sur Entrée, et maintenant vous venez d`importer la totalité du volume des observations qui ont été publiés sur cette date.

Alors, vous pensez probablement que c`est un acte de nouveauté agréable et tout - je veux dire, après tout, ce que vous avez fait est extrait des informations existantes à partir d`une table sur l`Internet et la migration vers une autre table, mais un privé dans votre compte Google Docs. Oui c`est vrai. Cependant, maintenant que ce soit dans votre propre compte privé Google Docs, vous avez à portée de main les outils et fonctions pour mieux analyser les données, et commencer à découvrir des connexions étonnantes.

Pivot à l`aide des rapports pour analyser les données importées

Tout récemment, je l`ai écrit un article sur l`utilisation Rapports de Pivot dans Google Tableur pour effectuer toutes sortes d`exploits d`analyse des données fraîches. Eh bien, vous pouvez faire les mêmes acrobaties d`analyse des données étonnantes sur les données que vous avez importé de l`Internet - vous donnant la possibilité de découvrir des connexions intéressantes que peut-être personne d`autre n`a découvert avant.Devenir un Overnight analyste de données expert à l`aide des outils Google Rapport de feuille de calculDevenir un Overnight analyste de données expert à l`aide des outils Google Rapport de feuille de calculSaviez-vous que l`un des plus grands outils de tous pour mener l`analyse des données est en fait Google Spreadsheet? La raison pour cela est non seulement parce qu`il peut faire presque tout ce que vous voudrez peut-être ...Lire la suite

Par exemple, à partir du tableau des observations finales, je pourrais décider d`utiliser un rapport de pivot pour jeter un coup d`oeil au nombre de différentes formes uniques déclarées dans chaque état, par rapport au nombre total d`observations dans cet état particulier. Enfin, je filtre également tout mentionner les « étrangers » dans la section des commentaires, de mauvaises herbes, espérons quelques-unes des entrées plus Wingnut.

Cela révèle en fait des choses assez intéressantes dès le départ, comme le fait que la Californie a clairement le plus grand nombre d`observations rapportées de tout autre Etat, ainsi que la distinction de rendre compte le plus grand nombre de formes d`artisanat dans le pays. Il montre également que le Massachusetts, la Floride et l`Illinois sont grosses pointures dans le département des observations d`OVNI et (au moins dans les données les plus récentes).

Une autre chose cool à propos de Google Spreadsheet est le large éventail de graphiques disponibles pour vous, y compris une Geo-Map qui vous permet de mettre en page les « points chauds » de données dans un format graphique qui se démarque vraiment et fait les connexions au sein des données tout à fait évident.

Si vous pensez à ce sujet, ce qui est vraiment que la pointe de l`iceberg. Si vous pouvez maintenant importer des données à partir des tables de données sur une page sur Internet, il suffit de penser des possibilités. Obtenir les derniers numéros de stock, ou les plus récents Top 10 des livres et des auteurs sur la liste des best-sellers du New York Times, ou les plus vendus voitures dans le monde. Il y a des tables HTML là-bas sur presque tous les sujets que vous pouvez imaginer, et dans de nombreux cas, ces tables sont fréquemment mis à jour.

ImportHtml vous donne la possibilité de brancher votre feuille de calcul Google dans l`Internet, et se nourrissent les données qui existent là-bas. Il peut devenir votre propre centre d`information personnelle que vous pouvez utiliser pour manipuler et masser dans un format que vous pouvez réellement travailler avec. Il est juste une chose plus très cool d`aimer sur Google Spreadsheet.

Avez-vous des données jamais importées dans vos feuilles de calcul? Quel genre de choses intéressantes avez-vous découvert dans ces données? Comment avez-vous utilisé les données? Partagez vos expériences et idées dans la section commentaires ci-dessous!