Faire la science des données dans le nuage avec scraperwiki

Si vous avez les côtelettes mentales, un talent pour la programmation et la narration, et un oeil pour le design, vous pouvez faire pire que d`entrer dans la science des données. Il est la nouvelle grande chose dans la mode et très technique des très bien payés, avec des données scientifiques recherchés par certaines des plus grandes entreprises du monde.

ScraperWiki est une entreprise qui a longtemps été associée au champ de la science des données. Au cours des dernières années, cette start-up basée Liverpool a offert une plate-forme pour les codeurs d`écrire des outils qui obtiennent des données, la nettoyer et l`analyser dans le nuage.

Avec une actualisation récente et la demande sans cesse croissante de données scientifiques dans l`entreprise, il vaut la peine de prendre un bon coup d`oeil à ScraperWiki.

La divulgation complète: J`étais stagiaire à ScraperWiki l`été dernier.

Qu`est-ce que ScraperWiki Do?

ScraperWiki commercialise elle-même comme un endroit pour obtenir, propre et analyser les données, et fournit à chacun de ces chefs d`accusation. Dans sa forme la plus simple, il vous permet - l`utilisateur - un endroit où vous pouvez écrire du code qui récupère des données provenant d`une source, des outils pour le convertir en un format qui est facile à analyser, et le stockage pour le garder pour la visualisation plus tard - que vous peut également manipuler avec ScraperWiki.

Video: La SCIENCE du combat ! FIGHT ! - Scilabus 46

Il est également livré avec un certain nombre d`outils prédéfinis qui permettent d`automatiser les tâches répétitives, y compris l`obtention de données de fichiers PDF, qui sont notoirement difficiles à décoder. Ceci est en plus Twitter recherche et les services publics de grattage. Vous n`avez pas besoin de l`expérience de développement de logiciels pour les utiliser.Laisser refroidir 5 Twitter recherche astuces pour surveiller ce que les gens disent de vousLaisser refroidir 5 Twitter recherche astuces pour surveiller ce que les gens disent de vousSi vous possédez un site Web ou essayez juste de gagner de l`argent en ligne en tant que travailleur indépendant, il est toujours bon de savoir ce que les gens disent de vous sur Internet. Les gens peuvent être ... citentLire la suite

Coût

Comme mentionné précédemment, ScraperWiki embrasse le modèle de tarification freemium et offre un service qui a plusieurs niveaux. Ceux qui viennent de commencer avec des données scientifiques ou ayant des besoins limités peuvent utiliser le service gratuit. Cela vous donne trois ensembles de données - où vous stockez vos données et le code.

Ceux qui prévoient d`écrire des grattoirs multiples ou vouloir faire des montagnes de l`analyse des données peuvent débourser un peu d`argent pour un compte premium. Ceux-ci commencent à 9 $ par mois et offre 10 jeux de données. Si c`est pas encore assez, vous pouvez toujours passer à leur plus haut niveau qui est livré avec 100 jeux de données et coûte 29 $ par mois.

Codage

Les programmeurs sont souvent tout à fait particulier en ce qui concerne la façon dont ils code. Certains préfèrent les langages de script sur les langages compilés. Certains préfèrent l`expérience d`un retour pared éditeur de texte sur celui d`un environnement de développement intégré (IDE). ScraperWiki reconnaît que, et donne à l`utilisateur une énorme quantité de choix en ce qui concerne la façon dont vous écrivez votre code.

Si vous êtes si incliné, vous pouvez écrire votre code dans le navigateur. Comme on pouvait s`y attendre d`une qualité professionnelle, Web outil de développement, cela vient avec des fonctionnalités que tout programmeur considérerait comme essentiel, comme la coloration syntaxique.Le Top 3 IDE intégré au navigateur de code d`entrée dans le CloudLe Top 3 IDE intégré au navigateur de code d`entrée dans le CloudLire la suite

Il y a un certain nombre de langues proposées. Ceux-ci inclus Python, un langage de script populaire utilisé par les goûts de Google et NASA- Rubis, qui alimente un certain nombre de sites populaires tels que la vie et la langue social- d`analyse statistique populaire, R.

En outre, vous pouvez également écrire le code de la ligne de commande en utilisant SSH, Git et quel que soit l`éditeur de texte que vous apprécierez. Oui, tu l`as bien lu. SSH. Chaque boîte que vous utilisez est son propre compte Linux, et vous êtes en mesure de s`y connecter comme vous le feriez d`un VPS ou tout autre compte shell. Il y a un certain nombre d`éditeurs de texte disponibles, y compris vitalité qui peut être étendu avec des plugins et en éditant la configuration. Ceux intimidés par Vim peuvent utiliser Nano, qui est un éditeur de texte en ligne de commande légère.Qu`est-ce que SSH & Comment cela est différent de FTP [Technologie Explained]Qu`est-ce que SSH & Comment cela est différent de FTP [Technologie Explained]Lire la suite

Les bibliothèques installées devraient être suffisantes pour les outils d`écriture pour récupérer des données et à traiter. Si vous avez besoin de quelque chose un peu plus obscur, vous pouvez toujours créer un virtualenv à partir de la ligne de commande. Comme vous pouvez le voir, il y a une énorme quantité de flexibilité accordée aux développeurs.

Visualisation de données

Donc, vous avez vos données. Vous avez normalisé il. Vous avez nettoyé. Vous avez analysé. Maintenant, il est temps de faire un peu de visualisation et de montrer au monde ce que vous avez appris.

Video: « Création de notre Crop Circle avec l’Invisible » avec Philippe Weber - NURÉA TV

ScraperWiki permet aux développeurs d`afficher leurs données à l`aide des pages Web construites à partir du tiercé gagnant tout familier de HTML, CSS et javascript. De plus, les composants Bootstrap sont pris en charge hors de la boîte.

Video: Excel - Graphiques nuages de points pour sciences (avec incertitudes)

Il y a un certain nombre de pré-visualisations mis à disposition, y compris ceux qui conspire vos données sur une carte et trouver des tendances dans vos résultats. Pour les utiliser, vous devez vous assurer que vos données sont stockées sous forme de fichier SQLite avec le nom du fichier « scraperwiki.sqlite ». Ensuite, vous ajoutez simplement la visualisation qui vous intéresse. Simple, non?

Conclusion

ScraperWiki offre beaucoup aux développeurs qui veulent faire une analyse des données sans leur environnement de développement se trouver sur leur chemin, tout en ayant la souplesse nécessaire pour satisfaire même des utilisateurs les plus exigeants. Mais qu`est ce que tu penses? Faites-moi savoir dans les commentaires ci-dessous.
Crédit photo: Science Rocket (Dan Brown)