Python script to scrape elements

Web Scraping and Sentiment Analysis using Python

Web Scraping delle posizioni di lavoro Linkedin

In questo progetto ho applicato alcune conoscenze di scripting Python per implementare le tecniche di web scraping al fine di estrarre informazioni dalla pagina di ricerca del lavoro Linkedin. Per questo passaggio, il pacchetto selenium è stato utilizzato.

L’interesse è stato quello di creare una serie di dati su queste informazioni:

  • Luogo di lavoro
  • Posizione
  • Società
  • Link all’annuncio

Una volta che i dati sono stati raccolti, ho usato queste informazioni per tracciare un word cloud delle parole più comuni tra questi annunci.

Per la seconda fase, ho voluto visualizzare le posizioni di lavoro su una mappa. Tuttavia Linkedin non fornisce informazioni sulla posizione. Quindi, ho usato il pacchetto BeautifulSoup per cercare su Google gli indirizzi delle aziende e poi usando una API di geocodifica, in questo caso Nomatim, avevo recuperato la latitudine e la longitudine di ogni indirizzo per visualizzarli su mappa usando Leaflet.

Esempio di posizioni a Roma

Analisi dei sentimenti dei dati di Twitter

In questa sezione, è stata effettuata un’analisi del sentimento su dati Twitter riguardo la guerra in corso in Ucraina dal punto di vista dell’Europa orientale.

L’interesse è stato quello di creare un dataset che contenga le informazioni dei tweet geolocalizzati pubblicati dal 18 al 26 marzo.

Alessio Crisafulli Carpani
Studente Magistrale in Scienze Statistiche

Abbiamo bisogno della potenza dei dati e dell’apprendimento automatico per affrontare le esigenze di oggi in modo efficiente

Prossimo
Precedente