Abschlussprojekt

rstatsZH-K009:

Author

DaaniiH

Published

December 10, 2024

Packages laden

library(readr)
library(dplyr)
library(ggplot2)
library(tidyverse)
library(forcats)
library(ggthemes)
library(scales)
library(lubridate)
library(viridis)
library(knitr)     # Package wird für Funktion kable() geladen
library(DT)        # Package wird für Funktion datatable() geladen
library(gt)        # Package wird für Funktion gt() geladen
library(kableExtra) # Package wird für detailiertere kable() bzw. kbl() Tabellen benötigt.

Einleitung

Hierbei handelt es sich um einen Übungscode bzw. -Dokument um die sich die Basics von R und Quarto-Dokumenten anzueignen.

Es erfolgt hierzu eine Auseinandersetzung mit den Daten zur Bevölkerung in Winterthur, welche einen Einblick in die Entwicklung des Ausländeranteils liefern sollen.

Daten laden

Import der Rohdaten der Stadt Winterthur

data_staatenkleingruppe_bfs <-  read_csv(here::here("data/raw/Quartiere_Jahr_KTZH_00002604_00005328.csv"),
                                     #detailiertere Betrachtung folgt später, deshalb Anzeige der Details hier unterdrückt
                                     show_col_types = FALSE)

Import der Rohdaten des Kanton Zürichs

data_auslaenderanteil_kantonal <- read_delim('https://www.web.statistik.zh.ch/ogd/data/KANTON_ZUERICH_205.csv',
                                             #detailiertere Betrachtung folgt später, deshalb Anzeige der Details hier unterdrückt
                                             show_col_types = FALSE)

tbd geo coordinates

# tbd
# data_geo_coordinates_ktzh <- read_csv

Daten

Bei den Rohdatenhandelt es sich um CSV Dateien aus dem Datenkatalog des Kantons Zürich.

Quellen

Bevölkerung, nach Staatenkleingruppe und Quartier
https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/2604@stadt-winterthur
Ausländeranteil
https://openzh.github.io/starter-code-openZH/
https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/68@statistisches-amt-kanton-zuerich
Link zum GIS Browser Datendownload
https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/278@opendata-giszh-ktzh/distributions/1 bzw. http://maps.zh.ch/?topic=BASISKARTEZH&showtab=ogddownload

Analyseziele

Im Rahmen der Analyse werden die Daten aufbereitet und in ein Tidy Data Format gebracht, erkundet und visualisiert.

Teil 1
Erkenntnisse zur Veränderung des Ausländeranteils der letzten 10 Jahren der Stadt Winterthur sowie der letzten 3 Jahre der Stadtkreise Winterthurs schaffen.
Teil 2
Ausländeranteil vergleichen mit i) kantonalen Zahlen und ii) geografische Heatmap erstellen.

Benötigte Daten: Jahr, Ausländeranteil, Gebiet (inkl. Koordinaten)

Daten Aufbereitung

Erster Teil der Analyse, Entwicklung des Ausländeranteils der vergangenen 10 Jahre.

Datenbetrachtung

Vorwort zur Problemstellung mit “Viewern” in Quarto Dokumenten

Die Funktion view() kann nicht in ein Quarto Dokument eingebettet werden und muss deshalb bei Erstellung desselben ausgeschlossen werden.

Lösung

#| eval: false verhindert die Ausführung des Codes. Der Code wird nicht evaluiert und keine Ergebnisse werden generiert.

#| echo: false unterdrückt die Anzeige des Quellcodes im finalen Dokument. Der Code wird ausgeführt, aber nicht im Output angezeigt.

Mittels beider Optionen wird der Code weder ausgeführt noch angezeigt. Nützlich um Code temporär zu deaktivieren oder zu dokumentieren, ohne ihn auszuführen oder anzuzeigen.

Die viewer gt() und kable() produzieren u.U. komplexe/grosse Tabellen, dies kann zu Rendering-Problemen bei der Gerneration von Quarto-Dokumenten führen.

Nachfolgend würden mit gt() und kable() grosse Tabellen dargestellt werden, welche aufgrund Memory Exhaustion einen Seitenrefresh triggern und dadurch die Generierung des Quarto Dokuments abbrechen.

Lösung

Als alternativer “Viewer” wird mit datatable() eine reduzierte und zugleich interaktive Tabelle erstellt.

Daten betrachten (mit Ausgabe in Quarto-Dokument)

Komplettes dataframe als interaktive Tabelle

datatable() kann um Argumente ergänzt werden, um dem Nutzer rudimentäre Sortierungen und Suchen zu ermöglichen. (Table 1)

datatable(data_staatenkleingruppe_bfs,
          filter = 'top',
          options = list(pageLength = 5,
          search = list(regex = TRUE,
                        caseInsensitive = TRUE)))

Table 1: Funktion datatable()

Reduziertes dataframe mit SearchBuilder Funktion

Zur besseren Übersicht und aufgrund Redundanz mit Klarnamen, werden Spalten mit BFS-Nummern entfernt.

Für die individuelle Selektion durch den Nutzer kann die Extenstion 'SearchBuilder' aktiviert werden. (Table 2)

data_staatenkleingruppe <- data_staatenkleingruppe_bfs %>%
  select(-contains("bfs_nr"))
    
data_staatenkleingruppe %>% datatable(filter = "top",
              extensions = 'SearchBuilder',
              options = list(pageLength = 10,
                             dom = 'Qlfrtip',
                             searchBuilder = TRUE))

Table 2: Funktion datatable() mit Filtermöglichkeit

Betrachtung der Datentypen und eindeutigen Werten

glimpse() um einen “flüchtigen” Blick auf die Daten zu erhalten

glimpse(data_staatenkleingruppe)

Rows: 7,306
Columns: 8
$ jahr                   <dbl> 2023, 2023, 2023, 2023, 2023, 2023, 2023, 2023,…
$ gemeinde               <chr> "Winterthur", "Winterthur", "Winterthur", "Wint…
$ stadtkreis             <chr> "Stadt", "Stadt", "Stadt", "Stadt", "Stadt", "S…
$ quartier               <chr> "Altstadt", "Altstadt", "Altstadt", "Altstadt",…
$ staatenkleingruppe     <chr> "Afrika", "Amerika", "Asien", "Australien und O…
$ region                 <chr> "übrige Kontinente", "übrige Kontinente", "übri…
$ anzahl                 <dbl> NA, 22, 29, NA, 130, 47, NA, NA, NA, 22, 23, NA…
$ anzahl_ist_kleingruppe <lgl> TRUE, FALSE, FALSE, TRUE, FALSE, FALSE, TRUE, T…

names() um alle Spaltenüberschriften zu erhalten

names(data_staatenkleingruppe)

[1] "jahr"                   "gemeinde"               "stadtkreis"            
[4] "quartier"               "staatenkleingruppe"     "region"                
[7] "anzahl"                 "anzahl_ist_kleingruppe"

unique() um die eindeutigen Werte spezifischer Spalten zu erhalten

unique(data_staatenkleingruppe$region)

[1] "übrige Kontinente"             "Nord-, Mittel- und Westeuropa"
[3] "Südeuropa"                     "Südosteuropa"                 
[5] "Osteuropa"                     "unbekannt"

unique(data_staatenkleingruppe$staatenkleingruppe)

 [1] "Afrika"                  "Amerika"                
 [3] "Asien"                   "Australien und Ozeanien"
 [5] "Deutschland"             "Italien"                
 [7] "Kosovo"                  "Mazedonien"             
 [9] "Nordeuropa"              "Österreich"             
[11] "Osteuropa und Russland"  "Portugal"               
[13] "Schweiz"                 "Serbien"                
[15] "Spanien"                 "Türkei"                 
[17] "übriges Mitteleuropa"    "übriges Südosteuropa"   
[19] "Westeuropa"              "Bosnien u. Herzegowina" 
[21] "unbekannt"

unique(data_staatenkleingruppe$stadtkreis)

[1] "Stadt"          "Veltheim"       "Seen"           "Töss"          
[5] "Mattenbach"     "Oberwinterthur" "Wülflingen"     "unbekannt"

unique(data_staatenkleingruppe$quartier)

 [1] "Altstadt"    "Blumenau"    "Brühlberg"   "Büelwiesen"  "Dättnau"    
 [6] "Deutweg"     "Eichliacker" "Eidberg"     "Endliker"    "Ganzenbühl" 
[11] "Gotzenwil"   "Grüze"       "Guggenbühl"  "Gutschick"   "Hardau"     
[16] "Härti"       "Hegi"        "Hegmatten"   "Heiligberg"  "Iberg"      
[21] "Lind"        "Lindenplatz" "Neuburg"     "Neuwiesen"   "Niederfeld" 
[26] "Oberfeld"    "Oberseen"    "Reutlingen"  "Ricketwil"   "Rosenberg"  
[31] "Rossberg"    "Schlosstal"  "Sennhof"     "Sonnenberg"  "Stadel"     
[36] "Taggenberg"  "Talacker"    "Tössfeld"    "Waldegg"     "Waser"      
[41] "Weinberg"    "Zinzikon"    "unbekannt"

Einwohner pro Jahr (Table 3)

Table 3: Einwohner der Stadt Winterthur der letzten 10 Jahre

  data_staatenkleingruppe %>%   group_by(jahr) %>%
    summarize(summe_anzahl = sum(anzahl, na.rm = TRUE))

# A tibble: 10 × 2
    jahr summe_anzahl
   <dbl>        <dbl>
 1  2014       106415
 2  2015       108007
 3  2016       109632
 4  2017       110585
 5  2018       111651
 6  2019       113006
 7  2020       113969
 8  2021       114971
 9  2022       118134
10  2023       119419

Daten transformieren

“Unbekannt” prüfen / ausschliessen

Aus den vorangehenden unique()-Abfragen (Betrachtung der Datentypen und eindeutigen Werten) ist ersichtlich, dass einige Gebiete und Gruppen “unbekannt”-Einträge aufweisen.

Ein genauerer Blick auf die Daten zeigt, dass dieser Anteil in absoluten Zahlen über die gesamte Dekade im zweistelligen Bereich bleibt. Dies macht maximal 0.022% der Gesamtbevölkerung aus, wobei Durchschnitt und Median bei unter 0.00376% (Durchschnitt) bzw. 0.00094% (Median) bleiben.

Nachfolgende Übersicht mit gt() zeigt die Top 3 der “unbekannt”-Einträge pro Jahr, sowie Jahres-Durchschnitt und n-Median. (Table 4)

data_staatenkleingruppe %>%
  
  #Nur Einträge mit Werten in Spalte "anzahl"
  filter(anzahl_ist_kleingruppe !="TRUE") %>% 
  
  #Einwohner pro Jahr
  group_by(jahr) %>% 
  mutate(einwohner_total = sum((anzahl), na.rm = TRUE)) %>% 
  ungroup() %>% 

  #Nur Zeilen mit unbekannt-Einträgen
  filter(stadtkreis == "unbekannt" |
         quartier == "unbekannt" |
         staatenkleingruppe == "unbekannt" |
         region == "unbekannt") %>%
  
  #print(n=nrow(.)) %>% 
  
  #Spalten reduziern
  select(-gemeinde, -staatenkleingruppe, -region) %>% 
  
  #Gruppieren
  group_by(jahr, stadtkreis, quartier, einwohner_total) %>% 
  summarise(anzahl_unbekannt = sum(anzahl),
            .groups = 'drop') %>% 

  #print(n=nrow(.)) %>% 
  group_by(jahr) %>% 
  mutate(einwohner_unbekannt_pct_jahr = round((anzahl_unbekannt / einwohner_total * 100), 5),
         einwohner_unbekannt_total_jahr = sum(anzahl_unbekannt, na.rm = TRUE),
         average_jahr = round(mean(einwohner_unbekannt_pct_jahr),5),
         median_jahr = round(median(einwohner_unbekannt_pct_jahr),5)) %>%  
  arrange(desc(einwohner_unbekannt_pct_jahr)) %>%  
 
  #print(n=nrow(.)) %>% 
  
  slice_head(n = 3) %>%
  #arrange(desc(einwohner_unbekannt_pct)) %>%
  gt() %>%
  summary_rows(columns = c(anzahl_unbekannt,
                           einwohner_unbekannt_pct_jahr),
               fns = list(Summe = "sum")) %>% 
  
   tab_style(style = cell_fill(color = "lightblue"),
            locations = cells_body(columns = c("einwohner_unbekannt_pct_jahr",
                                               "average_jahr",
                                               "median_jahr"))) %>%
 
   opt_interactive(use_sorting = TRUE,
                  use_filters = TRUE)

Table 4: Unbekannt-Einträge: Top 3 pro Jahr

Aufgrund der vernachlässigbare Grössenordnung werden Zeilen mit “unbekannt”-Werten in der weiteren Betrachtung ausgeschlossen. (Table 5)

data_staatenkleingruppe_cleaned <- data_staatenkleingruppe %>% 
  filter(stadtkreis != "unbekannt" &
         quartier != "unbekannt" &
         staatenkleingruppe != "unbekannt" &
         region != "unbekannt")

datatable(data_staatenkleingruppe_cleaned,
          filter = "top",
              extensions = 'SearchBuilder',
              options = list(pageLength = 12,
                             dom = 'Qlfrtip',
                             searchBuilder = TRUE))

Table 5: Auswertung nach Stadtkreis

NA prüfen / ausschliessen

Mit “anzahl_ist_kleingruppe” besteht eine Filtermöglichkeit für den NA-Ausschluss in Spalte “anzahl” (Table 6)

Table 6: Zeilen mit NA-Einträgen

## Übersicht 
data_staatenkleingruppe_cleaned %>%
  group_by(anzahl_ist_kleingruppe, jahr) %>%
  summarise(anzahl_zeilen = n(),
            summe_anzahl = sum(anzahl, na.rm = TRUE))

`summarise()` has grouped output by 'anzahl_ist_kleingruppe'. You can override
using the `.groups` argument.

# A tibble: 20 × 4
# Groups:   anzahl_ist_kleingruppe [2]
   anzahl_ist_kleingruppe  jahr anzahl_zeilen summe_anzahl
   <lgl>                  <dbl>         <int>        <dbl>
 1 FALSE                   2014           375       106363
 2 FALSE                   2015           383       107965
 3 FALSE                   2016           390       109582
 4 FALSE                   2017           389       110527
 5 FALSE                   2018           394       111594
 6 FALSE                   2019           400       112946
 7 FALSE                   2020           401       113906
 8 FALSE                   2021           410       114908
 9 FALSE                   2022           443       118061
10 FALSE                   2023           442       119331
11 TRUE                    2014           321            0
12 TRUE                    2015           317            0
13 TRUE                    2016           312            0
14 TRUE                    2017           317            0
15 TRUE                    2018           313            0
16 TRUE                    2019           308            0
17 TRUE                    2020           308            0
18 TRUE                    2021           304            0
19 TRUE                    2022           278            0
20 TRUE                    2023           281            0

Nach Auschluss der NA-Werte haben alle Zeilen einen Wert in Spalte “anzahl” (Table 7)

## Auschluss NA-Zeilen
data_staatenkleingruppe_false <- data_staatenkleingruppe_cleaned %>%
  filter(anzahl_ist_kleingruppe == FALSE) 

data_staatenkleingruppe_false %>% 
  select(jahr,
         stadtkreis,
         region,
         anzahl,
         anzahl_ist_kleingruppe) %>% 
  datatable()

Table 7: Zeilen mit NA-Einträgen (reduzierte Ansicht)

Alternative Varianten, falls Filter auf NA-Werten nicht bereits existiert, sind u.a.

Filter auf Spalte “Anzahl
filter(is.na(anzahl)) bzw. filter(!is.na(anzahl))

Filter auf Datensätze mit NA in irgendeiner resp. keiner Spalte
filter(if_any(everything(), is.na))
oder
data_staatenkleingruppe[complete.cases(data_staatenkleingruppe), ] bzw.
data_staatenkleingruppe[!complete.cases(data_staatenkleingruppe), ]

Alternativer Code vorhanden aber nicht ausgeführt/ausgegeben im Quarto Dokument.

Feld `'herkunft'` hinzufügen und dataframe auf benötigte Felder reduzieren

“Schweiz” ist als Wert vorhanden, ergo können alle ungleichen Werte als “Ausland” betrachtet werden. Das Feld herkunft ist sozusagen ein boolescher Datentyp.

Es wird davon ausgegangen, dass kein Schweizer zur Staatenkleingruppe “unbekannt” gehört.

NA-Werte sind bereits bereinigt (siehe NA prüfen / ausschliessen).

data_staatenkleingruppe_reduced <- data_staatenkleingruppe_false %>% 
  mutate(herkunft = case_when(staatenkleingruppe != "Schweiz" ~  "Ausland",
                              TRUE                            ~  "Schweiz")) %>% 
  select(jahr, herkunft, stadtkreis, quartier, anzahl) %>% 
  group_by(jahr, herkunft, stadtkreis, quartier) %>% 
  summarise(anzahl = sum(anzahl), 
            .groups = "drop")

WICHTIG: .groups Argument wird benötigt. Das Ergebnis nach Verwendung von group_by() und summarise() bleibt sonst standardmäßig gruppiert und so ist die Anzeige via z.B. gt() suboptimal.

Nachfolgend ist ein Code Chunk mit kable() und gt() aufgrund des Reender Problems ausgeschlossen (siehe Vorwort zur Problemstellung mit “Viewern” in Quarto Dokumenten)

Betrachtung des transformierten dataframes Table 8)

datatable(data_staatenkleingruppe_reduced,
          filter = "top",
              extensions = 'SearchBuilder',
              options = list(pageLength = 8,
                             dom = 'Qlfrtip',
                             searchBuilder = TRUE))

Table 8: Transformiertes Dataframe

Speichern des transformierten dataframes

write_csv(x = data_staatenkleingruppe_reduced,
          here::here("data/processed/data_staatenkleingruppe_reduced.csv"))

Ergebnisse

Statistische Kennzahlen und Übersichten

Ausländeranteile der Stadt Winterthur der letzten 10 Jahre (Table 9) inkl. der Veränderung der Ausländerquote in Prozentpunkten.

Erkenntnis:

Es besteht eine stetige Zunahme des Ausländeranteils.
Die Zunahme bewegt sich im Promillebereich.

## Einwohner pro Jahr inkl. Ausländeranteil
## STADT
overview_city <- data_staatenkleingruppe_reduced %>%
  group_by(jahr) %>% 
  summarize(einwohner = sum(anzahl, na.rm = TRUE),
            einwohner_ausland = sum(anzahl[herkunft == "Ausland"], na.rm = TRUE),
            anteil_ausland = einwohner_ausland / einwohner * 100,
            einwohner_schweiz = sum(anzahl[herkunft != "Ausland"], na.rm = TRUE),
            anteil_schweiz = einwohner_schweiz / einwohner  * 100,
            ## Alternative für ungroup()
            .groups = "drop") %>%
  
  mutate(avg_anteil_ausland = mean(anteil_ausland),
         median_anteil_ausland = median(anteil_ausland),
         delta_anteil_ausland_yoy = anteil_ausland - lag(anteil_ausland)) %>% 
  
  ungroup() %>%
  arrange(jahr) %>%
  
  select(jahr,
         einwohner,
         einwohner_schweiz,
         anteil_schweiz,
         einwohner_ausland,
         anteil_ausland,
         delta_anteil_ausland_yoy,
         avg_anteil_ausland,
         median_anteil_ausland)


gt(overview_city) %>%
  fmt_number(columns = c(einwohner, einwohner_schweiz, einwohner_ausland),
             decimals = 0,
             use_seps = TRUE,
             sep_mark = "'") %>%
  fmt_number(columns = delta_anteil_ausland_yoy,
             decimals = 3,
             use_seps = TRUE,
             sep_mark = "'",
             force_sign = TRUE) %>%
  fmt_percent(columns = c(anteil_schweiz,
                          anteil_ausland,
                          anteil_ausland,
                          avg_anteil_ausland,
                          median_anteil_ausland),
              decimals = 2,
              scale_values = FALSE)

Table 9: Ausländeranteil Stadt Winterthur der letzten 10 Jahre

jahr	einwohner	einwohner_schweiz	anteil_schweiz	einwohner_ausland	anteil_ausland	delta_anteil_ausland_yoy	avg_anteil_ausland	median_anteil_ausland
2014	106'363	83'091	78.12%	23'272	21.88%	NA	23.09%	22.80%
2015	107'965	84'200	77.99%	23'765	22.01%	+0.132	23.09%	22.80%
2016	109'582	85'060	77.62%	24'522	22.38%	+0.366	23.09%	22.80%
2017	110'527	85'668	77.51%	24'859	22.49%	+0.114	23.09%	22.80%
2018	111'594	86'293	77.33%	25'301	22.67%	+0.181	23.09%	22.80%
2019	112'946	87'043	77.07%	25'903	22.93%	+0.262	23.09%	22.80%
2020	113'906	87'492	76.81%	26'414	23.19%	+0.255	23.09%	22.80%
2021	114'908	87'957	76.55%	26'951	23.45%	+0.265	23.09%	22.80%
2022	118'061	88'846	75.25%	29'215	24.75%	+1.291	23.09%	22.80%
2023	119'331	89'316	74.85%	30'015	25.15%	+0.407	23.09%	22.80%

Ausländeranteil der Stadtkreise von Winterthur der letzten 3 Jahre (Table 10) inkl. der Veränderung deren Ausländerquote in Prozentpunkten.