open-data-2021-LahaLuhem

open-data-2021-LahaLuhem created by GitHub Classroom

Group by and count:
===================
== Parsed Logical Plan ==
Aggregate [quarter#39739], [quarter#39739, count(1) AS count#41486L]
+- Project [STRAAT#27 AS street#39736, cast(UDF(X_COORD#34) as float) AS x#39737, cast(UDF(Y_COORD#35) as float) AS y#39738, WIJK_OMS#32 AS quarter#39739]
   +- Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
      +- Relation[ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] csv

== Analyzed Logical Plan ==
quarter: string, count: bigint
Aggregate [quarter#39739], [quarter#39739, count(1) AS count#41486L]
+- Project [STRAAT#27 AS street#39736, cast(UDF(X_COORD#34) as float) AS x#39737, cast(UDF(Y_COORD#35) as float) AS y#39738, WIJK_OMS#32 AS quarter#39739]
   +- Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
      +- Relation[ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] csv

== Optimized Logical Plan ==
InMemoryRelation [quarter#39739, count#41486L], StorageLevel(disk, memory, deserialized, 1 replicas)
   +- *(2) HashAggregate(keys=[quarter#39739], functions=[count(1)], output=[quarter#39739, count#41231L])
      +- Exchange hashpartitioning(quarter#39739, 200), ENSURE_REQUIREMENTS, [id=#1935]
         +- *(1) HashAggregate(keys=[quarter#39739], functions=[partial_count(1)], output=[quarter#39739, count#41295L])
            +- InMemoryTableScan [quarter#39739]
                  +- InMemoryRelation [street#39736, x#39737, y#39738, quarter#39739], StorageLevel(disk, memory, deserialized, 1 replicas)
                        +- *(1) Project [STRAAT#27 AS street#39736, UDF(X_COORD#34) AS x#39737, UDF(Y_COORD#35) AS y#39738, WIJK_OMS#32 AS quarter#39739]
                           +- *(1) Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
                              +- InMemoryTableScan [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISNUMMER#20, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], [AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)]
                                    +- InMemoryRelation [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISLETTER#19, HUISNUMMER#20, HUISNUMMERTOEVOEGING#21, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], StorageLevel(disk, memory, deserialized, 1 replicas)
                                          +- FileScan csv [ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex[file:/opt/hadoop/share/data/BAG_ADRES.csv], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<ACTCODE:string,ADRES_ID:string,ADR_ADRESNR:string,HUISLETTER:string,HUISNUMMER:string,HUIS...

== Physical Plan ==
InMemoryTableScan [quarter#39739, count#41486L]
   +- InMemoryRelation [quarter#39739, count#41486L], StorageLevel(disk, memory, deserialized, 1 replicas)
         +- *(2) HashAggregate(keys=[quarter#39739], functions=[count(1)], output=[quarter#39739, count#41231L])
            +- Exchange hashpartitioning(quarter#39739, 200), ENSURE_REQUIREMENTS, [id=#1935]
               +- *(1) HashAggregate(keys=[quarter#39739], functions=[partial_count(1)], output=[quarter#39739, count#41295L])
                  +- InMemoryTableScan [quarter#39739]
                        +- InMemoryRelation [street#39736, x#39737, y#39738, quarter#39739], StorageLevel(disk, memory, deserialized, 1 replicas)
                              +- *(1) Project [STRAAT#27 AS street#39736, UDF(X_COORD#34) AS x#39737, UDF(Y_COORD#35) AS y#39738, WIJK_OMS#32 AS quarter#39739]
                                 +- *(1) Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
                                    +- InMemoryTableScan [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISNUMMER#20, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], [AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)]
                                          +- InMemoryRelation [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISLETTER#19, HUISNUMMER#20, HUISNUMMERTOEVOEGING#21, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], StorageLevel(disk, memory, deserialized, 1 replicas)
                                                +- FileScan csv [ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex[file:/opt/hadoop/share/data/BAG_ADRES.csv], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<ACTCODE:string,ADRES_ID:string,ADR_ADRESNR:string,HUISLETTER:string,HUISNUMMER:string,HUIS...