open-data-2021-LahaLuhem created by GitHub Classroom
Group by and count:
===================
== Parsed Logical Plan ==
Aggregate [quarter#39739], [quarter#39739, count(1) AS count#41486L]
+- Project [STRAAT#27 AS street#39736, cast(UDF(X_COORD#34) as float) AS x#39737, cast(UDF(Y_COORD#35) as float) AS y#39738, WIJK_OMS#32 AS quarter#39739]
+- Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
+- Relation[ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] csv
== Analyzed Logical Plan ==
quarter: string, count: bigint
Aggregate [quarter#39739], [quarter#39739, count(1) AS count#41486L]
+- Project [STRAAT#27 AS street#39736, cast(UDF(X_COORD#34) as float) AS x#39737, cast(UDF(Y_COORD#35) as float) AS y#39738, WIJK_OMS#32 AS quarter#39739]
+- Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
+- Relation[ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] csv
== Optimized Logical Plan ==
InMemoryRelation [quarter#39739, count#41486L], StorageLevel(disk, memory, deserialized, 1 replicas)
+- *(2) HashAggregate(keys=[quarter#39739], functions=[count(1)], output=[quarter#39739, count#41231L])
+- Exchange hashpartitioning(quarter#39739, 200), ENSURE_REQUIREMENTS, [id=#1935]
+- *(1) HashAggregate(keys=[quarter#39739], functions=[partial_count(1)], output=[quarter#39739, count#41295L])
+- InMemoryTableScan [quarter#39739]
+- InMemoryRelation [street#39736, x#39737, y#39738, quarter#39739], StorageLevel(disk, memory, deserialized, 1 replicas)
+- *(1) Project [STRAAT#27 AS street#39736, UDF(X_COORD#34) AS x#39737, UDF(Y_COORD#35) AS y#39738, WIJK_OMS#32 AS quarter#39739]
+- *(1) Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
+- InMemoryTableScan [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISNUMMER#20, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], [AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)]
+- InMemoryRelation [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISLETTER#19, HUISNUMMER#20, HUISNUMMERTOEVOEGING#21, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], StorageLevel(disk, memory, deserialized, 1 replicas)
+- FileScan csv [ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex[file:/opt/hadoop/share/data/BAG_ADRES.csv], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<ACTCODE:string,ADRES_ID:string,ADR_ADRESNR:string,HUISLETTER:string,HUISNUMMER:string,HUIS...
== Physical Plan ==
InMemoryTableScan [quarter#39739, count#41486L]
+- InMemoryRelation [quarter#39739, count#41486L], StorageLevel(disk, memory, deserialized, 1 replicas)
+- *(2) HashAggregate(keys=[quarter#39739], functions=[count(1)], output=[quarter#39739, count#41231L])
+- Exchange hashpartitioning(quarter#39739, 200), ENSURE_REQUIREMENTS, [id=#1935]
+- *(1) HashAggregate(keys=[quarter#39739], functions=[partial_count(1)], output=[quarter#39739, count#41295L])
+- InMemoryTableScan [quarter#39739]
+- InMemoryRelation [street#39736, x#39737, y#39738, quarter#39739], StorageLevel(disk, memory, deserialized, 1 replicas)
+- *(1) Project [STRAAT#27 AS street#39736, UDF(X_COORD#34) AS x#39737, UDF(Y_COORD#35) AS y#39738, WIJK_OMS#32 AS quarter#39739]
+- *(1) Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
+- InMemoryTableScan [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISNUMMER#20, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], [AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)]
+- InMemoryRelation [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISLETTER#19, HUISNUMMER#20, HUISNUMMERTOEVOEGING#21, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], StorageLevel(disk, memory, deserialized, 1 replicas)
+- FileScan csv [ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex[file:/opt/hadoop/share/data/BAG_ADRES.csv], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<ACTCODE:string,ADRES_ID:string,ADR_ADRESNR:string,HUISLETTER:string,HUISNUMMER:string,HUIS...