open-data-2021-LahaLuhem

open-data-2021-LahaLuhem created by GitHub Classroom

Order descending limit 10:
==========================
== Parsed Logical Plan ==
GlobalLimit 10
+- LocalLimit 10
   +- Sort [count#41486L DESC NULLS LAST], true
      +- Aggregate [quarter#39739], [quarter#39739, count(1) AS count#41486L]
         +- Project [STRAAT#27 AS street#39736, cast(UDF(X_COORD#34) as float) AS x#39737, cast(UDF(Y_COORD#35) as float) AS y#39738, WIJK_OMS#32 AS quarter#39739]
            +- Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
               +- Relation[ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] csv

== Analyzed Logical Plan ==
quarter: string, count: bigint
GlobalLimit 10
+- LocalLimit 10
   +- Sort [count#41486L DESC NULLS LAST], true
      +- Aggregate [quarter#39739], [quarter#39739, count(1) AS count#41486L]
         +- Project [STRAAT#27 AS street#39736, cast(UDF(X_COORD#34) as float) AS x#39737, cast(UDF(Y_COORD#35) as float) AS y#39738, WIJK_OMS#32 AS quarter#39739]
            +- Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
               +- Relation[ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] csv

== Optimized Logical Plan ==
GlobalLimit 10
+- LocalLimit 10
   +- Sort [count#41486L DESC NULLS LAST], true
      +- InMemoryRelation [quarter#39739, count#41486L], StorageLevel(disk, memory, deserialized, 1 replicas)
            +- *(2) HashAggregate(keys=[quarter#39739], functions=[count(1)], output=[quarter#39739, count#41231L])
               +- Exchange hashpartitioning(quarter#39739, 200), ENSURE_REQUIREMENTS, [id=#1935]
                  +- *(1) HashAggregate(keys=[quarter#39739], functions=[partial_count(1)], output=[quarter#39739, count#41295L])
                     +- InMemoryTableScan [quarter#39739]
                           +- InMemoryRelation [street#39736, x#39737, y#39738, quarter#39739], StorageLevel(disk, memory, deserialized, 1 replicas)
                                 +- *(1) Project [STRAAT#27 AS street#39736, UDF(X_COORD#34) AS x#39737, UDF(Y_COORD#35) AS y#39738, WIJK_OMS#32 AS quarter#39739]
                                    +- *(1) Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
                                       +- InMemoryTableScan [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISNUMMER#20, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], [AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)]
                                             +- InMemoryRelation [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISLETTER#19, HUISNUMMER#20, HUISNUMMERTOEVOEGING#21, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], StorageLevel(disk, memory, deserialized, 1 replicas)
                                                   +- FileScan csv [ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex[file:/opt/hadoop/share/data/BAG_ADRES.csv], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<ACTCODE:string,ADRES_ID:string,ADR_ADRESNR:string,HUISLETTER:string,HUISNUMMER:string,HUIS...

== Physical Plan ==
TakeOrderedAndProject(limit=10, orderBy=[count#41486L DESC NULLS LAST], output=[quarter#39739,count#41486L])
+- InMemoryTableScan [quarter#39739, count#41486L]
      +- InMemoryRelation [quarter#39739, count#41486L], StorageLevel(disk, memory, deserialized, 1 replicas)
            +- *(2) HashAggregate(keys=[quarter#39739], functions=[count(1)], output=[quarter#39739, count#41231L])
               +- Exchange hashpartitioning(quarter#39739, 200), ENSURE_REQUIREMENTS, [id=#1935]
                  +- *(1) HashAggregate(keys=[quarter#39739], functions=[partial_count(1)], output=[quarter#39739, count#41295L])
                     +- InMemoryTableScan [quarter#39739]
                           +- InMemoryRelation [street#39736, x#39737, y#39738, quarter#39739], StorageLevel(disk, memory, deserialized, 1 replicas)
                                 +- *(1) Project [STRAAT#27 AS street#39736, UDF(X_COORD#34) AS x#39737, UDF(Y_COORD#35) AS y#39738, WIJK_OMS#32 AS quarter#39739]
                                    +- *(1) Filter AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)
                                       +- InMemoryTableScan [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISNUMMER#20, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], [AtLeastNNulls(n, ACTCODE#16,ADRES_ID#17,X_COORD#34,Y_COORD#35,ADR_ADRESNR#18,HUISNUMMER#20,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33)]
                                             +- InMemoryRelation [ACTCODE#16, ADRES_ID#17, ADR_ADRESNR#18, HUISLETTER#19, HUISNUMMER#20, HUISNUMMERTOEVOEGING#21, OPENBARERUIMTE_ID#22, POSTK_A#23, POSTK_N#24, STADSDEEL#25, STATUS#26, STRAAT#27, STRAAT_OFF#28, STRAAT_OFF_D#29, VOLGNR#30, WIJKCODE#31, WIJK_OMS#32, WOONPLAATS#33, X_COORD#34, Y_COORD#35], StorageLevel(disk, memory, deserialized, 1 replicas)
                                                   +- FileScan csv [ACTCODE#16,ADRES_ID#17,ADR_ADRESNR#18,HUISLETTER#19,HUISNUMMER#20,HUISNUMMERTOEVOEGING#21,OPENBARERUIMTE_ID#22,POSTK_A#23,POSTK_N#24,STADSDEEL#25,STATUS#26,STRAAT#27,STRAAT_OFF#28,STRAAT_OFF_D#29,VOLGNR#30,WIJKCODE#31,WIJK_OMS#32,WOONPLAATS#33,X_COORD#34,Y_COORD#35] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex[file:/opt/hadoop/share/data/BAG_ADRES.csv], PartitionFilters: [], PushedFilters: [], ReadSchema: struct<ACTCODE:string,ADRES_ID:string,ADR_ADRESNR:string,HUISLETTER:string,HUISNUMMER:string,HUIS...