Bli med på en hands-on workshop i DataOps og CICD i Databricks. Lær hvordan du effektivt kan jobbe med git-baserte pipeline operations, flytte data pipelines fra utvikling til produksjon, og strukturere miljøer for smidig utvikling. Workshopen er ment å gi praktiske verktøy for å mestre data pipelines og bygge nye dataprodukter.
Velkommen til workshop med Databricks og Knowit!
Den 29. januar gjennomfører vi en hands-on workshop i DataOps og CICD sammen med Databricks. Workshopen ledes av Pål de Vibe (Principal Engineer AI og Data Engineering), Anders Rørvik (Principal Consultant / Fractional CTO) og Emiel Venema (Utvikler).
Tema:
Hvordan kan man jobbe med git baserte pipeline operations i Github?
- Git based Data Pipeline Operations
- Hvordan flytte data pipelines fra dev til prod med Github Actions og Databricks
- Hvordan strukturere miljøer for dev-kjøringer
- Monorepo-mønster for slike pipeline operations
- Separere data og miljøer per git versjon
- Hvordan la brukere jobbe i parallell med forskjellige endringer?
Data pipelines er fler-stegs transformasjoner av datasett, for å kunne bygge nye datasett/dataprodukter. Kursinnholdet er basert på erfaringer fra Skatteetaten, Knowit og andre miljøer.
Praktisk info:
- Tid: Onsdag 29. januar kl 12.00-15.00
- Sted: Knowit, Nøstegaten 58, Bergen
- Frist for påmelding: Mandag 20. januar
Workshopen er nå full!
Forkunnskaper:
Grunnleggende kunnskap i Python.
Forberedelser:
Ingen forberedelse er nødvendig. Vi bruker e-postadressene du er påmeldt med for å opprette bruker for deg på forhånd. Databricks aksesseres gjennom nettleseren.
P.s. Alle deltakere må varsle sin deltakelse minst 7 dager før, for å sette opp brukere. Send videre til dem hos dere som er interessert.
P.s. Alle deltakere må varsle sin deltakelse minst 7 dager før, for å sette opp brukere. Send videre til dem hos dere som er interessert.
Program:
12.00: Kort om DataOps på Databricks
13.00: Hands-on lab: Praktiske oppgaver med DataOps på Databricks
15.00: Ferdig
13.00: Hands-on lab: Praktiske oppgaver med DataOps på Databricks
15.00: Ferdig
Det blir servert lunsj 🥪
Velkommen til workshop!
Foredragsholdere
På de Vibe
Principal Engineer AI og Data Engineering – Knowit
Pål er i oppdrag som rådgiver i Datasamarbeidet for Samferdsel. Han har 18 års erfaring med allmenn sky, i et bredt spekter av sektorer, stacks og selskaper. han har jobbet innen skydataplattformer i 8 år, med teknologier som Dataiku, Databricks, Snowflake, AWS, GCP og Azure, og metoder som datadomener og datamesh. Han har fokusert på praksiser, tjenester og teknologier for offentlig datadeling på nasjonal skala, inkludert Generativ AI-tilnærminger til datadeling.
Anders Rørvik
Principal Consultant / Fractional CTO – Knowit
Anders er engasjert hos Skyss, der han arbeider med automatisert oppfølging av transportkontrakter ved hjelp av strømmedata i Databricks, han har også hovedansvaret for IaC oppsettet til kunden for Azure og Databricks.
Med 16 års erfaring i IT-bransjen har Anders hatt en rekke roller innen utvikling, arkitektur og ledelse. Han brenner for god verktøystøtte, DevOps, programvarekvalitet, arkitektur, .NET, dataplattformer, skytjenester og GNU/Linux.
Emiel Venema
Utvikler – Knowit
Emiel er utvikler hos Knowit Experience Bergen med bachelor i spillteknologi og simulering, og mastergrad i maskinlæring.
Han har jobbet i to år som data scientist med analyse, visualisering og behandling av industriell IoT-data. Det siste året har han i Knowit jobbet med å sette opp skyinfrastruktur for tidsseriedata, ved hjelp av teknologier som Databricks, Azure, Pyspark og Terraform.