Bli med på en hands-on workshop i DataOps og CICD i Databricks. Lær hvordan du effektivt kan jobbe med git-baserte pipeline operations, flytte data pipelines fra utvikling til produksjon, og strukturere miljøer for smidig utvikling. Workshopen er ment å gi praktiske verktøy for å mestre data pipelines og bygge nye dataprodukter.
WORKSHOPEN ER NÅ FULL!
Velkommen til workshop med Databricks og Knowit!
Den 21.november gjennomfører vi en hands-on workshop i DataOps og CICD sammen med Databricks. Workshopen ledes av Pål de Vibe, Principal Engineer AI og Data Engineering.
Tema:
Hvordan kan man jobbe med git baserte pipeline operations i Github?
- Git based Data Pipeline Operations
- Hvordan flytte data pipelines fra dev til prod med Github Actions og Databricks
- Hvordan strukturere miljøer for dev-kjøringer
- Monorepo-mønster for slike pipeline operations
- Separere data og miljøer per git versjon
- Hvordan la brukere jobbe i parallell med forskjellige endringer?
Data pipelines er fler-stegs transformasjoner av datasett, for å kunne bygge nye datasett/dataprodukter. Kursinnholdet er basert på erfaringer fra Skatteetaten, Knowit og andre miljøer.
Praktisk info:
- Tid: Torsdag 21.november kl 16.30-19.30
- Sted: Knowit, Universitetsgata 1, Kolossal 4.etg.
- Frist for påmelding: Mandag 18..november
Påmelding finner du nederst på denne siden ⬇️
Forkunnskaper:
Grunnleggende kunnskap i Python.
Forberedelser:
Ingen forberedelse er nødvendig. Vi bruker e-postadressene du er påmeldt med for å opprette bruker for deg på forhånd. Databricks aksesseres gjennom nettleseren.
P.s. Alle deltakere må varsle sin deltakelse minst 7 dager før, for å sette opp brukere. Send videre til dem hos dere som er interessert.
P.s. Alle deltakere må varsle sin deltakelse minst 7 dager før, for å sette opp brukere. Send videre til dem hos dere som er interessert.
Program:
16.30: Kort om DataOps på Databricks
17.30: Hands-on lab: Praktiske oppgaver med DataOps på Databricks
19.30: Ferdig
17.30: Hands-on lab: Praktiske oppgaver med DataOps på Databricks
19.30: Ferdig
Det blir servert Mexicansk Street Food fra Tortas el Tommy 🌮
Velkommen til workshop!
Workshopen er dessverre full nå!
Foredragsholdere
På de Vibe
Principal Engineer AI og Data Engineering I Knowit
Pål er i oppdrag som rådgiver i Datasamarbeidet for Samferdsel. Han har 18 års erfaring med allmenn sky, i et bredt spekter av sektorer, stacks og selskaper. han har jobbet innen skydataplattformer i 8 år, med teknologier som Dataiku, Databricks, Snowflake, AWS, GCP og Azure, og metoder som datadomener og datamesh. Han har fokusert på praksiser, tjenester og teknologier for offentlig datadeling på nasjonal skala, inkludert Generativ AI-tilnærminger til datadeling.