HACK4DK 2019: Lydmaleri

Posted on Updated on

Lydmaleri
Screenshot fra Lydmaleri, – mit HACK4DK 2019 bidrag.

I HACK4DK, en årligt tilbagevendende begivenhed i efterårets København, bringer museer, biblioteker, arkiver og hvad der nu ellers er deres åben data så entusiaster i form af programmører, data scientists, designere og lignende kan bygge ting og sager, typisk et computerprogram med en visualisering.

Jeg har vist været med fra 2013. I alle fald har min blog de billedremix jeg lavede: Gammelstrand remixed og Jailhouse remixed, – senere Kulturvet remixed og Fishy fishmongers of Fischer. Nyere HACK4DK bidrag er at finde på https://fnielsen.github.io/. Sidste år blev det til en analyse af danske film med data fra Det Danske Filminstitut via de data som hovedsagligt Steen Thomassen har overført til Wikidata.

HACK4DK 2019 spandt af på SMK på blot halvanden dag, fredag, lørdag, 15.-16. november 2019. Resultatet blev en ganske god række af projekter og visualiseringer. Mens det de tidligere år har været op og ned med folk der har været i stand til at få noget nyttigt ud af deep learning, så var der flere projekter der kom ganske godt i land med denne teknik.

Et projekt kombinerede styleGANs, deoldify og GPT-2 tekst-generering på gamle foto fra Kolding, – et klassisk datasæt i HACK4DK-sammenhænge. En flig af resultatet er vist i et af Andreas Refsgaards tweets. Her bliver der tilsyneladende samplet i et latent underrum og farvelagt via deoldify. Hvad måske var mest interessant var de falske biografier der kunne skabes via den tilhørerende tekst til billederne og GPT-2 samt en smule hjælp i form af begyndelser af tekst. Runway ML var anvendt.

Flere benyttede så vidt jeg forstod prætrænede Javascript-version af style-transfer-netværk, så som arbitrary-image-stylization-tfjs.

Albin Larsson konstruerede en interaktiv visualisering for SMK-malerier, så vidt jeg forstår baseret på Christopher Pietschs VIKUS viewer.

Jeg benyttede malerier og maleridata fra danske samlinger sådan som de er repræsenteret i Wikidata og Wikimedia Commons til Lydmaleri, hvor web-brugeren bliver præsenteret for et maleri med områder bundet til relevante lyde. For eksempel, billedet Et selskab af danske kunstnere i Rom (SMK, Wikipedia, Wikimedia Commons, Wikidata) viser en hund i højre hjørne. Når brugere klikker på hunden i Lydmaleri lyder et vov. Det er også muligt for brugeren at klikke sig videre til andre billeder. Til at få fat i data anvender jeg en SPARQL-forespørgsel der sendes til Wikidata Query Service. Resultatet behandles i websidens Javascript der afspiller lyden når klikket falder i lyd-rektanglet og skifter billedet og lyde ud når der bladres videre.

Lydmaleri benytter ingen maskinlæring. Istedet er objekt-genkendelsen i billedet baseret på informationen der eksplicit er indtastet i Wikidata. For Et selskab af danske kunstnere i Rom er således specificeret at der afbildes en hund og med en såkaldt kvalifikator kan med procent-koordinater angives hvor i billedet hunden befinder sig. Til indtastningen af koordinaterne kan anvendes Lucas Werkmeisters wd-image-positions web-applikation. Dette er en ganske tidsrøvende proces, som jo dog kan gøres kollaborativt på Internettet.

Som frontenddeveloperwannabee kommer mine CSS- og Javascript-evner nogle gange til kort. Billede-loading kunne være hurtigere og positioneringen af billederne og klik-området kunne også forbedres. Der er udfordringer med visse systemer. Således vil Apples Safari-browser tilsyneladende ikke afspille lydene, vistnok fordi OGG-audio-formatet ikke understøttes. Min Ubuntu Firefox og Ubuntu Google Chrome har ikke sådanne problemer. Android-systemer kan have problemer med at vise visse af sidens komponenter sådan som jeg havde tænkt det.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s