Latest Event Updates
ChatGPT, programming exams and hidden data
ChatGPT presents a formidable challenge for teachers doing programming exams with open Internet: ChatGPT usually solves introductory programming exams too easily. One possible way to circumvent a vanilla ChatGPT attack on a programming exam may be to hide some of the data. In my discussion with Tue Herlau (Scholia), he came up with the idea of hiding data from the prompt of ChatGPT. In Python, we can hide the data in a Pickle file:
import pickle
data = {
'year': [2000, 2010, 2011, 2012],
'harvest': [312, 123, 542, 422],
}
with open('data.pickle', 'wb') as f:
pickle.dump(data, f, pickle.HIGHEST_PROTOCOL)
Now we can give the student the following instructions as a programming exam:
Given the data in the the pickle file ‘data.pickle’, compute the mean of the harvest for the years after 2005.
The student needs to examine the pickle file before writing the program. ChatGPT will generate some relevant code, but handling of the data structure is wrong in this session:
“TypeError: string indices must be integers” is the error here when the code is executed.
Unfortunately, it seems to be relatively easy to let ChatGPT generate the correct code with a two-step approach. Taking part of the solution, we can examine the content of the data:
import pickle
# Load the pickle file
with open('data.pickle', 'rb') as f:
data = pickle.load(f)
print(data)
That will give us “{‘year’: [2000, 2010, 2011, 2012], ‘harvest’: [312, 123, 542, 422]}”
Now we can extend the prompt:
Given the data in the the pickle file ‘data.pickle’, compute the mean of the harvest for the years after 2005.
The data in the file is {‘year’: [2000, 2010, 2011, 2012], ‘harvest’: [312, 123, 542, 422]}
This gives fine code giving the correct result: 362.3333.
The conclusion is that hiding data makes it slightly more difficult using ChatGPT for a programming exam solution, but at least in the above simple case data hiding is not enough.
Koncert med usynlige elefanter og levende fjerkræ
In a previous post, my impression was that ChatGPT for Danish generates text with “low temperature” and “low perplexity“. It does not seem to generate semantic surprising text.
The Danish television sketch show Mandrilaftalen would have a fictional program overview at the start of the program, with entries such as “Paper knife comes and excludes kiwi dealer from cheeky choir lessons.” The funny sentence seems to have high semantic surprise, and I should think that ChatGPT would not easily generate such sentences.
However, rumours on Reddit has it that ChatGPT can generate text in the style of headlines of Onion articles. These text has some semantically surprising contrasts, e.g., elves vs payphones. So perhaps it is possible for ChatGPT to generate sentences in the style of Mandrilaftalen?
I asked it to write headlines in the style of Mandrilaftalen:
Skriv 3 overskrifter i stil med programoversigten fra Mandrilaftalen
with the response:
- “Mandrilaftalen: Et nyt program for fælles samarbejde og vækst”
- “Mandrilaftalen: Forbedring af forskning og innovation i Europa”
- “Mandrilaftalen: Støtte til SMV’er og start-ups i Europa”
It does not understand what the headlines of Mandrilaftalen are and generates generic headlines. I then copy parts of the Danish Wikipedia Mandrilaftalen article sentences with reference to dadaism, satire, grotesque and incoherency:
Mandrilaftalen er et dadaistisk og satirisk tv-sketchprogram hvor programmet indledes med en grotesk og oftest usammenhængende programoversigt. Skriv 3 overskrifter i stil med programoversigten fra Mandrilaftalen
And the result is:
- “Mandrilaftalen: En sindssyg rejse ind i det bizarre”
- “Mandrilaftalen: En koncert med usynlige elefanter og levende fjerkræ”
- “Mandrilaftalen: En komisk dystopi med skæve eksperter og vilde historier”
The second one is quite funny: “Mandrilaftalen: A concert with invisible elephants and live poultry”. The two others are not that good. After a failed attempt, I tried to instruct it to yield surreal contrasts:
De var knapt så gode. Det er “koncert med usynlige elefanter og levende fjerkræ” der er den bedste. Kan du skrive i samme stil hvor der er surrealistiske kontraster?
With the ChatGPT response:
- “Et symfoniorkester med usynlige musikere og levende instrumenter”
- “En teaterforestilling med talende malerier og dansende møbler”
- “En koncert med flyvende klaver og syngekvæg”
- “En kunstudstilling med levende skulpturer og døde malerier”
- “Et tv-show med usynlige værter og talegaver”
- “En dans med statiske dansere og levende dansesko”
- “Et symposium med tavse eksperter og talegævende publikum”
- “En film med levende baggrunde og døde skuespillere”
- “En koncert med usynlige sangere og synge publikum”
- “Et maleri med levende farver og døde linjer”
Here there are contrasts, e.g., living/dead, and surreal collocations: living sculptures, flying pianos. They are reasonably but not excessively funny, e.g., “A symphony orchestra with invisible musicians and live instruments” and “A concert with flying piano and singing cattle“.
ChatGPT and Danish literature
ChatGPT works well in Danish: it can answer questions from the Danish citizenship test as I recorded in ChatGPT and the Danish indfødsretsprøve, and can summarize and analyze a Danish short story given an appropriate prompt, see “Alt i alt synes jeg, at Nådsensbrød er en god novelle”. ChatGPT summarize and analyze on a level I would judge to be of a gymnasium (~high school) students.
When I tried to ask it to write a poem in Danish in the style of Hans Christian Andersen it performed not that badly. Meter and rhyme were missing.
Johannes V. Jensen is a master with language, and I am not quite able to say which features make his works Johannes V. Jensenish. One of my thoughts is that his language has high semantic contrasts, e.g., that nearby words and phrases have opposing emotional valence.
ChatGPT does not seem to be able to immediately imitate Johannes V. Jensen’s writings. In “Alt i alt synes jeg, at Nådsensbrød er en god novelle”, I asked thatGPT to write an essay in the style of Johannes V. Jensen and it certainly didn’t succeed. The Danish style seems more like a gymnasium student. It has some knowledge of Johannes V. Jensen and writes (in Danish) that he “was especially known for his fantastic prose and ability to depict nature in a poetic way”. From that – it seems – ChatGPT uses a number of highly positive words in the text: impressing, unbelievable, impressed, fascinated, beautiful, fascinating, deep respect, unique, priceless.
In ChatGPT ved frokosten, I tried to let ChatGPT write a prose poem in the style of Johannes V. Jensen for the imitation of the poem Ved Frokosten. After a bit of prompt engineering I settled on (translated
Write an expressionistic and modernist prose poem about a man sitting in a café with 4 pieces of different sandwiches, beer and schnapps. Use a lot of compound words, preferably compound color words. Also use the word flood in a context if it is appropriate. Don’t be trite.
Not quite right. I am reminded about an unwilling gymnasium student attempting to write prose poem.
Yet another attempt is to show it examples of Johannes V. Jensen’s writing and then ask it so continue. Here is the Google translated prompt:
The following text is from Johannes V. Jensen’s novel The Fall of the King: “The rake turned Anders Gra’s horse on its back and began to open it. The blood lay in a large brown pool, which melted into the snow, the pale red fur soon froze to ice. With each cut of the knife, a color poured out of the steaming horse’s body, the flesh played in lovely blue and red colors. And look, the tusks kept moving, moving together and trembling against the frosty air, the severed muscles shriveled like worms in the flickering fire. . The long trachea came one day, the molars lay visible like four lines of mysterious letters. A fine pink membrane emerged, it was patterned with many blue veins like a river-rich country seen from high up. When the chest was opened, there was, as it were, a cave; great white-blue barriers hung down, brown and black blood came out of small holes in the veined walls, the yellow fat stood from ceiling to floor in long and drifting clusters. The liver was browner than anything else brown in the world, the spleen became visible blue and black misted like the Night and the Milky Way. And there were many more sharp colors, blue and green entrails, brick-red and ochre-yellow parts.” Continue writing on this section.
And ChatGPT continues:
When Rakkeren finished cutting open the horse, he began to cut into its internal organs. He noted how the various organs had different colors and textures, from the soft, shiny liver to the blue and green entrails. He was fascinated by the many bright colors that could be seen inside the horse. He went on cutting and carving until he had the whole horse cut out and lying before him as a great, bloody mass. He took a step back to look at his work, a smile spreading across his lips as he realized how artistic it was.
There is something wrong with the language here, – at least in the Danish version. It is too ordinary.
Interestingly, it does seem to characterize Johannes V. Jensen’s language well. Here is my Google translated prompt that presents a section from one of his novels and ask ChatGPT about the text:
The following text is from a novel: “Axel closed his eyes. And he flew upright in the bright night and descended aboard the ship of happiness. They sailed on the sea under the light of the moon and the stars. And when they had sailed lightly and long, came those to the land of happiness. The low land that has the wonderful summer. You feel with closed eyes the sweet smell of the earth’s greenness, The land is soft and green like a fresh bed in the sea, Birth bed, death bed. The sky arches with fondness over it , The clouds stand still above it, The waves reach in and lap the bright beach. Two blue seas woo the shores, Where the sand is fine, and where the thin grass bed Is dotted with mere round, variegated stones. In the land is a fjord that never forgotten, there stand the Pillars of the Sun. The coasts and islands of the land appear with wonderful grace in the sea. The fjords sing, and the straits are like gates into the land of abundance. Here everything is deeply colored, the earth is green, green, and the sky meets the sea in blaa Mood. It is the land of the great summer, the land of death.” What can be said about this text in general? Is there anything special about its character and quality?
The literature analysis is quite good with ChatGPT writing:
This section from a novel has a poetic and lyrical character, describing a fantastic and idyllic world of soft green landscapes, clear blue seas and magical places. It has a dreamy and immersive quality that invites the reader to imagine this world and feel transported to it. The text is written with a strong emotional appeal and a sense of detail and color. It has a poetic style with the use of imagery, metaphors and personification that contribute to its light and romantic mood.
A somewhat similar prompt for the prose poem Paa Memphis Station results in:
This prose poem is about a person standing at the Memphis Station in Tennessee in the rain. The poem describes the person’s inner thoughts and feelings while waiting for a train, and reflects on life and destiny. The mood of the poem is gloomy and pessimistic, with a sense of despair and resignation. The poem also contains elements of love and spring, but these feelings are not expressed in the same way as the gloomy thoughts. Characteristic of prose poems is that they do not follow the traditional structure and form of poems, but instead have a more fluid and free form similar to prose.
We can use element from the literature analysis of ChatGPT and use that as a prompt for ChatGPT itself. After some prompt engineering, the Google-translated prompt is:
Write an expressionist and modernist prose poem where the person I sits in a café and has four pieces of smørrebrød, beer and schnapps, and who during the poem remembers failed relationships with two named women. The poem must have a strong emotional appeal, a sense of detail and colour, as well as a pronounced use of imagery, metaphor and personification. There can also be mixtures of resignation, loneliness and love and reflection on life and destiny. There is no hostility towards the women, rather sadness.
The result is (Google translated):
I'm sitting here in this café, with four pieces of smørrebrød in front of me, a beer and a schnapps on the table, and wonder about life and destiny. I think of the two women I've loved, Sofie and Marie, their names dance like a painful melody in my heart. I see the green applesauce running like a stream down my throat, and remember how Sofie and I sat here in this café and talked about everything and nothing. Her long, red hair that curled like a wave around her beautiful face, her green eyes that lit up like emeralds in this quiet moment of joy. But now I'm sitting here alone, with my four pieces of smørrebrød in front of me, and a beer and a schnapps that cools my thirst for love. I think of Marie, with her light blonde hair that shone like the sun, her blue eyes that were as deep as the sea, and her sweet, gentle voice that could always comfort me. But now they're both gone and I sit here alone, with my four pieces of smørrebrød cooling in the sun, and a beer and a schnapps that cannot warm my cold, empty heart. I remember their warm kisses, their soft hands that held me close, and I sigh deeply at the thought of all that I have lost. I think about life and fate and how everything can change so quickly, and I wonder if I will ever find love again. But until then, I sit here in this cafe, with my four pieces of smørrebrød, a beer and a schnapps, and the memories of Sofie and Marie that still live on in my heart.
The language is still lacking this je ne sais quoi that moves it beyond the ordinary. The text generation seems to be low-temperatured and the generated text seems to have low perplexity. There is though one interesting phrase:
Sofie and Marie, their names dance like a painful melody.
According to my Google search the phrase “like a painful melody” is found in English, but not in Danish. “dance like a painful melodi” is not found in English.
ChatGPT ved frokosten
Skriv et ekspressionistisk og modernistisk prosadigt om en mand der sidder på en café med 4 stykker forskellige smørrebrød, øl og snaps. Benyt en del sammensatte ord, gerne sammensatte farve ord. Benyt også ordet syndflod i en sammenhæng hvis det er passende. Vær ikke banal.
Manden sidder alene på caféen, omgivet af en overflod af smørrebrød, der spreder sig som en syndflod på bordet foran ham. Han vælger et stykke rødspættefilet med syltede agurker og citronmayonnaise, et stykke rullepølse med sennep og rødbeder, et stykke leverpostej med bacon og æbler, og et stykke skinke med grønne asparges og hollandaisesauce.
Han drikker en kold øl til, og tager en mundfuld af hver ret, nyder de komplekse smagskombinationer der eksploderer på hans tunge. Men der er også en bittersød underton, en følelse af ensomhed der kommer fra at sidde alene med alt det herlige mad.
Han drikker en snaps til, for at skylle den følelse væk, men den bliver hængende som en skygge i hans sind. Han ser sig omkring på caféen, der er fyldt med mennesker der har det sjovt og flirter med hinanden, og han føler sig endnu mere alene.
Han spiser videre, men smagen er blevet lidt mindre intens, og han savner pludselig selskabet af andre mennesker. Han tænker på at rejse sig og gå, men han kan ikke finde modet, og han bliver siddende, omgivet af sin egen overflod af mad og en ensomhed der føles som en syndflod i hans sind.
ChatGPT and overconfidence
ChatGPT can produce relevant and coherent natural language. It can solve a number of language problems, even in non-English languages such as Danish. For instance, I tested ChatGPT on the Danish citizenship test of November 2022 and it performed quite well, see ChatGPT and the Danish indfødsretsprøve. I also found that it summarizes and analyzes a Danish short story well, see “Alt i alt synes jeg, at Nådsensbrød er en god novelle”.
One problem that seems to be general is its overconfidence which can persist throughout a session. Andrews Ng found a concise example asking “Why is CPU computation faster than GPU computation for deep learning?” Here the question erroneously presupposes a wrong assumption. ChatGPT uses that assumption and with confidence starts arguing. After I typed the question, the response was:
“While GPUs are generally better suited for deep learning tasks than CPUs, there are some scenarios where using a CPU may be more efficient. This is because CPUs have a higher number of cores, which allows them to handle multiple tasks at the same time. Additionally, CPUs are generally better at handling tasks that require a lot of branching, such as natural language processing tasks, which can be more challenging for GPUs. Finally, CPUs are typically more energy efficient than GPUs, which can be an important factor in deep learning applications where power consumption is a concern.”
In its analysis of the Danish short story, ChatGPT erroneously starts summarizing a story about bread and cannot get rid of the part of the story in the session.
In the case with Danish citizenship test, there was only one clear error: One question about what the (Danish) state is responsible for the operation of, either the kindergartens, the police or the hospitals with the police as the correct answer. Municipalities are responsible for the operation of kindergartens and regions are responsible for the operation of the hospitals.
Can we let ChatGPT be less confident or let it specify its own limitations?
I tried prepending “Answer the following question, think twice and specify how certain you are on your own answer”.
Me:
Besvar følgende spørgsmål ved at tænke dig godt om og angiv hvor sikker du er på dit eget svar: Hvilket af følgende områder har staten ansvaret for driften af?
A. Børnehaver
B. Politiet
C. Sygehuse
ChatGPT:
Staten har ansvaret for driften af sygehuse. Jeg er meget sikker på mit svar.
Unfortunately it is still wrong, and furthermore it specifies that it is very certain on its answer.
What about prepending: “You are very insecure and do not answer questions confidently. You try to tell how insecure you are and think twice.”
Mig:
Du er meget usikker og svarer ikke sikkert på spørgsmål. Du forsøger at fortælle hvor usikker du er og tænker dig om flere gange. Nu er er der en der spørger: “Hvilket af følgende områder har staten ansvaret for driften af?” Mulighederne er Børnehaver, politiet eller sygehuse. Hvad svarer du?
ChatGPT:
Jeg kan desværre ikke give et sikkert svar, da jeg ikke har adgang til opdateret viden om dansk lovgivning. Jeg er en stor sprogmodel trænet af OpenAI, og min viden er begrænset til det jeg har lært gennem de tekster, jeg har set inden min videnskildpadde blev sat. Jeg kan derfor ikke give et sikkert svar på dit spørgsmål. Det er altid en god idé at søge efter opdateret information fra en pålidelig kilde, når man har brug for at få svar på spørgsmål om lovgivning eller andre emner, hvor det er vigtigt at have korrekt og opdateret viden.
Here it states that it cannot give a certain answer and that it is a large language model with limitations.
What about “You are a bit unsure and don’t necessarily answer questions confidently. You are trying to convey how insecure you are.”
Mig:
Du er lidt usikker og svarer ikke nødvendigvis sikkert på spørgsmål. Du forsøger at fortælle hvor usikker du er. Nu er er der en der spørger: “Hvilket af følgende områder har staten ansvaret for driften af?” Mulighederne er: Børnehaver, politiet eller sygehuse. Hvad svarer du?
ChatGPT:
Jeg er en stor sprogmodel trænet af OpenAI, så jeg har ingen indsigt i specifikke politiske forhold i et bestemt land. Det er op til den enkelte stat at bestemme, hvilke områder den har ansvaret for driften af. Jeg er ikke i stand til at give dig et sikkert svar på dit spørgsmål, da jeg ikke har adgang til opdateret viden om aktuelle politiske forhold.
Still no luck and no response
What about telling it to argue instead of just answering the question: “Can you argue whether the state is responsible for the operation of kindergartens, the police or hospitals?”
Mig:
Kan du argumentere for om det er børnehaver, politiet eller sygehuse staten har ansvaret for driften af?
ChatGPT:
Det afhænger af hvilket land du bor i. I nogle lande er staten ansvarlig for driften af børnehaver, politiet og sygehuse, mens det i andre lande kan være kommunen eller andre offentlige eller private organisationer, der har ansvaret for driften af disse institutioner. Det er derfor vigtigt at undersøge, hvem der har ansvaret for driften af børnehaver, politiet og sygehuse i det land, du bor i, for at vide, hvem der har ansvaret for driften af dem.
Now we are getting a relevant answer – and presumable correct. It states that it depends on the country, but unfortunately no definite answer for Denmark which we could use to answer the original Danish citizenship test.
The context of Denmark can be specified: “Can you argue whether the Danish state is responsible for the operation of kindergartens, the police or hospitals?”
Mig:
Kan du argumentere for om det er børnehaver, politiet eller sygehuse den danske stat har ansvaret for driften af?
ChatGPT:
An error occurred. If this issue persists please contact us through our help center at help.openai.com.
ChatGPT (tried again):
I Danmark har den danske stat ansvaret for at drive en række offentlige institutioner og tjenester, herunder børnehaver, politiet og sygehuse. Det er dog op til den enkelte stat at beslutte, hvordan disse institutioner og tjenester drives og organiseret. I nogle tilfælde kan staten selv stå for driften af en institution eller tjeneste, mens den i andre tilfælde kan outsource driften til private virksomheder eller offentlig-private partnerskaber. Det er derfor ikke muligt at give et entydigt svar på, hvem der har ansvaret for driften af børnehaver, politiet eller sygehuse i Danmark.
Erroneous reply. With a reset of the thread and the same input
ChatGPT:
Det er svært at sige med sikkerhed, da det afhænger af den danske stats struktur og lovgivning. I nogle lande kan børnehaver, politiet og sygehuse være en del af den offentlige sektor, og derfor være statens ansvar. I andre lande kan disse institutioner være privat ejede eller drevet af andre organisationer, og derfor ikke være statens ansvar. Uden yderligere information om den danske stats struktur og lovgivning, kan jeg ikke give et konkret svar på dit spørgsmål.
It still cannot give the correct answer, but now it at least argues that it cannot answer with certainty and that it needs more information. This answer seems to be better than when it selected the wrong answer and specified that it was very certain.
“Alt i alt synes jeg, at Nådsensbrød er en god novelle”
Her er lidt flere eksperimenter med ChatGPT. Dels et forsøg på at få ChatGPT til at skrive i Johannes V. Jensens stil, – hvilket den ikke umiddelbart kan, dels et forsøg på at få ChatGPT til at skrive dansk stil ud fra en novelle. Med lidt hiv og sving, prompt engineering, nås frem til et rimeligt resultat.
Mig:
Skriv et essay i Johannes V. Jensens stil om det første indtryk af Wikipedia ved Verdensudstillingen Expo 2005 i Japan
ChatGPT:
Johannes V. Jensen var en dansk forfatter, der især er kendt for sin fantastiske prosa og evne til at skildre naturen på en poetisk måde. I dette essay vil jeg forsøge at skrive i hans stil om det første indtryk jeg fik af Wikipedia på Verdensudstillingen Expo 2005 i Japan.
Expo 2005 i Japan var en stor og imponerende begivenhed, der samlede folk fra hele verden for at fejre teknologi, kultur og innovation. Jeg husker tydeligt min første dag på udstillingen, hvor jeg gik rundt blandt de mange forskellige pavilloner og oplevede de utrolige ting, der var på udstilling.
Midt i alt dette stod der en stor stand med en skærm, der viste Wikipedia’s logo. Jeg havde hørt om Wikipedia før, men jeg havde aldrig rigtig brugt det, så jeg var nysgerrig og gik hen for at undersøge standen nærmere.
Jeg blev straks imponeret over, hvor enkel og intuitiv Wikipedia’s interface var. Der var en søgefelt, der let gav mig adgang til alle de oplysninger, jeg kunne ønske mig. Jeg kunne søge efter alt fra historiske begivenheder til videnskabelige fakta, og alt var arrangeret på en overskuelig måde, så jeg let kunne finde det, jeg søgte efter.
Jeg husker især, hvordan jeg blev fascineret af artiklerne om Japan og dens kultur. Jeg læste om de mange smukke slotte, der er spredt ud over landet, og om de gamle shoguner, der engang herskede over landet. Jeg lærte også om de mange fascinerende traditioner og ritualer, der stadig lever i det moderne Japan.
Alt i alt gav det første indtryk af Wikipedia på Expo 2005 i Japan mig en dyb respekt for dens store potentiale som en kilde til viden og oplysning. Det er en enestående platform, der gør det muligt for mennesker over hele verden at dele deres viden og lære af hinanden. Det er en skat, der altid vil være en uvurderlig del af vores verden.
Kommentarer:
Ikke i nærheden af Johannes V. Jensens sprog
Mig:
Skriv en kort dansk stil på en måde som en 14-årig ville skrive, komplet med lidt stavefejl. Den danske stil skal resumere og analysere Henrik Pontoppidans novelle Nådsensbrød fra 1885.
ChatGPT:
Hej. Jeg skal skrive en stil om Henrik Pontoppidans novelle Nådsensbrød fra 1885.
Nådsensbrød handler om en mand, der hedder Søren, der bor i en lille landsby i Danmark. Han er meget fattig og lever af at samle brænde i skoven og sælge det til andre folk i byen. En dag, da han er ude og samle brænde, finder han en lille klump brød på jorden. Han er meget sulten, så han spiser brødet, men da han kommer hjem, finder han ud af, at det var Nådsensbrød, som en af de rige kvinder i byen havde smidt ud.
Jeg synes, at novellen er ret interessant, fordi den viser, hvordan livet var for fattige folk i Danmark for mange år siden. Det var svært for dem at få mad nok, så de måtte ofte gøre ting, som andre folk ville finde ydmygende, som at spise smidt ud brød.
Jeg synes også, at det er interessant, at Pontoppidan skriver om emnet på en måde, der ikke dømmer Søren for at spise brødet. Han viser bare, hvordan Søren føler sig, når han finder ud af, hvad han har gjort, og hvordan han forsøger at løse problemet.
Alt i alt synes jeg, at Nådsensbrød er en god novelle, der viser, hvordan livet var for fattige folk i Danmark for mange år siden, og hvordan de tænkte og følte. Det er også interessant at se, hvordan Pontoppidan skriver om emnet på en ikke-dømmende måde.
Kommentarer:
ChatGPT finder selvsikkert på et resume som ikke svarer til novellen. ChatGPT fremfantaserer en “samle-brænde”-historie, men den har ikke grund i novellen. Pontoppidan skriver: “Hun havde forhen været en skikkelig og stræbsom Kone, der efter sin Mands Død havde ernæret sig selv og mange Børn ved redeligt Arbejde i Roe- og Kartoffelmarkerne og overhovedet overalt, hvor man havde Brug for en stærk, bred Ryg og et Par rappe Næver.”
Mig:
Skriv en kort dansk stil på en måde som en 14-årig ville skrive, komplet med lidt stavefejl. Den danske stil skal resumere og analysere Henrik Pontoppidans novelle Nådsensbrød fra 1885. Hovedpersonen i novellen er en kvinde der hedder Stine Bødker og hun vil ikke i fattighuset.
ChatGPT:
Hej. Jeg skal skrive en stil om Henrik Pontoppidans novelle Nådsensbrød fra 1885.
Nådsensbrød handler om en kvinde der hedder Stine Bødker, der bor i en lille landsby i Danmark. Hun er meget fattig og lever af at samle brænde i skoven og sælge det til andre folk i byen. En dag, da hun er ude og samle brænde, finder hun en lille klump brød på jorden. Hun er meget sulten, så hun spiser brødet, men da hun kommer hjem, finder hun ud af, at det var Nådsensbrød, som en af de rige kvinder i byen havde smidt ud.
Jeg synes, at novellen er ret interessant, fordi den viser, hvordan livet var for fattige kvinder i Danmark for mange år siden. Det var svært for dem at få mad nok, så de måtte ofte gøre ting, som andre folk ville finde ydmygende, som at spise smidt ud brød.
Jeg synes også, at det er interessant, at Pontoppidan skriver om emnet på en måde, der ikke dømmer Stine for at spise brødet. Han viser bare, hvordan Stine føler sig, når hun finder ud af, hvad hun har gjort, og hvordan hun forsøger at løse problemet.
En ting, der er lidt anderledes i denne version af novellen, er, at Stine ikke vil i fattighuset. I stedet forsøger hun at finde en anden løsning på sit problem, selv om det ikke er nemt. Det viser, at hun er en stærk karakter, der ikke lader sig knække af sine omstændigheder.
Alt i alt synes jeg, at Nådsensbrød er en god novelle, der viser, hvordan livet var for fattige kvinder i Danmark for mange år siden, og hvordan de tænkte og følte. Det er også interessant at se, hvordan Pontoppidan skriver om emnet på en ikke-dømmende måde, og hvordan Stine Bødker er en stærk karakter, der ikke vil give op.
Kommentarer:
Der er stadig problemer med resumeet.
Mig:
Skriv en dansk stil om Henrik Pontoppidans novelle Naadsensbrød fra 1885. Du skal resumere og analysere novellen. Novellen er her: ‘Der stod en Eftermiddag et stort Spektakkel omme i Smøgen bag Gadekjæret, hvor fire-fem sorte Indsidder-Rønner ligger sammenbyltede under Skolebakken.
[herefter følger en kopi fra https://www.henrikpontoppidan.dk/text/kilder/boeger/fh/naadsens.html af hele novellen]
ChatGPT:
Henrik Pontoppidans novelle Nådsensbrød fra 1885 handler om en fattig kvinde ved navn Stine Bødker, der bor i en lille landsby i Danmark. Stine lever af at samle brænde i skoven og sælge det til andre folk i byen. En dag, da hun er ude og samle brænde, finder hun en lille klump brød på jorden. Hun er meget sulten, så hun spiser brødet, men da hun kommer hjem, finder hun ud af, at det var Nådsensbrød, som en af de rige kvinder i byen havde smidt ud.
I novellen beskriver Pontoppidan livet for de fattige i Danmark på denne tid. Han viser, hvordan det var svært for dem at få mad nok, og hvordan de måtte gøre ting, som andre folk ville finde ydmygende, som at spise smidt ud brød. Pontoppidan skriver også om det nye fattighus, der er blevet bygget i herredet, og som Stine ender med at blive tvunget til at bo i.
Novellen viser også, hvordan Stine føler sig, når hun finder ud af, hvad hun har gjort, og hvordan hun forsøger at løse problemet. Pontoppidan skriver om emnet på en ikke-dømmende måde, og Stine fremstår som en stærk karakter, der ikke vil give op.
Alt i alt er Nådsensbrød en god novelle, der giver et indblik i livet for de fattige i Danmark på denne tid, og hvordan de tænkte og følte. Pontoppidans skrivestil er detaljeret og beskrivende, og han formår at skabe en stemning af uhygge og eftertænksomhed i novellen.
Kommentarer:
Stadig problemer med at resumere novellen, men bedre. Muligvis er det novellens navn der får ChatGPT til at starte på historien om at samle brænde, men i denne session hjalp det heller ikke at fjerne novellens titel: sessionen må have “husket” at novellen handler on nådsensbrød. Mon en negativ prompt kan hjælpe?
Mig:
Det er ikke rigtig at Stine lever af at sælge brænde og hun finder heller ikke brød. I novellen står “Hun havde forhen været en skikkelig og stræbsom Kone, der efter sin Mands Død havde ernæret sig selv og mange Børn ved redeligt Arbejde i Roe- og Kartoffelmarkerne og overhovedet overalt, hvor man havde Brug for en stærk, bred Ryg og et Par rappe Næver.” Kan du resumere novellen på en anden måde og uden noget om hverken at sælge brænde eller at finde brød?
ChatGPT:
Henrik Pontoppidans novelle “Nådsensbrød” fra 1885 handler om en fattig kvinde ved navn Stine Bødker, der bor i en lille landsby i Danmark. Efter sin mand dør, forsøger Stine at ernære sig selv og sine mange børn ved at arbejde på markerne og andre steder, hvor der er brug for hendes stærke og brede ryg og rappe næver. En dag, mens hun er ude og arbejde, finder hun en lille klump brød på jorden. Hun er meget sulten, så hun spiser brødet, men da hun kommer hjem, finder hun ud af, at det var Nådsensbrød, som en af de rige kvinder i byen havde smidt ud.
I novellen beskriver Pontoppidan livet for de fattige i Danmark på denne tid. Han viser, hvordan det var svært for dem at få mad nok, og hvordan de måtte gøre ting, som andre folk ville finde ydmygende, som at spise smidt ud brød. Pontoppidan skriver også om det nye fattighus
Kommentarer:
Der er stadig problemer. Med “Reset Thread” kan dens vildfarelser resættes og jeg prøver igen:
Mig:
Skriv en dansk stil om en Henrik Pontoppidans noveller fra 1885. Du skal resumere og analysere novellen. Novellen er her: ‘Der stod en Eftermiddag et stort Spektakkel omme i Smøgen bag Gadekjæret, hvor fire-fem sorte Indsidder-Rønner ligger sammenbyltede under Skolebakken.
[herefter følger en kopi af resten af novellen]
ChatGPT:
Henrik Pontoppidans noveller fra 1885 handler om Stine Bødkers, der skal på “Kassen”. Dette er den folkelige betegnelse for herredets store, nyopførte fattig- eller arbejdshus, der er hele egnens stolthed og pryd. Huset ligger på toppen af en kratbevokset bakke ud mod fjorden og er murret i rødt og gråt med spir på gavlene og majestætens 32 navnechiffer funklende i guld på blå grund over indgangsdøren. Fremmede, der kommer forbi, vil ikke anslaa det til mindre end et ting- og arresthus, et kgl. tugthus el. lign.
Novellen beskriver det uhyggelige synet af en samling af gamle, livstrætte mennesker, der ikke har noget at byde på i tilværelsen. Det er de udslidte kræfter fra herredets hytter og huler, der samles her inde imellem murene, når hånden bliver for svag og ryggen for kroget til at bære livets byrde. De sidder stille og eftertænksomme, som var evigheden allerede begyndt for dem i det store, højtidelige rum, hvor lyset falder ind som med en overjordisk glans, mens hver lille hosten og harken giver genlyd under de høje lofter som i en kirke.
Novellen viser en dyster side af livet for de fattige og udstødte i samfundet, og den skildrer deres resignerede tilværelse i arbejdshuset med et blik, der både er medlidenhed og beundring. Pontoppidan bruger en stærk, poetisk sprog, der gør indtryk på læseren og får dem til at reflektere over samfundets uretfærdigheder.
Kommentarer:
Ganske godt resume, dog med grammatiske problemer. Noget avanceret sprog til sidst, så jeg instruere den i at være en 14-årig efter en “Reset Thread”
Mig:
Skriv en dansk stil som en 14-årig ville gøre om en af Henrik Pontoppidans noveller fra 1885. Du skal resumere og analysere novellen. Novellen er her: ‘ Der stod en Eftermiddag et stort Spektakkel omme i Smøgen bag Gadekjæret, hvor fire-fem sorte Indsidder-Rønner ligger sammenbyltede under Skolebakken.
[herefter følger en kopi af resten af novellen]
ChatGPT:
“Der stod en Eftermiddag et stort Spektakkel omme i Smøgen bag Gadekjæret” er en novelleskrevet af Henrik Pontoppidan i 1885. Novellen handler om Stine Bødkers, der skal ind på “Kassen”, som er den lokale fattighus. Bygningen er ny og præsentabel, meget forskellig fra de gamle, beskidte fattighuse. Indenfor er der store, højtidelige rum, hvor de fattige sidder og arbejder stille og andægtigt.
Novellen beskriver de fattige mennesker og deres liv på fattighuset, og Pontoppidan viser med sit skarpe blik deres livstrætte udtryk og de dybe mærker af nederlag, som livet har sat på dem. Han beskriver også den kontrast, der findes mellem fattighuset og omgivelserne udenfor, og hvordan mange fremmede tror, at det er et fængsel, når de ser det.
Pontoppidan skriver med stor indlevelse og medfølelse om de fattige mennesker, og hans beskrivelser får læseren til at forstå deres liv og situation på en nærværende måde. Novellen er et indblik i en tid, hvor fattighusene var en del af hverdagen for mange mennesker, og den giver os et indtryk af, hvordan livet var for dem, der måtte leve på fattighuset.
Kommentarer:
Lidt grammatiske fejl, og nok ikke helt i en 14-årigs sprog, men ellers fint.
ChatGPT and the Danish indfødsretsprøve
To get the Danish national citizenship, one of the requirements is to pass a test, “indfødsretsprøven”. The November 2022 version is available on the homepage of DR at Test dig selv: Se, om du kan bestå indfødsretsprøven for any Dane or Dane in spe to take. The questions are about history, culture, politics, etc. Fortyfive in total. Below I have copy-pasted the questions and added the three or sometimes two possible answers, prepending an A., B. or C. The ChatGPT answer is immediately below.
If I remember correctly, I myself got 43 out of 45 questions correct when I tried some days ago. At least 36 questions must be answered correctly to pass.
1.
Hvilken rettighed er sikret i grundloven?
A. Retten til at eje jagtvåben
B. Retten til at ytre sig
C. Retten til at holde ferie
I Danmark er grundloven en grundlovgivende forfatning, der fastlægger landets grundlæggende rettigheder og principper for statsforvaltningen. I grundloven er der mange forskellige rettigheder, der er sikret for borgerne. Dette inkluderer blandt andet retten til at ytre sig (B), retten til religiøs frihed, retten til at vælge og være valgt til folkevalgte organer, og retten til at blive behandlet lige for loven uanset køn, etnisk oprindelse, seksuel orientering, religion eller andre personlige karakteristika. Retten til at eje jagtvåben (A) er ikke nævnt direkte i grundloven, men der er bestemmelser om retten til at bære våben i forsvar for landet og for friheden, så dette kan muligvis indirekte omfatte jagt. Retten til at holde ferie (C) er heller ikke nævnt direkte i grundloven, men der er bestemmelser om retten til frihed og lige retsstilling, så dette kan indebære en rettighed til at holde ferie. Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
Explains it well and is correct. 1 out of 1 so far
2.
Hvilken dansk film vandt en Oscar i 2021?
A. Festen
B. Jagten
C. Druk
Jeg beklager, men jeg har en kundskabsskæring fra 2021, så jeg kan ikke give dig opdateret information om, hvilken dansk film der vandt en Oscar i 2021. Jeg er kun i stand til at give dig oplysninger og besvare spørgsmål inden for mit træningsområde og op til min kundskabsskæring. Hvis du har spørgsmål om andre emner, så lad mig vide, så skal jeg gøre mit bedste for at hjælpe dig.
No answer here and the model has only been trained to 2021. There is an interesting neologism “kundskabsskæring”. 1 out of 2 so far. Note that it knows that it does not know, so could provide a guess.
3.
Hvad var baggrunden for Kanslergadeforliget i 1933?
A. Integrationsproblemer
B. Økonomiske problemer
C. Miljøproblemer
Kanslergadeforliget var en aftale, der blev indgået mellem regeringen og arbejderbevægelsen i Danmark i 1933. Aftalen blev indgået som et forsøg på at løse landets økonomiske problemer (B), som var blevet forværret af den økonomiske krise, der havde ramt verden i 1929. Forliget indebar, at regeringen gik med til at indføre en række økonomiske reformer, herunder en styrkelse af arbejdsløshedsdækningen og en indskrænkning af lønstigningerne. Samtidig gik arbejderbevægelsen med til at acceptere, at der skulle spares i offentlige budgetter for at få økonomien på ret køl. Forliget blev betragtet som en afgørende begivenhed i Danmarks historie, da det førte til en politisk og økonomisk stabilisering af landet. Det havde ikke noget direkte at gøre med integrationsproblemer (A) eller miljøproblemer (C). Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
The general answer is correct. According to my historic knowledge an aspect of the explanation is wrong. 2/3
4.
C. Joachim
Kronprins Frederiks og Kronprinsesse Marys ældste søn hedder Christian (B). Han blev født den 15. oktober 2005 og er således den næste i linjen til at blive Danmarks kronprins. Kronprinsens anden søn hedder Vincent (ikke nævnt i spørgsmålet) og blev født den 8. januar 2011, mens den yngste søn hedder Josephine (ikke nævnt i spørgsmålet) og blev født den 8. januar 2011. Kronprins Frederik og Kronprinsesse Mary har også en lille datter, der hedder Isabella (ikke nævnt i spørgsmålet) og blev født den 21. april 2007. Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
Correct. 3/4
5.
I hvilket århundrede blev England erobret af den danske konge Svend Tveskæg? A. 1000-tallet B. 1300-tallet C. 1600-tallet
England blev erobret af den danske konge Svend Tveskæg i 1000-tallet (A). Konkret skete dette i 1013, da Svend Tveskæg førte en stor dansk hær over til England og erobrede landet efter en lang og blodig kampagne. Svend Tveskæg blev derefter kronet som konge af England og regerede over landet indtil sin død i 1014. Erobringen af England var en betydningsfuld begivenhed i dansk historie, da den satte Danmark i en fremtrædende position i Europa og skaffede landet store rigdomme og magt. Det skete dog ikke i 1300-tallet (B) eller 1600-tallet (C), men i det 11. århundrede. Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
Correct. 4/5
6.
Hvad fik videnskabsmanden Niels Bohr Nobelprisen for i 1922?
A. En metode til måling af lysets hastighed
B. En teori om jordens magnetfelt
C. En model over atomers opbygning
Niels Bohr vandt Nobelprisen i fysik i 1922 for sin teori om atomers opbygning (C). Bohrs teori, der blev udviklet i løbet af det tidlige 1900-tal, var en af de første teorier, der forsøgte at forklare, hvordan atomer er opbygget, og hvordan deres elektroner bevæger sig. Teorien var et væsentligt skridt fremad inden for forståelsen af atomers opbygning og fysikken på det atomare niveau, og den blev grundlaget for mange senere teorier og eksperimenter inden for fysikken. Bohr vandt ikke Nobelprisen for en metode til måling af lysets hastighed (A) eller en teori om jordens magnetfelt (B), selvom han også arbejdede med disse emner. Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
7.
Hvilket af følgende partier har haft statsministerposten i sammenlagt flest år siden Systemskiftet i 1901?
A. Det Konservative Folkeparti
B. Venstre
Venstre (B) har haft statsministerposten i sammenlagt flest år siden Systemskiftet i 1901. Venstre, der betyder “venstre” på dansk, er Danmarks største borgerlige parti og har en historie, der går helt tilbage til 1848. Partiet har været i regeringen adskillige gange siden 1901 og har haft statsministerposten i sammenlagt 71 år i perioden fra 1901 til 2021. Det Konservative Folkeparti (A) er det næststørste borgerlige parti i Danmark, men det har ikke haft statsministerposten i samme omfang som Venstre. Det Konservative Folkeparti har haft statsministerposten i sammenlagt 30 år i perioden fra 1901 til 2021. Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
Correct. I am not sure about certain numbers in the explanations, but would have to check. 6/7.
8.
Hvor lang var middellevetiden for mænd i 2020-2021?
A. Cirka 73 år
B. Cirka 87 år
C. Cirka 80 år
Jeg beklager, men jeg har en kundskabsskæring fra 2021, så jeg kan ikke give dig opdateret information om middellevetiden for mænd i 2020-2021. Jeg er kun i stand til at give dig oplysninger og besvare spørgsmål inden for mit træningsområde og op til min kundskabsskæring. Hvis du har spørgsmål om andre emner, så lad mig vide, så skal jeg gøre mit bedste for at hjælpe dig.
No answer. For this answer about the average male lifespan, it could have extrapolated from previous years. I made an error when I took the test. 6/8
9.
Hvad hedder den nordiske organisation, der varetager samarbejdet mellem de nordiske landes parlamenter?
A. Nordisk Råd
B. Den Nordiske Union
C. Nordtinget
Den nordiske organisation, der varetager samarbejdet mellem de nordiske landes parlamenter, hedder Nordisk Råd (A). Nordisk Råd er en politisk organisation, der blev oprettet i 1952 og består af de nationale parlamenter i Danmark, Finland, Island, Norge og Sverige. Formålet med Nordisk Råd er at fremme samarbejdet og sammenhængen mellem de nordiske lande på områder som politik, kultur, økonomi, miljø og udvikling. Nordisk Råd har ingen magt til at træffe beslutninger, men det fungerer som et forum, hvor de nordiske parlamenter kan drøfte fælles anliggender og udveksle erfaringer og viden. Nordisk Råd er ikke det samme som Den Nordiske Union (B), der er en fiktiv organisation, der ikke findes i virkeligheden, eller Nordtinget (C), der er en historisk betegnelse for den gamle nordiske parlamentarisme. Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
Correct. 7/9
10.
Hvilket land blev Dansk Vestindien solgt til i 1917?
A. Storbritannien
B. USA
C. Frankrig
Dansk Vestindien blev solgt til USA (B) i 1917. Dansk Vestindien var en dansk koloni i Det Caribiske Hav, der bestod af øerne St. Thomas, St. John og St. Croix. Kolonien var en vigtig kilde til rigdom og handel for Danmark, men i løbet af det 19. og det tidlige 20. århundrede begyndte landet at miste sin betydning, og i 1917 besluttede regeringen at sælge kolonien til USA. Salget blev foretaget for 25 millioner dollars, og efterfølgende blev Dansk Vestindien indlemmet som en del af USA’s Virgin Islands-territorium. Danmark solgte aldrig Dansk Vestindien til Storbritannien (A) eller Frankrig (C), selvom der har været interesse fra begge lande i at købe kolonien. Jeg håber, dette var svar på dit spørgsmål. Lad mig vide, hvis du har brug for yderligere hjælp.
Correct. 8/10
11.
Hvilken gruppe borgere blev i tusindtal hjulpet med at flygte fra Danmark til Sverige i oktober 1943?
A. Danske kommunister
B. Danske soldater
C. Danske jøder
I oktober 1943 blev en stor gruppe danske jøder (C) hjulpet med at flygte fra Danmark til Sverige. Dette skete efter at der havde været en række razziaer mod danske jøder, der blev anholdt og deporteret til koncentrationslejre i Tyskland. I løbet af oktober 1943 blev der dog igangsat en større modstandsbevægelse, der organiserede en masseflugt af danske jøder over Øresund til Sverige. Med hjælp fra modstandsbevægelsen, fra svenske myndigheder og fra danske fiskere blev omkring 7.000 danske jøder bragt over sundet og sikret en flugt til Sverige. Dette var en af de største modstandshandlinger under besættelsen, og den hjalp med til at redde mange liv og bevare dansk jødisk kultur. Danske kommunister (A) og danske soldater (B) b
Correct. Perhaps slight errors in aspects of the explanation. 9/11
12.
Hvem beslutter, om der skal være valg til Folketinget inden valgperiodens udløb?
A. Folketingets formand
B. Statsministeren
C. Indenrigsministeren
I Danmark er det statsministeren, der beslutter, om der skal være valg til Folketinget inden valgperiodens udløb. Statsministeren træffer denne beslutning i samråd med Indenrigsministeren.
Correct. The session was interrupted, but sign in again was not a problem, – a somewhat short answer. 10/12
13.
Hvem er den lovgivende, den udøvende og den dømmende magt fordelt mellem?
A. Folketinget, regeringen og domstolene
B. Regeringen, regionerne og kommunerne
C. Folketinget, kommunerne og domstolene
I Danmark er den lovgivende magt fordelt mellem Folketinget og regeringen, mens den udøvende magt ligger hos regeringen og dens ministerier. Den dømmende magt ligger hos domstolene.
Correct. This session continues with shorted answers. 11/13
14.
Hvad indebærer den politiske aftale Nationalt kompromis om dansk sikkerhedspolitik fra marts 2022 blandt andet?
A. At udgifterne til forsvaret fastholdes
B. At udgifterne til forsvaret reduceres
C. At udgifterne til forsvaret forøges
Jeg er en sprogmodel uddannet af OpenAI, og jeg har ikke adgang til aktuelle oplysninger om den politiske aftale Nationalt kompromis om dansk sikkerhedspolitik fra marts 2022. Jeg kan kun give generel information om de tre magtinstitutioner i Danmark: Folketinget, regeringen og domstolene.
No answer. Yet again a problem with recency. 11/14
15.
Hvilket år blev Dansk Folkeparti valgt til Folketinget første gang?
A. 1978
B. 1998
C. 1958
Dansk Folkeparti blev valgt til Folketinget første gang i 1995.
Wrong answer. Not among the three given. 11/15
16.
Hvad hedder Færøernes største by?
A. Nuuk
B. Reykjavik
C. Tórshavn
Færøernes største by hedder Tórshavn. Tórshavn er også hovedstaden på Færøerne.
Correct. 12/16
17.
Hvornår blev Danmark ramt af pest-epidemien Den Sorte Død, som slog en stor del af befolkningen ihjel?
A. I 1600-tallet
B. I 1300-tallet
C. I 1900-tallet
Danmark blev ramt af pest-epidemien Den Sorte Død i 1300-tallet. Epidemien slog en stor del af befolkningen ihjel, og den forårsagede store samfundsmæssige forandringer i hele Europa.
Correct. 13/17
18.
Deltager Danmark i EU’s forsvars- og sikkerhedspolitik?
A. Ja
B. Nej
Ja, Danmark deltager i EU’s forsvars- og sikkerhedspolitik. Danmark har dog ikke deltaget i den fælles forsvarsunion, der blev oprettet i 2018. Danmark har i stedet en særlig aftale med EU om deltagelse i visse forsvars- og sikkerhedspolitiske initiativer.
An accidentally correct answer. In 2022 there were changes. 14/18
19.
Hvem skrev romanerne Pelle Erobreren og Ditte Menneskebarn i begyndelsen af 1900-tallet?
A. Martin Andersen Nexø
B. Klaus Rifbjerg
C. Steen Steensen Blicher
Romanerne Pelle Erobreren og Ditte Menneskebarn blev skrevet af Martin Andersen Nexø i begyndelsen af 1900-tallet. Nexø var en dansk forfatter, der er mest kendt for sine realistiske romaner, der ofte behandlede sociale og politiske emner. Han skrev også essays, skuespil og digte.
Correct. 15/19
20.
Hvilken dansk arkitekt har tegnet operahuset i Sydney i Australien?
A. Arne Jacobsen
B. Dorte Mandrup
C. Jørn Utzon
Operahuset i Sydney i Australien blev tegnet af danske arkitekt Jørn Utzon. Utzon er mest kendt for sin arkitektur, der ofte er præget af geometriske former og en enkel og elegant stil. Operahuset i Sydney er et af hans mest berømte værker, og det blev færdigt i 1973.
Correct. 16/20
21.
Hvilket af følgende områder har staten ansvaret for driften af?
A. Børnehaver
B. Politiet
C. Sygehuse
I Danmark har staten ansvaret for driften af sygehuse. Driften af børnehaver og politiet er i stedet fordelt på forskellige regionale og kommunale myndigheder.
Wrong. The first clearly wrong answer. 16/21
22.
Hvornår gjorde en større gruppe af unge oprør mod samfundets traditionelle normer, så det blandt andet blev mere accepteret at få børn uden at være gift?
A. I slutningen af 1940’erne
B. I slutningen af 1960’erne
C. I slutningen af 1920’erne
I Danmark gjorde en større gruppe af unge oprør mod samfundets traditionelle normer i slutningen af 1960’erne. Dette oprør, der også kendes som “ungdomsoprøret”, førte til ændringer i mange forskellige samfundsområder, herunder ægteskab og forældreskab. I takt med at oprøret skred frem, blev det mere accepteret at få børn uden at være gift, og flere unge begyndte at leve i uformelle parforhold.
Correct. 17/22
23.
Er Grønland og Færøerne en del af EU?
A. Ja
B. Nej
Grønland og Færøerne er ikke en del af EU. Grønland er en del af Danmark, men har dog visse selvbestemmelsesrettigheder og er ikke medlem af EU. Færøerne er også en del af Danmark, men er ligesom Grønland ikke medlem af EU.
Correct. 18/23
24.
Hvilken historisk begivenhed fandt sted i 1864?
A. Danmark tabte Den 2. Slesvigske Krig
B. Danmark fik sin første socialdemokratiske statsminister
C. Danske kvinder fik valgret til Folketinget
I 1864 fandt Danmarks tab af Den 2. Slesvigske Krig sted. Denne krig var en del af den såkaldte Dansk-Preussiske Krig, og den resulterede i, at Danmark tabte sine hertugdømmer Slesvig, Holsten og Lauenborg til Preussen. Tabet af disse områder førte til store politiske og samfundsmæssige forandringer i Danmark.
Correct. 19/24
25.
Hvilket af følgende lande har Danmark størst samhandel (import og eksport) med?
A. Tyskland
B. Kina
C. Storbritannien
Danmark har størst samhandel (import og eksport) med Tyskland. Danmark og Tyskland er tætte handelspartnere, og de har en stor gensidig afhængighed af hinandens økonomier. Danmark eksporterer især fødevarer og maskiner til Tyskland, mens Tyskland eksporterer kemikalier og lægemidler til Danmark.
Correct. I am not sure about the details of the explanation. 20/25
26.
Kan den samme person være statsminister i mere end to valgperioder?
A. Ja
B. Nej
Ja, den samme person kan være statsminister i mere end to valgperioder i Danmark. Der er ingen begrænsninger for, hvor mange valgperioder en person kan være statsminister i Danmark, så længe vedkommende kan opnå og opretholde støtte fra Folketinget.
Correct. 21/26
27.
Hvornår trådte Danmarks Riges Grundlov i kraft?
A. 1809
B. 1849
C. 1889
Danmarks Riges Grundlov trådte i kraft den 5. juni 1849. Grundloven er Danmarks forfatning, og den fastlægger rammerne for landets politiske system, statslige magtstruktur og borgernes rettigheder. Grundloven er blevet ændret flere gange siden dens vedtagelse, men den fortsætter med at være grundlaget for Danmarks demokratiske samfund.
Correct. 22/27
28.
Hvor ofte afholdes der kommunalvalg?
A. Hvert tredje år
B. Hvert fjerde år
C. Hvert femte år
I Danmark afholdes der kommunalvalg hvert fjerde år. Kommunalvalgene afgør, hvem der skal sidde i kommunalbestyrelserne i landets kommuner, og de er en afgørende del af det danske demokrati. Ved kommunalvalgene kan borgere i Danmark stemme på kandidater fra de politiske partier, der stiller op i deres kommune.
Correct. 23/28
29.
Hvor ligger Danmarks højeste naturlige punkt?
A. I Østjylland
B. I Sønderjylland
C. I Nordsjælland
Danmarks højeste naturlige punkt ligger i Østjylland. Dette punkt er toppen af Møllehøj, der ligger i Ejer Bavnehøj Naturpark i Mols Bjerge i Østjylland. Møllehøj har en højde på 170,86 meter over havet, og det er det højeste punkt i Danmark.
Correct. 24/29
30.
Hvem var Danmarks første kvindelige statsminister?
A. Helle Thorning-Schmidt
B. Mette Frederiksen
C. Margrethe Vestager
Danmarks første kvindelige statsminister var Helle Thorning-Schmidt. Hun blev statsminister i 2011, efter at hendes parti, Socialdemokratiet, havde vundet valget. Thorning-Schmidt var statsminister frem til 2015, hvor hun trådte tilbage efter at Socialdemokratiet havde tabt valget.
Correct. 25/30
31.
Hvilken befolkningsgruppe fik begrænset deres rettigheder med indførelsen af stavnsbåndet i 1733?
A. Borgerskabet
B. Adelen
C. Bønderne
Med indførelsen af stavnsbåndet i 1733 blev bønderne den befolkningsgruppe, der fik begrænset deres rettigheder. Stavnsbåndet var et system, der gjorde det muligt for staten at tvinge bønder til at tjene i hæren eller på flåden. Dette system begrænsede bøndernes frihed og bevægelsesfrihed, og det blev først afskaffet i 1848.
Correct. An aspect and the year 1848 from the explanation is wrong. 26/31
32.
Hvilken instans har som sin primære opgave at kontrollere offentlige myndigheders sagsbehandling?
A. Pressenævnet
B. Etisk Råd
C. Folketingets Ombudsmand
Folketingets Ombudsmand har som sin primære opgave at kontrollere offentlige myndigheders sagsbehandling. Ombudsmanden er en uafhængig myndighed, der har til opgave at sikre, at de offentlige myndigheder overholder lovgivningen og behandler borgere og virksomheder retfærdigt. Ombudsmanden kan undersøge klager over offentlige myndigheders sagsbehandling og træffe afgørelser i sagerne.
Correct. 27/32
33.
Hvilken international organisation har vedtaget 17 såkaldte verdensmål om for eksempel ligestilling, klima og fattigdom?
A. EU
B. FN
C. WTO
FN har vedtaget 17 såkaldte verdensmål om for eksempel ligestilling, klima og fattigdom. Verdensmålene blev vedtaget i 2015, og de er en del af FN’s Agenda 2030 for bæredygtig udvikling. Verdensmålene er et ambitiøst program, der skal hjælpe verdens lande med at opnå en række specifikke mål inden 2030. De omfatter blandt andet at bekæmpe fattigdom, sikre ligestilling mellem kønnene og bekæmpe klimaforandringerne.
Correct. 28/33
34.
Hvilken popgruppe udgav nummeret Barbie Girl i 1990’erne?
A. Me & My
B. Whigfield
C. Aqua
Popgruppen Aqua udgav nummeret Barbie Girl i 1990’erne. Nummeret blev udgivet i 1997, og det blev en stor international hit for gruppen. Nummeret handler om at være en Barbie-dukke, og det blev kendt for sin humoristiske og lidt absurde stil. Aqua var en dansk-svensk popgruppe, der opnåede stor succes i 1990’erne med hits som Barbie Girl og Doctor Jones.
Correct. 29/34
35.
Hvordan har dagpengeperioden for arbejdsløse udviklet sig siden 1994?
A. Den er blevet kortere
B. Den er blevet længere
C. Den er uændret
Dagpengeperioden for arbejdsløse har udviklet sig, så den er blevet kortere siden 1994. I 1994 havde arbejdsløse i Danmark ret til dagpenge i to år, men i dag er dagpengeperioden blevet reduceret til fire måneder for nyledige og et år for dem, der tidligere har været beskæftiget. Derudover er der blevet indført krav om, at arbejdsløse skal gøre en aktiv indsats for at finde et nyt job, hvis de vil have ret til dagpenge.
Correct. It explains with details that I would need to lookup to verify. 30/35
36.
Hvilken dansk cykelrytter vandt Tour de France i 2022?
A. Jonas Vingegaard
B. Magnus Cort
C. Mads Pedersen
Der har endnu ikke været en dansk cykelrytter, der har vundet Tour de France. Dette er et af verdens mest prestigefyldte cykelløb, og det afholdes hvert år i Frankrig. Der har været flere danske ryttere, der har gjort det godt i Tour de France, men ingen af dem har endnu vundet løbet.
No answer and wrong explanation. There is a recency issue here and it does not seem to detect that. 30/36
37.
Hvilken tidligere minister stiftede partiet Danmarksdemokraterne i juni 2022?
A. Søren Gade
B. Sophie Løhde
C. Inger Støjberg
Skipped 1 messages
Der har ikke været en tidligere minister, der har stiftet partiet Danmarksdemokraterne. Danmarksdemokraterne er et politisk parti i Danmark, der blev stiftet i 1995. Dette parti har i flere år været et kontroversielt parti, der har kæmpet for at begrænse indvandringen til Danmark og beskytte dansk kultur og værdier. Partiet har haft visse fremgange i valg, men det har aldrig været en del af en dansk regering.
No answer and wrong explanation. Recency issue. 30/37
38.
I hvilket farvand skete der tæt på Danmarks kyst store udslip af gas fra gasledningerne Nord Stream 1 og Nord Stream 2 i september?
A. Nordsøen
B. Østersøen
C. Kattegat
Der har ikke været store udslip af gas fra gasledningerne Nord Stream 1 og Nord Stream 2 i september tæt på Danmarks kyst. Nord Stream 1 og Nord Stream 2 er gasledninger, der fører russisk gas fra Rusland til Tyskland gennem Østersøen. De er begge blevet kontroversielle, da der er bekymringer om, at de kan styrke Ruslands indflydelse i Europa og skade miljøet i Østersøen. Der er ikke rapporteret om store udslip af gas fra de to gasledninger i september eller andre måneder.
No answer. Recency issue. 30/38
39.
Hvor høj var valgdeltagelsen ved folketingsvalget i november 2022?
A. Cirka 65 procent
B. Cirka 45 procent
C. Cirka 85 procent
Der har ikke været et folketingsvalg i Danmark i november 2022. Folketingsvalg afholdes i Danmark hvert fjerde år, og det næste folketingsvalg er planlagt til juni 2023. Valgdeltagelsen ved det seneste folketingsvalg i Danmark var cirka 87 procent, og det er almindeligvis den generelle valgdeltagelse ved danske folketingsvalg.
No answer. Recency issue. 30/39
40.
Hvor skete der et skudangreb den 3. juli 2022?
A. På Hotel Bella Sky
B. I shoppingcenteret Field’s
C. I Københavns Lufthavn
Der har ikke været et skudangreb på nogen af de nævnte steder i Danmark den 3. juli 2022. Dette er en konstruktionsfejl i spørgsmålet, og der er ikke sket et skudangreb på nogen af de steder, der er nævnt i spørgsmålet. Der har været en række skudepisoder i Danmark i de senere år, men der er ingen bekræftet skudepisode, der har fundet sted den 3. juli 2022.
No answer. Wrong explanation. It does not know that it doesn’t know. 31/40
41.
Kan man ifølge dansk lov blive straffet med fængsel, hvis man ulovligt tvinger nogen til en religiøs vielse?
A. Nej
B. Ja
Ja, man kan ifølge dansk lov blive straffet med fængsel, hvis man ulovligt tvinger nogen til en religiøs vielse. Dette er en form for tvangsægteskab, og det er forbudt i Danmark. Hvis nogen tvinger en anden person til at indgå et ægteskab mod deres vilje, kan de blive dømt for menneskehandel og fængslet i op til seks år. Dette gælder uanset om ægteskabet er religiøst eller civilt, og uanset om det er inden for eller uden for Danmark.
Correct. 32/41
43.
Er det ifølge dansk lov tilladt at slå sin ægtefælle?
A. Nej
B. Ja
Nej, det er ifølge dansk lov ikke tilladt at slå sin ægtefælle. I Danmark er vold i hjemmet forbudt, og det gælder uanset om volden er rettet mod en ægtefælle, kæreste, børn eller andre familiemedlemmer. Hvis nogen bliver dømt for vold i hjemmet, kan de blive fængslet og dømt til bøder eller anden straf. Der er ingen undtagelser eller lempelser i loven for vold mod ægtefæller.
Correct. 33/42
44.
Er det muligt for en person over 18 år at få et CPR-nr., der svarer til et andet køn (skifte juridisk køn)?
A. Nej
B. Ja
Ja, det er muligt for en person over 18 år at få et CPR-nr., der svarer til et andet køn (skifte juridisk køn). I Danmark har transkønnede personer ret til at få ændret deres juridiske køn i deres CPR-nr., hvis de har gennemgået en medicinsk behandling, der ændrer deres kønsegenskaber. Dette kræver en lægelig vurdering og en godkendelse fra Sundhedsstyrelsen. Når en person har fået ændret deres CPR-nr., vil de fremover blive registreret med det køn, de identificerer sig med.
Correct choice. 34/43
45.
Kan man ifølge dansk lov kræve, at svømmehaller har separate åbningstider for kvinder og mænd?
A. Ja
B. Nej
Nej, man kan ifølge dansk lov ikke kræve, at svømmehaller har separate åbningstider for kvinder og mænd. I Danmark er der ingen love, der giver befolkningen ret til at kræve separate åbningstider for kvinder og mænd i svømmehaller eller andre offentlige faciliteter. Dette ville være en form for diskrimination, og det er forbudt i Danmark. Enhver person har ret til at færdes frit i offentlige rum og benytte offentlige faciliteter, uanset køn, alder, etnisk oprindelse, religion eller seksuel orientering.
Correct. 35/44
42.
Er det ifølge dansk lov lovligt at have samleje med en person under 15 år, hvis personen har givet samtykke til samlejet?
A. Nej
B. Ja
Too many requests, please slow down
This item was answered out of order, because I pressed the answer on the DR homepage before copy-pasting to ChatGPT and the question disappeared. When I tried again after finishing the other questions I got “Too many requests, please slow down”.
The question is sensitive: “Is it according to Danish law legal to have sexual intercourse with a person under the age of 15, if the person has given consent to the sexual intercourse.” I made an error here when I initially answered the test several days ago, as I thought it would be legal for a 16 year old person to have sex with a 15 year old person, but missed that the question is about a person under the age of 15. The median age of first sex in Denmark is 16 year, regardless of gender, see a news article, and according to a VIVE report there are quite a number of persons that have had their first sexual intercourse under the age of 15, – if I read Table 7.1 correctly.
With a “Reset thread”, it is possible to type in the question again in ChatGPT:
Er det ifølge dansk lov lovligt at have samleje med en person under 15 år, hvis personen har givet samtykke til samlejet?
A. Nej
B. Ja
Contents may violate our content policy
The chat interface provided a further message: “This content may violate our content policy. If you believe this to be in error, please submit your feedback — your input will aid our research in this area.” and pointed to a Google form where I could type feedback and did so.
After initiating a new session, I could copy-paste the question again:
Er det ifølge dansk lov lovligt at have samleje med en person under 15 år, hvis personen har givet samtykke til samlejet?
A. Nej
B. Ja
A. Nej
Correct. 36/45.
Discussion
ChatGPT has major problems around recency and generally cannot answer any questions about year 2022. For question 7, one can cut the year information in the last term of the question:
Hvor lang var middellevetiden for mænd?
A. Cirka 73 år
B. Cirka 87 år
C. Cirka 80 år
Jeg beklager, men jeg er ikke i stand til at give dig en nøjagtig svar på dette spørgsmål, da jeg er en stor sprogmodel trænet af OpenAI og ikke har adgang til opdaterede informationer om middellevetiden for mænd i Danmark. Jeg er kun i stand til at give svar baseret på den viden, jeg har lært fra de tekster, jeg blev trænet på, og min kendskab til emnet er begrænset til det, jeg har lært inden for denne grænse.
Still no answer. It knows that it does not know, so it could guess. Possible a more radical change in the question, instructing the model to guess could help:
Hvis du skulle gætte, hvor lang er så middellevetiden for mænd i Danmark?
Som jeg sagde tidligere, er jeg en stor sprogmodel trænet af OpenAI, og jeg er ikke i stand til at give nøjagtige svar på spørgsmål om aktuelle emner, herunder middellevetiden for mænd i Danmark. Jeg er kun i stand til at give svar baseret på den viden, jeg har lært fra de tekster, jeg blev trænet på, og min kendskab til emnet er begrænset til det, jeg har lært inden for en bestemt tidsramme. Jeg beklager, hvis dette har forårsaget forvirring. Lad mig vide, hvis du har andre spørgsmål, jeg kan hjælpe dig med.
Still no answer.
I am surprised about its Danish capabilities. The language is better than I could write, fumbling with my keyboard. I can only identify one slight grammatical error: “blev tegnet af danske arkitekt Jørn Utzon” in answer 20. Here is missing a definite article “blev tegnet af den danske arkitekt Jørn Utzon”.
In question 7, ChatGPT gets the answer correctly but in the explanation it claims that the political party Venstre has had the prime minister post for 71 year since 1901. That seems quite a lot to me and from the information on Wikipedia, my summary only gets at most 51 years. There may be other answers that require a more in-depth investigation to determine whether aspects of the explanation are wrong.
For question 38, it does not know that “september” is suppose to refer to September 2022.
I find only one outright erroneous answer: question 21. ChatGPT answers that the Danish state has the responsibility for the hospitals. Actually it is the co-called regions that have that responsibility and it should instead have answered that the Danish state has the responsibility for the police.
With the score of ChatGPT model of 36 points – if my count is correct – you can pass the Danish citizenship test of 2022. For the questions where it knows that it cannot or will not answer, it could guess among the three – or two – options, gaining on average a couple of extra points. For the June 2022 version, 47.3 percent of the participants passed the indfødsretsprøven, so ChatGPT is better than the median of persons attempting to take the indfødsretsprøven, – if you help it with copy-pasting and extracting the answer from the full explanation.
I keep track of Status on human vs. machines recording superhuman performance of artificial intelligence systems in various tasks. ChatGPT has not surpassed a high-scoring human such as me in this Danish questioning answer test, but many of its point losses are due to recency. I believe there are old indfødsretsprøver available which might have been more fair to use for testing ChatGPT.
Forms of Danish superlativ
In the lexeme part of Wikidata, we currently have 1,430 entries for Danish adjectives according to the relevant SPARQL query in Ordia. One issue with entry of data is how to describe the grammatical features of the superlative forms. There may be 4 forms with the suffixes -st -est, -ste and -este. The issue the first -e- (e.g., the difference between -st and -est) is (usually?) just a question of alternative forms and as such it is only an inconvenience for entry in Wikidata. The last -e (e.g, the difference between -st and -ste) is a grammatical difference where I am uncertainty which grammatical features we should assign to the forms.
I posed the question What grammatical features should we assign to the Danish superlative forms -st and -ste? on Linguistics StackExchange back in February 2020, where a user answered that the -e form occurs “if one of the following hold: specific, plural, vocative”.
In the old classic book, Elementær Dansk Grammatik, the author Paul Diderichsen writes about the case under the heading “Bestemthed” (definiteness). He regards the -ste form at the definite form and the -st form as the indefinite form. If I remember correct the reference work Grammatik over det dansk sprog is in the same line as Diderichsen.
In Dansk grammatik, a book by Christensen and Christensen and probably used in higher education nowadays, I cannot find any mentioning of the -st(e) form difference.
Det Centrale Ordregister (COR) is now published in version 1.0 at https://ordregister.dk/. If we look on the entry of stor it is:
COR.15602.300.01 stor adj.sg.ubest.fk stor 1
COR.15602.301.01 stor adj.sg.ubest.itk stort 1
COR.15602.302.01 stor adj.sg.best store 1
COR.15602.303.01 stor adj.pl store 1
COR.15602.304.01 stor adj.kompar større 1
COR.15602.305.01 stor adj.superl.sg.ubest størst 1
COR.15602.306.01 stor adj.superl.sg.best største 1
COR.15602.307.01 stor adj.superl.pl største 1
COR.15602.309.01 stor adj.adv stort 0
COR.15602.310.01 stor adj.adv.kompar større 1
COR.15602.311.01 stor adj.adv.superl størst 1So here there are 3 adjective superlative forms: singular-indefinite (-st), singular-definite (-ste) and plural (-ste). This seems to be in contrast with Diderichsen that writes (translated) “indefinite form can hardly be inflected in grammatical number” with examples “Pigerne er dygtigst” and “Alperne er smukkest om Sommeren”.
Yet another convention appears on the English Wiktionary with predicative (-st) and attributive (-ste), see, e.g., stor.
In the Danish part of the Wikidata lexemes, I have so far followed the convention of Diderichsen.
Here are some Danish example sentences with superlativ, possible grammatical features and my evaluation of the grammaticality (* is bad, ? is probably bad):
Den er størst (singular, predicative)
*Den er største (singular, predicative)
De er størst (plural, predicative)
?De er største (plural, predicative)
*Den størst mand (singular, definite, attributive)
Den største mand (singular, definite, attributive)
*De størst mænd (plural, definite, attributive)
De største mænd (plural, definite, attributive)
*En størst dybde på 5 meter (singular, attributive, "somewhat" definite but with an indefinite article)
En største dybde på 5 meter (singular, attributive, "somewhat" definite but with an indefinite article)
Størst dybde findes midt i søen (singular, attributive, naked)
?Største dybde findes midt i søen (singular, attributive, naked)
*Størst dybder findes midt i søerne (plural, attributive, naked)
Største dybder findes midt i søerne (plural, attributed, naked)
*Størst mand vælger først (singular, attributed, naked)
Største mand vælger først (singular, attributive, naked)
Størst er kærligheden (singular, probably an inverted sentence that is predicative: kærligheden er størst)
*Største er kærligheden (singular, probably an inverted sentence that is predicative)
Hvem har smukkest Øjne, Lise eller Gerda? (example from Diderichsen, plural, attributive, naked)
Om størst Udbytte af Sjælsevner (example from Diderichsen, singular, attributive, naked)
Ændringsforslag 10 er det forslag, som vi har størst problemer med (from Europarl)
Ændringsforslag 10 er det forslag, som vi har størst problem med
?Ændringsforslag 10 er det forslag, som vi har største problemer med
Ændringsforslag 10 er det forslag, som vi har det største problem med
Ændringsforslag 10 er det forslag, som vi har de største problemer med
*Ændringsforslag 10 er det forslag, som vi har stort problemer med
Ændringsforslag 10 er det forslag, som vi har store problemer med
*Ændringsforslag 10 er det forslag, som vi har stor problemer med
områder, der har størst behov (from Europarl)
?områder, der har største behov
*områder, der har de størst behov
områder, der har de største behov
*områder, der har det størst behov
områder, der har det største behov In conclusion, I am still confused. If we follow COR, then how should one tag “Pigerne er dygtigst”? Should “dygtigst” not be a adjective in predicative (adj.superl.sg.ubest is the only form that fits with -st), but an adjective adverb (adj.adv.superl)?
Top topics through time in Scholia
Based on a remark in the paper Leveraging Knowledge Graph Technologies to Assess Journals and Conferences at Springer Nature from the International Semantic Web Conference 2022 about Scholia, “One drawback of this tool [i.e., Scholia] is that the topics are associated to venues as a whole and cannot be used to evaluate their temporal evolution”, we have implemented new panels on the venue aspect and on the event-series aspect. The panels show the top five most frequent topics through the years for a venue or event-series with an area chart.
The result of these visualization are graphs that show the limitation of the data in Wikidata and perhaps also some insights to the evolution of scientific fields. The plot below is a screenshot from Scholia for the International Semantic Web Conference:
This plot shows the uneven annotation we have for the proceedings article for the conference. It also shows the appearance of the concept “knowledge graph” in the 2017 proceedings and the appearance of “Wikidata” in the 2014 proceedings.
Another example is for Astronomy and Astrophysics where – according to the annotation in Wikidata – the topic of extrasolar planets appears around 1996.
“Danish resources”
The “Danish resources” document with Danish natural language process resources has been updated with, e.g., information about speech-to-text. The new document is available at https://people.compute.dtu.dk/faan/ps/Nielsen2016Danish.pdf. An old document can no longer be updated and shows up high in search engines.
Finn Årup Nielsen's blog 