📝 Table of Contents

• About
• Summarization with Chain of Density (CoD) technique
  • Scientific text
  • Social court ruling
• Summarization with clustering technique
  • Social court ruling
• Reference to guidance on good summaries
• Literature

About

To be written.

Summarization with Chain of Density (CoD) technique according to Adams et al (2023), https://arxiv.org/pdf/2309.04269.pdf

Scientific text

Summarization target: Adams et al (2023), From sparse to dense: GPT-4 Summarization with Chain of Density Prompting, https://arxiv.org/pdf/2309.04269.pdf

Result using GPT-4-32k via Poe.com

Remarks:

• Inconsistent usage of citation in iteration 3 (Fabbri et al 2021, Liu et al 2023b), iteration 4 (Goyal et al 2022, Bhaskar et al 2023, Pu and Demberg, 2023), and iteration 5 (Goyal et al 2022, Narayan et al 2021, Stiennon et al 2020)
• Last sentence and the meaning regarding the open-source part is factually wrong in all iterations except iteration 3

Result using GPT-4-0613 via OpenAI Playground

The 32k version is not available on the Open AI Playground on the time of testing 01.10.23.

Remarks:

• Seems to be very close to the abstract in the summarization target (see above) =D!
• Second half of the first sentence in iteration 4 and iteration 5 arguably discussable
• The "guidance by human preference data" part in iterations 2 and following is misleading
• Regardless of the 32k version. What needs to be done, if the context window is exceeded?

Result using Claude-2-100k via Poe.com

Social court ruling

Summarization target: Bundessozialgericht (30.03.2023), B 2 U 1/21 R, https://www.bsg.bund.de/SharedDocs/Entscheidungen/DE/2023/2023_03_30_B_02_U_01_21_R.html

Result using GPT-4-0613 via OpenAI Playground

The 32k version is not available on the Open AI Playground on the time of testing 01.10.23.

Remarks:

• Since the input text is larger than the maximum input allowed (8.191 Tokens) the input text has to be reduced and only the first part was submitted

Summarization with clustering technique

Social court ruling

Summarization target: Bundessozialgericht (30.03.2023), B 2 U 1/21 R, https://www.bsg.bund.de/SharedDocs/Entscheidungen/DE/2023/2023_03_30_B_02_U_01_21_R.html

Result using Aleph Alpha Luminous and proposed processing of Tham (2023), Summarize Podcast Transcripts and Long Texts Better with NLP and AI (or just part of it...)

The complete text was used in this proceedure and therefore more content was submitted as to abovementioned example. The underlying situation is a clerk who has to process insurance cases and need to look up certain rulings on that. Therefore, the summary might be more targeted regarding particular concepts.

I want to know the background or "what happened?" from the text:

Die Klägerin fordert von der beklagten Krankenkasse die Erstattung von Kosten, die sie für die Behandlung einer Versicherten aufgewandt hat. Die Beklagte lehnt dies mit der Begründung ab, dass es sich um einen Arbeitsunfall handelte und die Klägerin nicht für die Behandlung zuständig war.

Die Klägerin beantragt, das Urteil des Sozialgerichts Potsdam vom 28. September 2018 aufzuheben und die Beklagte zu verurteilen, ihr 10 263 Euro zu erstatten. Die Beklagte beantragt, die Revision der Klägerin zurückzuweisen. Die Klägerin habe weder einen Wegeunfall erlitten noch sei sie auf einem Betriebsweg verunglückt. Denn die im Unfallzeitpunkt ausgeübte Verrichtung habe nicht im inneren bzw sachlichen Zusammenhang mit der versicherten Tätigkeit gestanden.

I also want to know what the impact is or "so what?" from the text:

Die Klage ist begründet.

Was wird entschieden? Die Klägerin hat einen Anspruch auf Erstattung der Leistungen der gesetzlichen Krankenversicherung.
Aus welchem Grund? Die Beklagte ist zur Erstattung der gesamten Kosten verpflichtet, da die Klägerin keinen Anspruch auf Leistungen aus der gesetzlichen Krankenversicherung hat, weil die Krankenbehandlung sowie das Krankengeld als Folge eines Arbeitsunfalls zu erbringen sind. Die Ablehnung von Sozialleistungen durch die Beklagte gegenüber der Beigeladenen im Sozialleistungsverhältnis steht dem nicht entgegen. Die Rechtsgrundlage für den Erstattungsanspruch ist § 105 Abs. 1 SGB X.

Gemäß § 105 Abs. 1 SGB X ist der zuständige oder zuständig gewesene Leistungsträger dem anfänglich unzuständigen Leistungsträger erstattungspflichtig, der Sozialleistungen erbracht hat. 

Remarks:

• Seems to copy and paste text. Prompt configurations need to be set for penalties
• Supreme seems to ask itself guidance questions
• Difficult to enforce guidelines regarding length

Reference to guidance on good summaries

Example 1 Source: https://www.emerald.com/insight/content/doi/10.1108/INTR-08-2021-0600/full/html

Example 2 Source: https://humanfactors.jmir.org/author-information/instructions-for-authors

Example 3 Source: https://www.elsevier.com/journals/international-journal-of-information-management/0268-4012/guide-for-authors

Literature

• Adams, G., Fabbri, A., Ladhak, F., Lehman, E. and Elhadad, N., 2023. From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting. arXiv preprint arXiv:2309.04269; https://arxiv.org/abs/2309.04269
• Stiennon, N., Ouyang, L., Wu, J., Ziegler, D., Lowe, R., Voss, C., Radford, A., Amodei, D. and Christiano, P.F., 2020. Learning to summarize with human feedback. Advances in Neural Information Processing Systems, 33, pp.3008-3021; https://arxiv.org/abs/2009.01325
• Liu, N.F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F. and Liang, P., 2023. Lost in the middle: How language models use long contexts. arXiv preprint arXiv:2307.03172; https://arxiv.org/abs/2307.03172