Abstractive summarization of legal court documents using machine learning methods

This paper focuses on creating and testing a neural network in order to generate abstractive summaries of legal court cases in English while trying to maintain as much context and meaning as possible. The model is built using an encoder-decoder architecture facilitated by the use of LSTM (Long Short Term Memory) layers. The results show a possible approach to summarizing legal text. The abstractive summary domain exists in an experimental stage and a legal body of text also brings enough peculiarity to disrupt the work of existing solutions. Problems still exist in creating a proper representation of context within the model itself.Many known problems tied to automatic text summarization are also present in the experiments. Most notably the loss of any overarching context when feeding the network long source material. Another spotted issue was related to the decoder tending to endlessly repeat word sequences in its output. Present were also problems more acute to summarizing legal texts: high frequency of legal keywords across the entire dataset, but low density on a per document basis. These words would ordinarily be removed in preprocessing, but their contextual value prohibits that.The main conclusions are that to carry out more effective text generation, the neural model needs more layers with possibly an attention sub-model to better handle issues of lost context. This in turn means the model requires more processing power and longer training times to produce satisfying results.

Niniejsza praca jest poświęcona stworzeniu i przetestowaniu modelu sieci neuronowej w celu przeprowadzenia abstrakcyjnego streszczenia tekstu wyroku sądowego w języku angielskim z zachowaniem ogólnego znaczenia i kontekstu. Model został zbudowany w strukturze enkoder-dekoder z wykorzystaniem rekurencyjnych warstw „Long Short Term Memory” (LSTM). Wyniki tej pracy pokazują możliwe podejście do streszczania tekstów natury prawnej. Dziedzina abstrakcyjnego streszczania tekstów nadal istnieje w fazie eksperymentalnej a struktura wyroku sądowego stawia dodatkowe wyzwania przy budowaniu stosownej reprezentacji kontekstu wewnątrz modelu. Wiele znanych w powszechnej praktyce problemów w streszczaniu tekstów pojawia się również w przeprowadzanych eksperymentach. Zwłaszcza gubienie kontekstu w długich tekstach źródłowych lub powtarzanie sekwencji słów na wyjściu dekodera. Obecne są również problemy charakterystyczne dla streszczania wyroków w dziedzinie prawa jak wysoka częstotliwość występowania niektórych słów kluczy, rzadko występujących w tekście, ale zbyt ważnych dla kontekstu, aby wyeliminować je w trakcie automatycznej obróbki tekstu.