Building a dataset of Wrocław’s historic tenements. Image annotation for machine learning applications

W ostatnich latach rozwój sztucznej inteligencji (SI) wprowadził nowe możliwości także w dziedzinie architektury. W obszarze analizy kompozycyjnej i rozpoznawania detali architektonicznych SI może mieć istotny wpływ na wspieranie badań historyczno-architektonicznych poprzez waloryzację zabytkowych budynków oraz projektowanie zgodne z historycznym kontekstem. Skuteczne wykorzystanie SI w analizie obiektów architektonicznych wymaga jednak dostarczenia dużych zbiorów danych niezbędnych do trenowania i testowania modeli. Celem autorów artykułu było przedstawienie procesu tworzenia zbioru danych zawierającego anotowane zdjęcia. Opracowana metodologia tworzenia zbioru składa się z trzech etapów: przygotowania procedury pozyskiwania danych, przetwarzania danych – utworzenia zbioru danych spełniających wymagania oraz podsumowania zbioru danych. Wszystkie etapy zostały w pracy szczegółowo omówione wraz z pokazaniem przykładowej anotacji jednej z kamienic. Zbiór NeoFaçade służy jako historyczny zbiór danych zawierający fasady kamienic z XIX i XX w. z Wrocławia, a w przyszłości także z innych miast o podobnych stylach architektonicznych (np. Szczecina czy Berlina). Zgromadzenie wysokiej jakości materiału fotograficznego i dokładne oznaczenie elementów architektonicznych umożliwia wykorzystanie zbioru danych w różnych zadaniach sztucznej inteligencji: segmentacji semantycznej, klasyfikacji obrazów, a także w generowaniu elewacji kamienic. W ten sposób zbiór NeoFaçade może być zastosowany w praktyce architektonicznej czy w konserwacji zabytków. W przyszłości zespół badawczy skupi się na rozszerzeniu o nowe fotografie zbioru, jednocześnie będzie starał się pokazać, że NeoFaçade jest wartościowym narzędziem wspierającym innowacyjne projekty badawcze i praktyczne zastosowania.

In recent years, the development of artificial intelligence (AI) has introduced new possibilities in the field of architecture. In the realm of compo sitional analysis and recognition of architectural details, AI can have a significant impact, supporting historical-architectural research, the valorisation of historic buildings, and design in accordance with historical context. However, the successful use of AI in analysing architectural objects requires large datasets to train and test the models. The article aims to demonstrate the creation of a new dataset containing annotated images. The NeoFaçade collection serves as a historical dataset, containing façades of the 19th and 20th century townhouses from Wrocław and, in due course, other cities with similar architectural styles (for example, Szczecin or Berlin). Gathering highquality photographic material and marking architectural elements accurately, enables to use the dataset for various AI tasks: semantic segmentation, image classification, and generation of pictures of tenement house façades. This way, the NeoFaçade dataset can potentially be applied in architectural practice or historic preservation. The methodology for creating the dataset developed by the authors consists of three stages: preparation of the data acquisition procedure, data processing: creation of a dataset that meets the requirements and a summary of the dataset. All stages are discussed in detail in the paper, including an example annotation of one of the townhouses. In the future, the research team will focus on expanding the collection with new photographs, while also striving to demonstrate NeoFaçade value as a tool supporting innovative research projects and practical applications.