membershipUNOB 2.0.1

Membership management for UNOB

Membership_UNOB_ws

Repository for school web scraping project of unob IS

Task

3. Naplnění dat o členství

Využijte zdroje dat pro získání informací o členství osob ve skupinách (GQL_UG). Vytvořte JSON datovou strukturu (kompatibilní se systemdata.json). Vytvořte program, který importuje data do GQL endpointů (s využitím mutací). Zabezpečte existenci propojení (ExternalIDs) se zdrojovým IS.

Společné podmínky

Testujte duplicitu dat, jednak přes externalid a jednak, kde je to možné, přes jména či jiné identifikátory.

Pro práci s html daty (získání html stránek) použijte knihovnu selenium (headless mode).

Vytvořte a publikujte pypi package. Součastí github respository (source for package) je i ipynb notebook s demonstrací využití (import package, run main code). Nechť je možné importovat funkci gather z root balíčku (pypi package).

Hlavní funkce gather() pracuje s následujícími parametry:

- username: Přihlašovací jméno

- password: Přihlašovací heslo

- config: {paths: {users: “”, groups: “”, memberships: “”. … }} (defaultni hodnota)

- output (systemdata.json, writetogql)

- **extras (token!)

U entit naplňte všechny atributy, pokud ve zdroji některé atributy nejsou, domluvte se na jejich dummy values.

Pokud máte u entit k dispozici atributy navíc, navrhněte rozšíření GQL endpointu.

JSON requirements

Before you run main.py please create "credentials.json" with this format:

{
  "username": "your unob email",
  "password": "your password"
}

Initialization process:

You can directly install the package using this command:

For version 2.0.1:

pip install membershipUNOB

Source : https://pypi.org/project/membershipUNOB/

Using it for your project:

We already published our project as a Pypi package so in file 'requirement.txt' you just need to add "membershipUNOB", it will automatically install all the libraries and dependencies.

Move on to the next step, please create main.py file and in this file please import "membershipUNOB" just like code below:

Once you have done all these steps, all you have to do is run the main.py flle and after that a "config.ini" file will pop up just like this.

In 'config.ini' You can adjust the data retrieval from the website of the university or import data, which you scrape, into the GQL endpoint, depending on how you want

Config.ini explanation: true/false - keep in mind that default value for all config are true

Webscraping and extract data

1. get_data : execute webscraping to update the current data for changes
2. extract_data : from users and groups data extract them to get memberships and externalids data

Data import

3. users : execute users import to GQL endpoint
4. groups : execute groups import to GQL endpoint
5. memberships : execute memberships import to GQL endpoint