unimi-crop-sensing 0.5

A toolkit for crop sensing using the ZED camera

About The Project

unimi_crop_sensing nasce con l’obiettivo di offrire un insieme di operazioni semplici e intuitive per interagire con la camera ZED. Consiste in un toolkit per l'elaborazione e segmentazione di immagini e point cloud acquisiti tramite la camera stereo ZED. Il progetto è pensato per applicazioni di agricoltura di precisione, consentendo di identificare piante in 2D e 3D, generare bounding box e comunicare con un cobot attraverso WebSocket in ambiente ROS.

https://github.com/Hoppip48/unimi_crop_sensing/

Funzionalità principali

• Segmentazione del verde con Excess Green Index
• Clustering delle piante tramite KMeans
• Calcolo bounding box 2D e 3D su point cloud
• Salvataggio .ply, immagini, normal map
• Integrazione WebSocket ROS (rosbridge) per invio/lettura pose

Built With

• OpenCV
• NumPy
• scikit-image
• scikit-learn
• websocket-client
• Stereolabs ZED SDK

Getting Started

Prerequisites

Assicurati di avere:

• Python 3.9
• ZED SDK installato correttamente e funzionante
• ROS + rosbridge in esecuzione se si usa WebSocket
• Le librerie listate in requirements.txt

Installation

Puoi usare unimi_crop_sensing come pacchetto Python installabile via PyPI. Installa tutto con:

pip install unimi_crop_sensing

⚠️ Pyzed 5.0 richiede numpy 2.x, ciò va in conflitto con altre funzioni del progetto, perciò se riscontri errori relativi a numpy, assicurati di installare una versione compatibile:

pip install "numpy<2"

Usage

Questo è un esempio di main che sfrutta ogni funzione per ottenere coordinate spaziali e point cloud di ogni piantina nel proprio raggio d'azione

# This function is used to test the functionalities of the crop sensing module
def main():
    
    # Get the current pose of the cobot
    pose = cobot_manager.get_cobot_pose(linux_ip)

    # Initialize the ZED camera
    zed = zed_manager.zed_init(pose)
    
    # Capture the environment with the ZED camera
    image, depth_map, normal_map, point_cloud = zed_manager.get_zed_image(zed, save=True)

    # Filter the plants from the background
    mask = find_plant.filter_plants(image, save_mask=True)
    
    # Divide the plants into clusters
    masks, bounding_boxes = find_plant.segment_plants(mask, plants_number)
    find_plant.save_clustered_image(image, bounding_boxes)

    # Extract the 3D points from the clusters
    for m in masks:
        bbxpts = find_plant.plot_3d_bbox(m, point_cloud)
        
    # Communicate the bounding boxes to the cobot (only if the cobot is operated in another machine)
    cobot_manager.send_cobot_map(linux_ip, bbxpts)

    # Create point cloud (this will create a .ply file by taking a video of the environment)
    create_plc.record_and_save(plant_name='piantina1', frames=300)

    zed.close()

Contact

[e-mail]

Acknowledgments

• Stereolabs