main.cpp 6.25 KB
#include "opencv2/objdetect.hpp"
#include "opencv2/videoio.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>
#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <X11/Xlib.h>

/* Cadriage de la fenêtre
 * ----------> x
 * |
 * |
 * |
 * |
 * v
 * y
 * 
 * xleft: x < 280
 * xmid: 280 < x < 400
 * xright: x > 400
 * yup; y < 90
 * ymid: 90 < y < 135
 * ydown: y > 135
 */

/* Pistes d'améliorations
 *
 * Vitesse de curseur variable : La vitesse est pour l'instant fixe, une évolution exponentielle semblable au track pad est envisageable
 * Détection du visage trop sensible à la lumière: La détection n'est qu'efficace que lorsque le visage est éclairée directement par une source lumineuse
 * Détection des yeux avec des lunette: Mes lunettes sont parfois reconnue comme d'autres yeux au dessus de mes vrais yeux ce qui empèche l'utilisation du clique
 * 
 *
 */


int facePosX, facePosY;

using namespace std;
using namespace cv;

void detectAndDisplay( Mat frame );
void click (Display *display, int button);
void eyeClick(std::vector<Rect> eyes);


//choisit l'écran de la machine où les coordonées de la souris seront donnés (le code ne marche qu'avec des machine possédant un seul écran)
Display* dpy = XOpenDisplay(0);
int scr = XDefaultScreen(dpy);
Window root_window = XRootWindow(dpy, scr);

//calcul la taille et de l'ecran
int screenheight = DisplayHeight(dpy, scr);
int screenwidth  = DisplayWidth(dpy, scr);

//init la position de la souris au centre de l'écran
int mousePosX = screenwidth/2;
int mousePosY = screenheight/2;
int mouseSpeed = 5;

int clickTimer = 0;
int maxClickTimer = 10;

String face_cascade_name = "haarcascade_frontalface_alt.xml";
String eyes_cascade_name = "haarcascade_eye_tree_eyeglasses.xml";
CascadeClassifier face_cascade;
CascadeClassifier eyes_cascade;

String window_name = "Capture - Face detection";

int main( void )
{
    VideoCapture capture;
    Mat frame;
    //-- 1. Load the cascades
    if( !face_cascade.load( face_cascade_name ) ){ printf("--(!)Error loading face cascade\n"); return -1; };
    if( !eyes_cascade.load( eyes_cascade_name ) ){ printf("--(!)Error loading eyes cascade\n"); return -1; };
    //-- 2. Read the video stream
    capture.open( -1 );
    if ( ! capture.isOpened() ) { printf("--(!)Error opening video capture\n"); return -1; }
    while ( capture.read(frame) )
    {
        if( frame.empty() )
        {
            printf(" --(!) No captured frame -- Break!");
            break;
        }
        //-- 3. Apply the classifier to the frame
        detectAndDisplay( frame );
        char c = (char)waitKey(10);
        if( c == 27 ) { break; } // escape
        XFlush(dpy);
    }
    
    return 0;
}

void refreshMousePosition(std::vector<Rect> faces)
{
    int xPos, yPos;
    for ( size_t i = 0; i < faces.size(); i++)
    {
        //posistion analyse
        if (faces[i].x < 280) xPos = -1;
        if (faces[i].x > 280 && faces[i].x < 400) xPos = 0;
        if (faces[i].x > 400) xPos = 1;
        if (faces[i].y < 90) yPos = -1;
        if (faces[i].y > 90 && faces[i].y < 135) yPos = 0;
        if (faces[i].y > 135) yPos = 1;

        //position print
        switch (xPos)
        {
            case -1:
            mousePosX += mouseSpeed;
            break;
            case 0:
            break;
            case 1:
            mousePosX -= mouseSpeed;
            break;    
        }
        switch (yPos)
        {
            case -1:
            mousePosY -= mouseSpeed;
            break;
            case 0:
            break;
            case 1:
            mousePosY += mouseSpeed;
            break;    
        }
        XWarpPointer(dpy, None, root_window, 0, 0, 0, 0, mousePosX, mousePosY);
    }
}

void detectAndDisplay( Mat frame )
{
    std::vector<Rect> faces;
    Mat frame_gray;
    cvtColor( frame, frame_gray, COLOR_BGR2GRAY );
    equalizeHist( frame_gray, frame_gray );
    //-- Detect faces
    face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2, 0|CASCADE_SCALE_IMAGE, Size(30, 30) );
    refreshMousePosition(faces);
    for ( size_t i = 0; i < faces.size(); i++ )
    {
        Point center( faces[i].x + faces[i].width/2, faces[i].y + faces[i].height/2 );
        ellipse( frame, center, Size( faces[i].width/2, faces[i].height/2 ), 0, 0, 360, Scalar( 255, 0, 255 ), 4, 8, 0 );
        Mat faceROI = frame_gray( faces[i] );
        std::vector<Rect> eyes;
        //-- In each face, detect eyes
        eyes_cascade.detectMultiScale( faceROI, eyes, 1.1, 2, 0 |CASCADE_SCALE_IMAGE, Size(30, 30) );
        eyeClick(eyes);
        for ( size_t j = 0; j < eyes.size(); j++ )
        {
            Point eye_center( faces[i].x + eyes[j].x + eyes[j].width/2, faces[i].y + eyes[j].y + eyes[j].height/2 );
            int radius = cvRound( (eyes[j].width + eyes[j].height)*0.25 );
            circle( frame, eye_center, radius, Scalar( 255, 0, 0 ), 4, 8, 0 );
        }
    }
    //-- Show what you got
    imshow( window_name, frame );
}

void eyeClick(std::vector<Rect> eyes)
{
    if (eyes.size() < 1)
    {
        if (clickTimer >= maxClickTimer)
        {
            click(dpy, Button1);
            clickTimer = 0;
        }
        else
        {
            clickTimer++;
        }
    }
    else
    {
        clickTimer = 0;
    }
}

void click (Display *display, int button)
{
  // Create and setting up the event
  XEvent event;
  memset (&event, 0, sizeof (event));
  event.xbutton.button = button;
  event.xbutton.same_screen = True;
  event.xbutton.subwindow = DefaultRootWindow (display);
  while (event.xbutton.subwindow)
    {
      std::cout << "Click" << std::endl;
      event.xbutton.window = event.xbutton.subwindow;
      XQueryPointer (display, event.xbutton.window,
		     &event.xbutton.root, &event.xbutton.subwindow,
		     &event.xbutton.x_root, &event.xbutton.y_root,
		     &event.xbutton.x, &event.xbutton.y,
		     &event.xbutton.state);
    }
  // Press
  event.type = ButtonPress;
  if (XSendEvent (display, PointerWindow, True, ButtonPressMask, &event) == 0)
    fprintf (stderr, "Error to send the event!\n");
  XFlush (display);
  usleep (1);
  // Release
  event.type = ButtonRelease;
  if (XSendEvent (display, PointerWindow, True, ButtonReleaseMask, &event) == 0)
    fprintf (stderr, "Error to send the event!\n");
  XFlush (display);
  usleep (1);
}