Christophe Boudet

Futur of online shopping, natural language shopping

2012-02-08T16:36:00.000-08:00

When you bought a product such as TV on internet, you spend lot of time to choose the good model, you need to search the perfect one which owns all your requirements, and on your budget.
So you will select a range of prices, a size and then read the specifications of each models.
That's a really waste of time, reading specifications of tens product. Will you spend spend 30 minutes to choose a TV ? and for a radio at 30$ ?
Not really, but you have not choice.

But not for long, imagine a world where you will just ask what you want, what you expect, and get the perfect products directly. Imagine the Internet simpler

Futur of search engine pass by NLP and semantic shopping

Examples :

Maybe you have an idea more accurate of your need ?

Or maybe you're a professional and need something really specific ?

Reviews

Great you have a list of corresponding products, but how to choose the good one ? how to be sure of his quality ? of the sound perfection ?
Rating score isn't adequate for these questions, it's perfect to perfom a first step of sorts, but not enough to decide which product to buy.
Are you ready to read 50 reviews for each model ? are you interesting by the whole life of other buyer or just by the essential, the pros and the cons ?

With this search engine, you will be able to choose any products before buy it, without open hundred of pages and search specifications, reviews and more.
Imagine this on a website of used cars, before you had to open a page for :

the specification of this model
test of the car
review of different owners

And that for each cars on the site. You could save time to do more interesting things, and get better informations for a wide range of products. Just ask, read pros and cons and choose product in some minutes among millions

Seach engines are made to help your life, and save your time.

Natural Language Search Engine

2012-01-25T15:54:00.000-08:00

Here are the evolutions of my web analysis engine.
The project aims to analyze web pages (Wikipedia for the moment) in providing a context understanding to the engine. In this way, the system is able to answer to human questions about web content, and to learn new facts by itself.

Preview :

Question about Obama

We could find direct anwsers at the question "Who is Barack Obama" in blue titles, and the original sentences behind.

New Architecture

For this version, I rewrote all the code in Python, and get a huge gain of performance for NLP (from 20s to less than 1s for big pages)

Architecture

I used queue to provide inter-communication between each module and easily scalable architecture, with RabbitMQ. The new database is running under Neo4J, and stores around 300 nodes for each article issued from Wikipedia. The web server is now Tornado. All these modules and technologies made system impressively fast (for a laptop development platform). I will improve the system with the help of Memcache in some weeks.

Examples :

We could ask simple questions about definition

Medical question

Physic question

About some facts

Geographie question

Or more precise questions

People question

And really more specified

Complex question

Futur steps

First of all, I will give more and more articles to the crawler to populate the database with facts.
Next step will be to improve the question analyser in the goal to anwser at more involved questions.
Then bring more data, and semantic into the webpage with maps, pictures, video, automatic summary, and why not with interactive graphs, slides.
Integrate external API to get information with natural language about restaurant, films, music, books, travel etc
Include more datas, issued from newspaper's website and semantic plateform.

But, all this work recquires lot of time, and I don't have it for the moment, so it could be a little long before the next version.

Pentest

2011-06-12T18:11:00.000-07:00

This is the report of one of my pentest.
Sorry this is in french.

Web Analysis

2010-11-17T14:23:00.000-08:00

The project aims to analyze web pages in providing a context understanding to the engine. In this way, the system is able to answer human questions about web content.

The project is composed of many modules, or bricks, each one has a precise role, and could easily be scalable on several servers, and is in Perl or in C.

The crawler

The crawler in Perl is able to explore Internet and download the content of pages. It's a simple part of the project for the moment, just designed to provide content for other bricks.

The Scrapper

This brick code in Perl too, split the content automatically extracted from the crawler, without template.

It could be use on different types as :

blog
forum
personal site
corporate
...

Thanks to this module, the system is focusing on useful part on the page, without menus, ads, disclaimers and other.

We could find each articles on a blog or forum, comments for blog ecommerce, and products for shopping site.

Then the system analyze each article in order to extract :

title
date of publication
user
number of comments
links
keyword
categories
images
text

So we could estimate the delay before a new article and adjust our crawler period before a new visit on this site, and find users who influence the community.

Thus for our engine pages becomes articles. If we use ranking algorithms (Hits or Pagerank) on articles and not on pages, we will obtain better pertinence of portion of document. In the case of blog or personal web site, long thread from forum, it could be interesting to obtain accurate ranking.

Example :

page view by a web browser

XML generated from the scrapper :

<page url='http://mostlylisa.com/'>
<article>
<titre>Mostly Macworld Keynote 2009</titre>
<comment>22</comment>
<publish>11 January 2009</publish>
<content>I apologize for my lousy blogging lately. Macworld has been insane for me. I was on my feet from 7am - 3am, running around the expo doing Macbreak interviews, being a guest on Macbreak Weekly, recording TWiP, and looting booths for schwag (the most important thing at MW), and attending a few shindigs.I plan on writing a detailed post on my reflections of Macworld and my top picks of the Expo in a few days. Before I give you my thoughts on the keynote, I’d like to hear yours.Were you disappointed with this year’s Macworld keynote?Like say the fact that they didn’t even mention Snow Leopard or release a new mini or iMac or, like announce something cool other than the ability to DRM-free your previously bought itunes music for $0.30 a pop? 30 x 14GB of music = I don’t know, you do the math.There is a super awesome prize for the person who makes the best comment. So breathe in and let it all out. Please don’t make Steve cry too much. Think about his hormone imbalance. Please.22 Comments ». Tagged in Apple, Geeky Stuff, Tech/Web, Travel, Videos</content>
<key>macworld</key>
<key>keynote</key>
<key>macbreak</key>
<key>ability</key>
<key>announce</key>
<link href='http://mostlylisa.com/2009/01/mostly-macworld-keynote/'>Mostly Macworld Keynote 2009</link>
<link href='http://www.pixelcorps.tv/macbreak173'>Macbreak interviews,</link>
<link href='http://twit.tv/mbw122'>being a guest on Macbreak Weekly,</link>
<link href='http://feeds.feedburner.com/mostlylisa/yKBd'></link>
<cat>apple</cat>
<cat>geeky-stuff</cat>
<cat>techweb</cat>
<cat>travel</cat>
<cat>videos</cat>
</article>
<article>
<titre>Mostly Macworld 2009</titre>
<comment>15</comment>
<publish>6 January 2009</publish>
<content>Photo by Scott Meizner’s slick Canon 5D Mark II.It’s just after midnight, the day before Macworld keynote ‘09. I can see the glow of the Moscone Center from my hotel room. I can’t quite see the line o’fanboys, but if I crane my neck a wee bit, I can see the twinkle of their MBP and a glint in their eyes. They miss Jobs. Ahh, don’t we all.For those of you not able to come to Macworld, I’ll be covering all of its geeky goodness with the MacBreak crew. So I want to ask you: What Macworld inside scoop would you like hear about? If you think of person, company, or Mac-related product you’d like to learn about, fire a comment here or @lisabettany on twitter or squint your eyes, distort the Space-Time continuum, and leave me a scroll somewhere near the Moscone Center. No guarantees that I’ll get it, but good effort, none-the-less.15 Comments ». Tagged in Apple, Geeky Stuff</content>
<key>macworld</key>
<key>moscone</key>
<key>comment</key>
<key>company</key>
<key>continuum</key>
<img width='386'>http://farm4.static.flickr.com/3258/3169628089 ea8a1c0931.jpg</img>
<link href='http://mostlylisa.com/2009/01/mostly-macworld-2009/'>Mostly Macworld 2009</link>
<link href='http://www.flickr.com/photos/redpilotmedia/3169628089/'></link>
<link href='http://flickr.com/photos/smeinzer/page4/'>Scott Meizner’s</link>
<link href='http://www.pixelcorps.tv/macbreak'>MacBreak </link>
<link href='http://twitter.com/lisabettany'>@lisabettany</link>
<link href='http://feeds.feedburner.com/mostlylisa/yKBd'></link>
<cat>apple</cat>
<cat>geeky-stuff</cat>
</article>

....

</page>

Textual analysis

This brick in Perl the most recent in the project. It aims to understand english sentences.

First, it splits each article in sentences and send it to a C server to analyze grammar structure.

Then, it extracts the subject, the verb, the object of each sentence.

After, it find date person and place by using Perl server.

Examples with Angelina Jolie's page on wikipedia

Jolie was estranged from her father for many years

subject : Angelina Jolie

verb : was estranged [estrange] (past)

what : [Angelina Jolie] father

=> [Angelina Jolie] father

=> many years

Jolie also portrayed Margret Legs Sadovsky , one of five teenage girls who
   subject : Angelina Jolie
   verb : portrayed [portray] (past)
   what : Margret Legs
=> OF five teenage girls

Jolie starred as Mariane Pearl in Michael Winterbottom 's documentary-style drama A Mighty Heart ( 2007 ) , about the kidnapping and murder of Wall Street Journal reporter Daniel Pearl in Pakistan
   subject : Angelina Jolie
   verb : starred [star] (past)
   what : Mariane Pearl
=> Mariane Pearl   [People]
=> Michael Winterbottom  [People]
   documentary-style drama
   A Mighty Heart
=> kidnapping and murder
=> Wall Street Journal reporter
   Daniel Pearl    [People]
=> Pakistan [Place]

she returned to Cambodia for two weeks and later met with Afghan refugees in Pakistan
   subject : Angelina Jolie
   verb : returned [return] (past)
   adverb : later
   what : Cambodia
=> Cambodia [Place]
=> two weeks
   met
=> Afghan refugees
=> Pakistan [Place]

Database

For the moment, is programed in Perl and uses socket. And in the future (in some weeks) it will be graph databases programmed in C and based on KyotoCabinet and libevent.
The database contains data issues from the textual analysis.
Nowadays the databse could be asked by simple human questions.

Examples :

Who is Angelina Jolie ?
Angelina Jolie is american actress
She is marcheline bertrand daughter jon voight actors
She is chip taylor goddaughter james haven and maximilian schell jacqueline bisset sister
She is slovak and german descent
She is 2005 action-comedy
She is 20 countries field missions world refugees persons
She is 2005 world economic forum davos 2006 invited speaker
She is first recipient united nations correspondents association citizen world award

When divorce Angelina Jolie ?
Angelina Jolie divorce 27 may 2003.

Who adopted Angelina Jolie ?

Angelina Jolie adopted seven-month-old maddox chivan

She adopted july 6 2005 zahara marley six-month-old girl ethiopia

She adopted wide horizons for children addis ababa orphanage

She adopted zahara

She adopted boy tam binh orphanage ho chi minh city

What promote Angelina Jolie ?

Angelina Jolie promote humanitarian causes her work refugees good ambassador united nations high commissioner refugees

She promote humanitarian causes political level

She promote humanitarian causes mass media

Brick in progress

Semantics :

Using Freebase and DbPedia to obtain more informations and classifications about ontologies.

Using WordNet to identity sense of common words and synonyms.

Future work

Database :

The new database based on graph, with the KyotoCabinet (high performance database library) and libevent (to allow asynchronous socket). With LZMA compression to minimize space in memory and Gzip or Bzip2 compression for persitent storage.

Many reverse index (object, verbe, subject).

A better understanding for complicated questions with the help of the brick of textual analysis, and abilities to build sentence answer.

And after it distributs fault tolerant and highscability.

Auto Classification :

In the goal of classified every articles in one or several categories (Film, Person, Place, Car, Commerce, ...). Based on an auto learning with Bayesians Classifier and/or LSI.

Crawler :

Improves the crawler to export pages interconnections on graph into the database, to allow construction of aggregats to detect community.

Convert of documents as PDF,DOC, ... in text

Facial detection / recognition :

Uses facial detection and recognition (with OpenCV) on photos present on page to auto-tagged persons, objects, vehicles.

Graphical interface :

Realizes web interface with JQuery to present answer at questions and show text with semantics and text annotations (as Powerset).

Using Google Maps to show location; gallery of picture, tooltips, and graph.

Supervision :

Helps to detect faillure and to monitor uses of ressource, using SNMP to be easily plugged to other program such as Nagios.

Future steps

Analysis of all Wikipedia english pages (more than 3.5 Millions) to constitute a massive knowledge base of the world.

Monitor articles from newspaper's website and Twitter to detect events.

Adds of information sources to improove the knowledge based of the program as the CIA world factbook, and others.

My resume

2010-11-10T21:30:00.000-08:00

Mobile : (+33) 6.78.69.34.64

E-mail : boudetch[at]gmail.com

WWW : john-bouday.blogspot.com

Education

2007–2011 : UTC, Université Technologique de Compiegne. Engineer in Computer Science, Major in System and Network
2005–2007 : BTS Informatique de gestion, best GPA. 2-year computer science technical degree
2005 : Bac STI génie électronique. French baccalaureat in electronics

Skills

Web : PHP, CSS, Javascript, HTML, ExtJS, Jquery, Flash, ActionScript, conception of intranet, and frameworks
Programmation : Perl, Python, C, ASM, BASH, SQL
Modeling data : XML, JSON
Linux Administration (Debian, Ubuntu, OpenBSD, Fedora) : Ldap, Postfix, Dovecot, SSH, MySQL, Apache, Bind, Samba, Snort, DHCP, Iptables, quota, FTP, NFS, SNMP, Clamav
Windows Administration (2003 Server Entreprise) : Active Directory, GPO, FTP, share, SMTP, POP3, IMAP, DNS, DHCP, IIS
Network Administration (Cisco, 3com) : router, switch, VLAN, OSPF, RIP2, trunk, 802.1Q, packet tracer, WAN, MAN, LAN
Security : Penetration tests of servers and sites, corrections of security breaches, IDS, router, firewall, sniffer
Operating system : Linux, BSD, Apple OS X, Microsoft Windows, Cisco IOS, Solaris
Database : Elastic Search, Redis, Neo4J, RabbitMQ, LDAP, MySQL, PostgreSQL, Oracle, TokyoCabinet
API : Freebase, Google Map, Wikipedia, Flickr, Twitter
NLP: NLTK, LinkParser
Applications : TEX, LATEX, Photoshop, Office
English : Reading, writing, speaking (TOEIC : 775)

Work experiences
20I1 Internship of 6 months, Legrand, Software marketing. Management of project, mock-up and technical expertise on the futur expert system software based on open source technolgy.

2009 Internship of 6 months, Bank Société Générale : support front and middle office. Development of monitoring tools for financial trades, intranet and deployment for the support team FMO trading.

Since 2008 SiMDE : Computer service of the student home of the UTC. Servers management of associations of the Université de Technologie de Compiégne.

2007 Olympiades des Métiers : management of computer network. Rank 5th of National competition « Olympiade des métiers » 2007 categorie management of computer network

2006 2-month Internship : Administration of 300 computers and 20 servers at Lycée Turgot. Installation of inventory system of computer (OCSInventory-NG) and SNMP server supervision (Cacti).

Projects
Snort Plugin : Development of Perl plugin for the IDS Snort with geolocation, Latex reports of attacks with impacts and advices, auto generation of Iptables rules.

Intranet MDE UTC : Development of the intranet of the MDE of UTC, designed to manage more than 120 UTC associations with personnal informations, share and private agenda, web site creator, cloud documents editor, membership management, mailling list administration.

Social Network : Development of a social network 2.0 based on location, high scability technologies, based on a unique web page which uses custom templates and JSON data with homemade Jquery Modules to save bandwith and provide better user experience.

CNS 2009, Challenge of Network Security : Creator and technical organization of a one day network security challenge at the UTC with supports of professional security experts and teacher of other schools, creator of 15 level tests, main conference speaker of the ending meeting.

Search engine : Development of PERL search engine which extracts content from Wikipedia, realizes context understanding analysis and store the result in homemade graph NoSQL database focus on high performance, to answer at natural language question. With recognition of ontologies and auto-classification by categories. Thanks to semantics API as Freebase it provides more informations on each items, and allow relative content.

NSC Live CD for security : Creation of a live CD Debian for a security group, embedding collections of security tools designed to learn security through penetration test exercices, and lessons.
UTC Apartment : Creation of web service to allows UTC students to search or rent apartements across the country.

Interest and Activities

Association : Active adherent of computer association Alternatives87 for promotion of open source software (member since 2001).

Intranet MDE de l'UTC

2010-04-04T11:17:00.000-07:00

Dans le cadre de mes études, je fais parti de l'association SiMDE en charge du fonctionnement de l'infrastructure informatique (serveurs et pc) de la MDE de l'UTC.
J'ai développé un intranet (HTML, CSS, PHP, ExtJS, Jquery), dans le but de simplifier les démarches de chaque association hébergée sur nos serveurs (plus de 90 assos).

Voici quelques captures d'écrans de cet intranet.

authentification (LDAP)

page d'accueil composée de portlet

Modifications des informations du compte assos

Réservation de salle

Agenda fournisseur

ACL via Drag and Drop

Gestion des membres

Editeur de document à la Google Docs (partage entre utilisateurs ...) ainsi qu'éditeur de site web

(Jquery from scratch)

Modélisation d'un système d'analyse de page web

2010-04-04T10:28:00.000-07:00

Notre projet tente de modifier la manière dont une page internet est analysée et dont les mots clefs sont extraits.

Conception.

Notre projet se compose de plusieurs briques logiciel permettant de concevoir un moteur de recherche, pour le moment nous n’avons qu’un nombre réduit de briques, mais dans le futur nous pourrions avoir toutes les briques nécessaire.

Chacune des parties est programmée en Perl ou en C. Plus tard, l’ensemble des parties sera porté en C pour augmenter les performances. Le Perl sert à faciliter le maquettage des applications.

Notre architecture se compose de programmes en mode clients/serveurs communicants les uns avec les autres. Cela permet une conception en cluster sur un ensemble de machines en réseau. Nous pouvons donc avoir une puissance de calcul évolutives et à des coûts inférieurs à des supercalculateurs.

Schéma du système

Fonctionnement

Notre système est pour l’instant décomposé en 5 parties.

i. Crawler.

Etant au début parti sur la réalisation d’un crawler multithread, nous avions un début de première brique en mesure de se promener de pages en pages pour récupérer du contenue.

Cette partie a été abandonnée au profit d’une autre brique nous n’avons pas eu le temps d’implémenter des fonctionnalités tel que le focus, et la profondeur.

ii. Scrapper.

Le but de cette seconde brique est de récupérer le contenu d’une page web, et en extraire différentes informations (scraping).

Notre scrapper est en mesure de découper une page en article. Nous n’utilisons pas de modèle, appelé aussi “Template”, ce qui nous permet de pouvoir extraire des articles sur un maximum de sites ayant une conception très différente comme :

- blog

- forum

- site personnel

- site d’information

- entreprise

- etc.…

Cela marche aussi sur un document n’ayant qu’un seul et unique article.

Les résultats ont montré un score de réussite de près de 90%.

Grâce a cela nous pouvons nous concentrer uniquement sur la partie importante et faire abstraction des menus, bannière, publicités, etc.

Nous analysons ensuite chacun des articles pour en extraire les informations suivantes :

- Le titre

- La date de publication

- Le nombre de commentaire pour un blog

- Le texte

- Les liens

- Les mots clefs

- La catégorie de l’article

- Les images

Ainsi, nous sommes en mesure de juger de la pertinence d’un article en fonction de son nombre de commentaire, de sa catégorie, sa date, ses mots clefs.

De plus, nous pouvons estimer un délai pour que la page soit de nouveau crawler en fonction de la fréquence de parution de nouveaux articles (cela permet d’économiser les ressources de notre crawler).

Grâce au nombre de commentaire et à la fréquence des articles nous pouvons reconnaître des posteurs qui influencent la communauté et qui sont actifs.

Suite à ce découpage nous ne parlons plus en terme de page mais d’article. Si on reprend l’algorithme de Hits ou le Pagerank et les appliquons sur des articles, et non plus sur des documents, nous serons en mesure d’avoir un classement par pertinence d’une portion d’un document. Cela est intéressant pour des sites personnels ou des blogs qui traitent de nombreux sujets.

exemple :
page vu par un navigateur :

Voici un exemple d’une sauvegarde en XML de cette page:

<page url='http://mostlylisa.com/'>
<article>
<titre>Mostly Macworld Keynote 2009</titre>
<comment>22</comment>
<publish>11 January 2009</publish>
<content>I apologize for my lousy blogging lately. Macworld has been insane for me. I was on my feet from 7am - 3am, running around the expo doing Macbreak interviews, being a guest on Macbreak Weekly, recording TWiP, and looting booths for schwag (the most important thing at MW), and attending a few shindigs.I plan on writing a detailed post on my reflections of Macworld and my top picks of the Expo in a few days. Before I give you my thoughts on the keynote, I’d like to hear yours.Were you disappointed with this year’s Macworld keynote?Like say the fact that they didn’t even mention Snow Leopard or release a new mini or iMac or, like announce something cool other than the ability to DRM-free your previously bought itunes music for $0.30 a pop? 30 x 14GB of music = I don’t know, you do the math.There is a super awesome prize for the person who makes the best comment. So breathe in and let it all out. Please don’t make Steve cry too much. Think about his hormone imbalance. Please.22 Comments ». Tagged in Apple, Geeky Stuff, Tech/Web, Travel, Videos</content>
<key>macworld</key>
<key>keynote</key>
<key>macbreak</key>
<key>ability</key>
<key>announce</key>
<link href='http://mostlylisa.com/2009/01/mostly-macworld-keynote/'>Mostly Macworld Keynote 2009</link>
<link href='http://www.pixelcorps.tv/macbreak173'>Macbreak interviews,</link>
<link href='http://twit.tv/mbw122'>being a guest on Macbreak Weekly,</link>
<link href='http://feeds.feedburner.com/mostlylisa/yKBd'></link>
<cat>apple</cat>
<cat>geeky-stuff</cat>
<cat>techweb</cat>
<cat>travel</cat>
<cat>videos</cat>
</article>
<article>
<titre>Mostly Macworld 2009</titre>
<comment>15</comment>
<publish>6 January 2009</publish>
<content>Photo by Scott Meizner’s slick Canon 5D Mark II.It’s just after midnight, the day before Macworld keynote ‘09. I can see the glow of the Moscone Center from my hotel room. I can’t quite see the line o’fanboys, but if I crane my neck a wee bit, I can see the twinkle of their MBP and a glint in their eyes. They miss Jobs. Ahh, don’t we all.For those of you not able to come to Macworld, I’ll be covering all of its geeky goodness with the MacBreak crew. So I want to ask you: What Macworld inside scoop would you like hear about? If you think of person, company, or Mac-related product you’d like to learn about, fire a comment here or @lisabettany on twitter or squint your eyes, distort the Space-Time continuum, and leave me a scroll somewhere near the Moscone Center. No guarantees that I’ll get it, but good effort, none-the-less.15 Comments ». Tagged in Apple, Geeky Stuff</content>
<key>macworld</key>
<key>moscone</key>
<key>comment</key>
<key>company</key>
<key>continuum</key>

<img width='386'>http://farm4.static.flickr.com/3258/3169628089 ea8a1c0931.jpg</img>

<cat>apple</cat>

<cat>geeky-stuff</cat>

</article>

Analyse textuelle.

Cette brique permet de comprendre le sens d’une phrase en anglais.
La grammaire française étant plus compliquée à modéliser, c’est pour cela que nous avons préféré utiliser l’anglais.

Suite à la partie faite par le scrapper, le contenu textuel est extrait d’un article. Nous allons le découper en phrases puis chaque phrase va être envoyée à un serveur qui va l’analyser et renvoyer les informations suivantes de la phrase :
QUI
FAIT
QUOI
OÙ
QUAND
COMMENT

Ainsi, notre phrase est à son tour découpée en ensemble de mots (1 à 6 mots en général).
Nous enlevons ensuite les stopwords, et récupérons des mots clefs composés de plusieurs mots et pouvant être classés en fonction de leur nature (sujet, action, manière, date, lieu ...).
Donc, le mot “maison blanche” sera un mot clef (d’un ensemble de mot) et non décomposé en plusieurs mots clés, on n’aura plus besoin de faire des jointures. On gagne alors en ressource, rapidité, et précision.

Exemple :

QUI : you
FAIT : have
QUOI : smaller pets

QUI : Everyone

FAIT : was leaving

QUOI : the park

Création de mots clefs en catégorie.

Cette brique permet la classification automatique en catégorie. Elle extrait les mots clefs provenant d’une définition d’un domaine, puis en filtrant de manière automatique il ne récupère que les mots clés ayant un rapport avec la catégorie demandée.

Ce programme n’est pas encore totalement opérationnel même s’il retourne un grand nombre de mots ayant un rapport direct avec la catégorie, il retourne encore 10-15% de mots sans rapport (des mots de liaison). Ce problème sera résolu avec l’ajout de la lemmatisation, et d’une constitution automatique de stopword.

Exemple :

Catégorie : finance

Instrument
Internationaux
Locales
Monétaire
Monétaires
Optimisation
Revenus
Bourses
Capitaux
Collectivités
Compagnies
Diversification
Décisions
Développement
Financement
Finance
Marchés
Banques
Entreprise
Politique
Risques
Gestion
Institutions
Économie
Actions
Assurances
Caisses

Extraction de concept.

Notre dernière brique permet d’extraire des “concept” commun de notre texte et des informations relatives à ce concept.
Tout d’abord le logiciel recherche des mots ou ensemble de mots dont il connaît la définition à travers sa base de données (construite à partir d’un ensemble de données extraites d’internet).
Puis pour chacun de ces mots, il va chercher les catégories dans lesquels ces mots sont inscrits.

Ensuite, il va pouvoir rajouter des informations sur les mots selon les catégories comme:
- personne : date de naissance, de décès, nationalité, métier, ...
- ville, pays : nombre d’habitants, localisation (lat, long), site internet, ...
- entreprise : logo, nombre d’employés, capital, valeur boursière, ...
- voiture : constructeur, moteur, taille, poids, ...
- logiciel : logo, version, licence

Pour chacun de ses mots nous allons pouvoir trouver d’autre mots dans les même catégories que l’on pourra proposer dans la partie “Termes associés”, ainsi que des images comme des logos ou des photos.

Exemple :
“Les violences se poursuivent à Gaza, mais au Caire, la diplomatie progresse. L'aviation israélienne a frappé mercredi un cimetière de la ville de Gaza, et continué à pilonner des positions du Hamas ainsi que des tunnels servant à la contrebande. Au 19e jour de son offensive, Tsahal a en outre riposté à de nouveaux tirs de roquettes sur le nord d'Israël depuis le Liban qui laissent craindre l'ouverture d'un autre front.”

Les mots suivant sont reconnus :

Aviation
Gaza
Hamas
Israël
Liban
Roquettes

Prenons l’exemple du mot « Gaza » et cherchons d’autres informations:

Tout d’abord la définition :

"La ville de Gaza (parfois appelée Gaza City pour la distinguer de la bande de Gaza qui désigne la région dans son ensemble) est la ville principale de la bande de Gaza."

Cherchons les catégorie dans lequel le mot Gaza est classé :

Cities in the Gaza Strip
Coastal settlements
Gaza Governorate
Hebrew Bible cities
Philistine cities
1929 Palestine Riots

Cherchons plus d’informations :

Nom Local : قطاع غزة

Carte : map_gaza.png

Langues : Arabe

Statut : Territoire administré par l'Autorité palestinienne, non reconnu internationalement comme faisant partie d'aucun pays

Capitale : Aucune

Titres Dirigeants : Présidents de l’Autorité palestinienne

Noms Dirigeants : Mahmoud Abbas

Titres Dirigeants : Premiers ministres de l’Autorité palestinienne

Noms Dirigeants : Salam Fayyad

Superficie : 360

Population Totale : 1 376 289

Monnaie : Shekel

Fuseau Horaire : +2

Date importante :

12 septembre 2005

juin 2007

15 novembre 2005

13 septembre 1993

15 août 2005

22 août 2005

12 septembre 2005

16 septembre 2005

Ces informations ne sont pas de toute dernière fraicheur mais permettent d’avoir des mots clefs et des informations connexes sur la recherche.

Cette brique n’est pas encore finie mais se montre déjà très prometteuse.

Amélioration du système.

Pour améliorer notre système il faut :

Au niveau du crawler :
Implémenter le focus.
La profondeur.
L’analyse du nom de domaine via whois.
La géo localisation du site.
Gérer la base de donnée (rajouts des urls, calcul du CRC pour éviter de réindexer une page dont le contenue n’a pas changé).
Implémenter d’autre protocole que HTTP et HTTPS tel FTP, NEWS.

Au niveau du scrapper :
Ajouter la lemmatisation.
Extraire la langue (fr, us, uk, es, ...).
Le niveau littéraire de l’article (enfant jusqu'à scientifique).
Donner un score des mots en fonction de leur mise en page (h1, ..., h6, u, i ....) et de leurs positions dans le texte.
Trouver la nature du site (blog, forum, site personnel, entreprise, journal, ...).
Lire des fichiers non HTML, comme Word, PDF, Excel, Open Office, Flash, Mp3 et en extraire les informations utiles.
Extraire les auteurs et les adresses email.
Stocker toutes les données dans une base de donnée.
Prendre une miniature de la page afin de la proposer lors de la recherche.
Calculer le ranking des articles/pages/sites/auteurs/images

Analyse textuelle :
Ajouter de nouvelles langues.
Améliorer la recherche de lieux.
Donner un score des mots en fonction de leur valeur péjorative ou non.

Créations des mots en catégorie :
Implémenter la lemmatisation.
Donner un score des mots selon leur position.
Stocker les catégories dans la base.
Trouver des sous/sur catégorie

Extraction de concept :
Trouver de nouveaux concepts de manière automatique s’ils ne sont pas déjà présents dans la base.
Coupler les catégories des mots d’un article pour en trouver une signification au niveau de la requête du client.

Futures briques :
La base de données.
La génération de graphes pour les articles, auteurs, catégories, sites.
Découper nos résultats en agrégats.
Une interface graphique (page web).
Des briques de supervision.
Haute disponibilité.

Utilisation du projet.

Notre projet peut servir dans différents domaines.

Premièrement, tel un moteur de recherche classique (sur l’ensemble du web, ou une communauté), comme Google.
Un moteur de news (tel Google Actu), on surveille les sites d’actualités et on peut regrouper les articles ensemble en fonction de leur contenu.
D’analyse stratégique (veille) comme WebFountain. On peut surveiller ce que pense une communauté, une personne, un site, d’un événement particulier, d’un produit commercial de manière très précise. Ainsi, il est possible de cibler une personne sur un produit plus adapté, mais il est aussi possible de connaître très rapidement ce que pense une population sur un nouveau produit avant même sa sortie.

Olympiades des metiers

2008-10-01T07:55:00.000-07:00

Résumé du concours des 39eme Olympiades des Métiers.
Suite a ma sélection régional de meilleur admin réseau de moins de 23 ans, j'ai put participer a la finale national du concours du meilleur admin français de moins de 23 ans.
J'ai finit 5eme national, j'ai mal joué j'aurais pus faire mieux si je m'était pas obstiner sur un Samba contrôleur primaire de domaine et que j'avais fais les regles Iptables qui finallement rapporté 8points comparé a mes 2 points du Samba (je penssais que Samba rapporterais plus, ca m'apprendra)

Mon poste de travail lors de l'entrainement :

2 ordi Dell (Windows 2003 server et Linux Fedora)
2 siwtchs Cisco 2960
2 Routeurs Cisco
Switch 3com 4500

Mon poste lors du concours national :

2 pc dont un assemblé
Switchs Cisco 2960
Routeurs Cisco
Siwtch 3Com

Épreuves :

1er jour :
1er partie durée 3 heures :

Assemblage d'un poste de travail (carte mere, cpu, carte graph, ram, dd ...)
Installation de MS-DOS 6.22 (trois partitions, modif d'option ....)
Installation de XP (driver, réseau, netbios, trois partitions, SP2, renommage lecteur ...)
Dépannage du pc.
Création de câble réseau (droit et croise).
Installation de Windows 2003 Serveur sur le deuxieme poste (driver, partitions, netbios, reseaux, SP1, user ...)
Configuration switch Cisco (password, VLAN, FD ...)

2éme partie durée 3 heures :

Serveur DHCP (win) (reservation, bail, reseaux ....)
Active Directory (domaine, DNS ...)
Création groupes et utilisateurs (partage, dossier privee, quota, sécurite, strategie systeme commune, auto-montage ...)
Ghost Entreprise (image via disquette ...)

2éme jour

1er partie durée 3 heures :

Installation Linux Fedora Core 4 (non graphique :), partition, réseau, paquetage, désactivation de service ....)
Installation de Windows XP Pro (comme dab).
Cable réseau a réaliser (comme dab, faut bien s'occuper).
Configuration switch Cisco (VLAN, TFTP, FD ....)
DHCP (Linux) (réservation, gateway ...)
Virtual PC (encore un XP même config)
DNS (Linux)
Mail (Linux) (SMTP, POP3, user, list, config Outlook ...)
(tout sa en console (non graph) a part Windows)

2éme partie durée 3 heures :

Nouvelle partition ext3 Linux.
Apache (nouvelle racine, htaccess, TLD ...)
Webmin (et ui on fait comme windows du graphique ...... )
DNS secondaire sur un Linux virtuel.
FTP (racine, user ...)
Samba (contrôleur primaire, quota, sécurité, user ...)
Iptables (firewall, log ...)

3éme jour durée 4 heures :

Installation XP (la routine du matin)
Configuration switch Cisco (2960) et 3Com (4400) (VLAN, user, FD ...)
Routage stastique sur un routeur Cisco.
Routage dynamique (RIP2).
Installation de IIS sur XP (access liste, site web ...)
Création de VLAN sur les switch.
Routage statique et dynamique
Routage inter VLAN (avec un seul ports 802.1Q)