De laatste weken heeft de micro-bloggingsite zijn zoekmachine ingrijpend gewijzigd. Deze laatste is gebaseerd op MySQL gecreëerd door Summize, een bedrijf dat midden 2008 door Twitter werd overgenomen. Intussen heeft deze technologie haar grenzen bereikt. Het team van ingenieurs dat belast is met het project heeft beslist om de zoekmotor radicaal te wijzigen door gebruik te maken van een andere technologie: Lucene, een textuele open source zoekoplossing, geschreven in Java.

Twitter heeft wijzigingen aangebracht in bepaalde aspecten van Lucene, inclusief op gebied van geheugenlekken, de beëindiging van verzoeken, de listing van posts en de structuren van data en algoritmes. Deze aanpassingen verbeteren aanzienlijk de antwoordtijd op verzoeken. Twitter krijgt per seconde zo`n 12.000 zoekopdrachten te verwerken, of 1 miljard per dag. De tweets worden in minder dan 10 seconden na de publicatie geïndexeerd in de zoekmotor.

“We gebruiken vandaag de dag slechts 5% van de beschikbare middelen in onze architectuur. We hebben dus nog heel wat beschikbare plaats vrij. Met Lucene zullen wij kunnen indexeren aan een snelheid die 50 hoger ligt dan voordien,” schrijft Michael Busch op de officiële Twitter-blog.

Twitter gaat in ruil bijdragen aan het Lucene-project door het aanbrengen van wijzigingen en verbeteringen aan de code. De site wijst erop dat, indien het de indexatie van zijn tweets ter beschikking stelt van Google of van Bing, zijn interne zoekmotor een sleutelelement is in zijn microbloggingdienst. Wil het zijn “tweets” verhogen, dan moet het bedrijf beschikken over een snelle, complete en schaalbare zoekmotor.

Wat nog belangrijker is, is dat Google van plan is zijn Twitter-threads te integreren in de Google News-pagina.

Jacques Cheminat 

Meer informatie http://www.lemondeinformatique.fr