[Home]|[Project Management]|[Developer Info]|[Links]|[Contact]

Project Management

Todo

• tokenization: remove numbers from separators in order to include TP765L, exclude fully-numeral words only
• compute terms presence for each day
• switch FTP library to Jakarta Commons/Net
• implement Info board entry 20020926 methods, write a command to test
• create ArchivedFile enterprise bean, linked to FileTrace
• test transaction management support (commit/rollback), test with DB2
• Synch DailyBatch (and eventually other batches modifying data) with online application. Integrate jakarta-tomcat directory into wasa dir. Or find a way to point tomcat webapps dir into wasa dir.
• Test WASA-CJ and WASA-LA scalability on www.ulb.ac.be content --> switch to Jakarta FTP library
• Capitalize on WASA 4 subsytems : CJ, CA, DC, LA to produce (more) semantic stats
• The Thing
• URI completion for log file analysis : / --> /index.htm(l), try to config Apache mod_log_config with %u or %f or ...

Changelog

20040607 : WASA20

• count occurrences of words
• added stopwords support

20030530 : WASA19

• added some rs.close() in Persisters
• ComputeConceptsCommand, still bugged
• many emergency tweaks for (aborted) QualiWeb demo

20030113 : WASA18

• cleanup
• bugfixes

20021208 : WASA17

• IBM DB2 UDB 7 support
• Commands : Welcome, InitSession, UriPrefix
• Removed PRIMARY KEY inline constraints and DEFAULT values from DDL CREATE TABLE statements to compat. with Microsoft Access 97 (which has no such support) ; furthermore, they add little value.
• bugfixes

20020827 : WASA16

• configuration is now file-oriented and handled by ApplicationManager, Configuration class is deleted
• content journal import/export
• Oracle 8i support
• bugfixes

20020704 : WASA15

• OccurrencePersister
• kernel support for WASA-LSE (Local Search Engine)
• GenericWebController ViewCommand support
• bug fixes

20020703 : WASA14

• Uri and Word caching
• clean URI before insert in DB : replace // by /
• bug fixes

WASA14.1 20020703 update : performance test tweaks

20020625 : WASA13

• HTML unformatting in HtmlContent
• Lexical analysis
• LogManager now also counts DailyConsultationCount (text/html, text/plain)
• Uri and Word made persistent
• Lexical parser in TextContent (simple StringTokenizer implementation)
• package reorganization
• started WASA-LA code
• bug and scalability fixes

WASA13.1 20020626 update : bug fixes

20020613 : WASA12

• Log.PERFORMANCE level added
• code is now more verbose (DEBUG/INFO/ERROR log levels)
• DailyCounter and DailyCounterPersister (LogManager now counts DailyHitCount and DailyDebit)
• Consultation inheritance tree set (<-Access<-Combined)
• ensure only one instance of DailyBatch runs at once (pid file in ~var/tmp/)
• Bug fixes

20020606 : WASA-CJ/DC/CA released

Chers partenaires du projet WASA,
voici trois bonnes nouvelles dans l'avancement de ce projet !

1. WASA-DC, le sous-systeme de 'Dynamic Content Journaling' de l'application WASA, observe et trace le contenu dynamique vu d'un site web et archive l'ensemble des pages générées par celui-ci pendant la periode d'observation par WASA-DC.
   Le fonctionnement en est entierement automatisé.
2. WASA-CA, le sous-systeme de 'Consultation Analysis' de l'application WASA, analyse la consultation statique d'un site web pendant la periode de mise en ligne de celui-ci. Cette fonctionnalite existe egalement dans le programme WebTrends.
   Le fonctionnement en est entierement automatisé.
3. Le programme de test 'ModTraceOutputTest', concu pour comparer les resultats communs a (WASA-CJ+WASA-CA) et a WASA-DC indique une exactitude de 100% !

Dans le cadre plus large du projet WASA, les sous-systemes WASA-CJ, WASA-CA et WASA-DC sont complementaires. Voir a ce sujet la page web http://wasa.ulb.ac.be/thesis/infoboard.html a l'entree 20020501.

• Pour plus de details sur 'ModTraceOutputTest', voir la page web http://wasa.ulb.ac.be/thesis/infoboard.html a l'entree 20020524 et le fichier attaché.
• Pour plus de details sur WASA-CJ, voir mon precedent mail du 26/04/2002 ou la page web ProjectManagement.html a l'entree 'WASA-CJ released !'
• Pour plus de details sur WASA-DC, voir la page web infoboard.html a l'entree 20020426, le site SourceForge y referencé et le rapport de travail de fins d'études de Gérard Materna 'Extraction par déformattage du contenu de pages web dynamiques semi-structurées' : http://cs.ulb.ac.be/teaching/thesis.xml.

Representant plus de 3300 lignes de code Java reparties en 34 classes, ainsi que 800 lignes de code C contribuees par Gérard Materna, WASA-CJ/DC est a present terminé et testé.

A present, il serait interessant de deployer WASA-CJ et WASA-DC a des sites fortement consultes, comme le site officiel de l'ULB et ceux heberges par Publicis Technology.

20020520 (another vacation day) : WASA11

• Log line analysis now uses Jakarta ORO
• URI conceptualization has been introduced in class Uri, which delegates to a String (too bad the java.lang.String class is final ...)
• Remodeling : FileTrace is now directly linked to a WebSite, like Consultation. ContentJournal link to FilePersister is now broken, like LogManager and ConsultationPersister. Things are more coherent now : WASA-CJ and WASA-CA are tranposed each to the other.
• other minor changes
• bug fixes

Facts : 33 classes, 3200 lines of code.

WASA11.1 20020524 update : basic integration of JSP parser into package be.fnrs.wasa.htmlparser, bug fixes

WASA11.2 20020606 update : bug fixes --> deployed as WASA-CJ 1.3

20020516 : WASA10

• ConsultationPersister
• ModTraceOutputTest finished
• DynamicContentManager download code
• Configuration.getInstallDirectory() now uses name applicationInstallDirectory in DB

WASA10.1 20020517 update : bug fixes --> WASA-CJ 1.2

20020509 (vacation day) : WASA09

• LogManager
• Consultation class : log line parsing
• ModTraceOutputTest started

20020506 : WASA08

• GenericWebController enhanced and integrated
• bug fixes

WASA08 has been deployed as WASA-CJ 1.1

WASA-CJ released !

WASA07.1-patch candidate has been elected to become the first WASA-CJ release. It is now deployed as WASA-CJ 1.0.

WASA-CJ, le sous-systeme de 'Content Journaling' de l'application WASA, observe et trace l'evolution temporelle du contenu statique d'un site web et archive l'ensemble des pages mises en ligne par celui-ci pendant la periode d'observation par WASA-CJ.
WASA-CJ permet ainsi de connaitre le contenu d'une page d'un site web a un moment donné.
Le fonctionnement en est entierement automatisé.
Representant plus de 1500 lignes de code Java reparties en 25 classes, WASA-CJ est a present terminé, testé et déployé avec succès sur un serveur de taille modeste.

20020422 : WASA07

major bug fixes

WASA07.1 20020424 update : bug fixes

WASA07.1-patch 20020425 update : keyValue bug fix

WASA07.2 20020503 : WASA-CJ file comparison and various bug fixes

20020415 : WASA06 (24 classes, 1500 lines of code)

• FileTracePersister implemented
• KeyPersister implemented
• toString() methods implemented (VAJ debug made easier)

WASA06.1 20020415 update : toString() methods implemented (VAJ debug made easier)

WASA06.2 20020415 update : WebSitePersister code implemented

WASA06.3 20020416 update : Configuration minimal persistence implemented

20020411 : WASA05

• Log system implemented
• Configuration/ApplicationManager/AdminTool structure
• major cleanup

WASA05.1 20020412 update : main() methods wasa-dev-specific arguments supplied for DailyBatch and AdminTool. Minor bugfixes.

20020410 : WASA04

• error handling system
• FTP download code

20020405 : extension des clés DB à 64 bits

Les clés DB passent de 32 à 64 bits. Le type Java correspondant passe de int à long. Le type DB (mySQL) passe de INTEGER à BIGINT. Les classes PersistentObject et KeyPersister ont été modifiée de façon ad hoc. Les autres Persister de WASA suivent désormais cette nouvelle règle.

20020404 : WASA03

• complete ContentJournal.update algorithm implementation
• FileTracePersister basic SQL code
• first download model
• ThreadConnectionManager implemented (TCM, see InfoBoard for details)

20020329 : WASA02

• updated model implementation
• ContentJournal.getFile(uri, dateTime) hook added
• skeleton SQL code

Only one SQL table is planned for the moment : FileTrace

20020321 : WASA01

• first model implementation
• dummy backend code
• content journal update algorithm implementation

Key dates

Reversed time

20030601 : theoretical end of WASA major parts, in order to present FNRS report in abour september. Nothing new will be added to the project at this time. Only bug fixes, finalizations, complementary concepts inception (gives a reason for future budget).

2003 : (planned) New inception phase

20021101 : (planned) professional-quality web-enabled system : WASA-online 1.0

20021001 : (planned) activity report

20020724 : WASA-LSE 1.0 online release

20020701 : WASA-LA 1.0 silent release

20020606 : WASA-CA 1.0 release

20020606 : WASA-DC 1.0 release

20020506 : WASA-CJ 1.1 release

20020301 : end of inception

20011001 : start of project

Strategy

WASA project management strategy is based on RUP iterative model :