La vague de migrations vers le Cloud touche désormais tous les secteurs, y compris celui, ultra-régulé, de la Bourse. Euronext veut migrer son informatique dans le Cloud, adoptant notamment AWS afin de porter son data lake. L’heure est au Cloud hybride mais le mot d’ordre est donné : « Cloud first » !
Le secteur des marchés boursiers est bien connu pour ses forts volumes de transactions, des temps de réponse mesurés en quelques microsecondes et surtout une pression réglementaire extrêmement forte : autant de contraintes qui semblent exclure le Cloud public comme infrastructure technique. Pourtant, c’est le choix qu’a fait Nicolas Rivard, le Chief Innovation Officer d’Euronext. Celui-ci a choisi d’utiliser Amazon Web Services pour porter son data lake et il compte bien réitérer ce choix plus largement.
Le CIO rappelle que la plateforme transactionnelle Euronext traite plusieurs millions de transactions par jour, soit des centaines de millions d’ordres. Entre le moment où un ordre arrive au niveau du datacenter et celui où l’acquittement de l’ordre est renvoyé au client ne doivent s’écouler que quelques dizaines de microsecondes. Cette plateforme génère 1,5 milliard de messages par jour et ceux-ci sont stockés dans une base de données, dont la plus grande table représente 400 milliards d’enregistrements. Par définition, cette base de données ne fera que croître et sa disponibilité doit être sans faille. En outre, l’intégrité des données est essentielle sur cette plateforme : impossible de perdre un seul ordre, un seul message.
Les temps de traitements des données se rapprochaient de la zone rouge
La volumétrie de cette base de données est devenue un frein pour Euronext lorsque l’entreprise a souhaité amplifier sa démarche analytique et notamment aller vers des algorithmes d’intelligence artificielle.
« Quand, il y a deux ans, nous avons souhaité exploiter beaucoup plus nos données, notamment pour y appliquer de l’intelligence artificielle, nous avons été confrontés à un certain nombre de challenges. Le premier portait sur la performance. Nous faisions alors nos traitements en post-marché, c’est-à-dire après la clôture des marchés et ceux-ci demandaient un délai de 6 heures avant que nous puissions utiliser ces données, les envoyer à nos clients, les mettre à disposition de nos équipes métiers pour analyser les événements de la journée et préparer la journée suivante. » Si ce temps de traitement nocturne pouvait sembler encore gérable, lors d’événements exceptionnels ce temps de traitement pouvait exploser. « Le lendemain du vote du Royaume-Uni sur le Brexit, cela nous a demandé 12 heures pour traiter les données. Cela veut dire que les données ne sont disponibles que tôt le matin, et cela devient très compliqué d’être prêt pour le jour suivant. Le 24 juin tombait un vendredi donc nous avons pu traiter les données pendant le week-end et tout s’est bien passé, mais nous savions que nous aurions des problèmes dans les années à venir. »
En outre, l’équipe IT avait le plus grand mal à créer de nouveaux environnements de travail pour les nouveaux data scientists. Le CIO évoque un délai de 45 jours avant de pouvoir fournir une console analytique, de quoi décourager plus d’un Data Scientist avide d’exercer son art. La conclusion de Nicolas Rivard est alors claire : il faut moderniser une infrastructure en fin de vie, dans un contexte où les régulateurs européens imposent à Euronext de stocker de plus en plus de données, et se montrent de plus en plus exigeants vis-à-vis de la qualité de ce stockage et de l’intégrité des données.
Le Cloud n’était pas l’option privilégiée
En 2017, Euronext lance un projet de refonte de cette architecture, projet qui commence par l’analyse des différents scénarios d’évolution. « Le Cloud n’était pas alors le scénario privilégié compte-tenu de l’histoire de notre entreprise, de notre appétence au risque mais aussi de notre niveau de connaissance de ces environnements. » Les équipes mènent alors une démarche factuelle, analytique : chaque responsable d’une thématique doit analyser la façon dont son activité pourrait migrer vers le Cloud, pour quelles raisons y aller ou pas. « Nous nous sommes livré à cette démarche pour l’infrastructure, la cybersécurité, la compliance, la finance, etc. A la fin de l’été 2017, nous avons réuni tous ces éléments et nous en avons conclu que nous pourrions avoir nos données en zone euro, nous pourrions être conformes au RGPD, nous pourrions avoir une encryption des données de bout en bout que nous pourrions maîtriser tout en obtenant un coût de possession qui soit inférieur aux alternatives envisagées en parallèle. Nous avions accès à un catalogue de services et d’innovations qui ne nous serait pas accessible dans les autres scénarios. » De plus, migrer vers le Cloud était l’occasion idéale pour la DSI de transformer et moderniser son IT et transformer la manière dont Euronext travaille ses données. Enfin, d’autres grandes entreprises françaises sont en train de mener de telles migrations, ce qui a achevé de rassurer le CIO quant à la faisabilité de son projet.
Néanmoins, pour Nicolas Rivard, impossible de migrer le cœur d’Euronext, sa plateforme transactionnelle, dans un Cloud public : « Nous privilégions une architecture hybride où nous maintiendrons dans nos datacenters un certain nombre d’applications, dont la plateforme transactionnelle. Les temps de latence et les technologies multicast [le protocole UTP MD utilisé pour diffuser les données boursières] ne sont pas encore compatibles avec le Cloud public. Néanmoins, nous avons assemblé un certain nombre de briques technologiques. Nous les avons connectées à notre environnement et nous avons cherché à utiliser au maximum les services managés d’AWS. »
Passer d’une analytique J+1 au quasi-temps réel
La plateforme créée pour les data scientists d’Euronext met en œuvre Amazon Redshift ainsi que Apache Spark sur Amazon EMR, les données étant archivées sur Amazon Glacier. L’architecture a permis aux data scientists de conserver leurs outils analytiques, ce qui leur a évité d’avoir à reconstruire et redévelopper toutes leurs analyses. De plus, ils ont aussi accès aux divers outils d’analyse AWS, dont QuickSight, Jupyter Notebook sur Amazon EMR et enfin Athena pour le requêtage SQL. Désormais, une console analytique peut être configurée en une journée seulement. Plus important encore, le rythme des analyses va s’accélérer : « Très rapidement, puisque nous allons migrer notre plateforme de trading la semaine prochaine, nous allons passer d’une analytique J+1 à une analytique quasi-temps réel. C’est fondamental dans notre compréhension des marchés, de la dynamique de nos clients, de leurs interactions, à la fois pour nos équipes métiers mais aussi nos clients. » Le Cloud va aussi apporter sa scalabilité à Euronext dont les équipes IT n’auront plus à craindre les lendemains de jours d’élection.
Nicolas Rivard l’affirme, ce déploiement sur AWS n’est qu’une première étape pour Euronext. « Tout ne migrera pas dans le Cloud, par contre nous avons adopté une approche « Cloud First »/ A chaque renouvellement d’application ou nouveau déploiement nous devrons justifier pourquoi celle-ci n’ira pas sur le Cloud lorsque ce sera le cas. D’autre part, nous souhaitons privilégier au maximum les services managés fournis par AWS. Nous voulons aller vers une infrastructure 100% as a code. » Un vaste plan de migration de l’IT vers le Cloud est en cours d’élaboration et les migrations vont s’enchainer à partir de la fin de l’année 2018.
Auteur : Alain Clapaud
