Archives du mot-clé Big Data

La datavisualisation

Nous sommes envahis par un grand nombre de données que notre cerveau ne peut exploiter et analyser simultanément. Face à cela, la datavisualisation fait parler d’elle comme une alternative et un moyen pertinent de mettre en valeur la donnée.

Si le concept de datavisualisation existe depuis longtemps, la révolution Big Data lui a donné un nouveau souffle. Immersion dans la datavisualisation, cette science qui donne la parole aux chiffres :

  1. Qu’est-ce que la datavisualisation ?

L’expression « une image vaut mille mots » prend tout son sens lorsqu’on réalise que 90 % de l’information transmise au cerveau est visuelle. La data visualisation utilise cette sensibilité à l’aspect visuel pour faire passer des informations qui sont, de prime abord, complexes.

Désignée comme l’art de transformer la data en représentations visuelles, la datavisualisation fait parler les chiffres et leur donne une signification. Plus encore, elle permet d’aborder des informations sous un autre angle, pour mettre en lumière des faits et des réalités qui ne sont pas toujours visibles au premier abord.

L’esthétique joue un rôle important puisque les données sont retranscrites sous forme d’objets visuels tels que des graphiques, des cartographies, des chronologies ou des mappings.

Considérée comme un outil de communication puissant et efficace, elle permet également un gain de temps conséquent dans l’analyse et la recherche de données.

  1. Un outil stratégique de Business Intelligence

La Business Intelligence, désigne toutes les solutions qui mettent à disposition des informations clés aux managers grâce au traitement, à l’analyse et la représentation des données. Ces solutions incluent la datavisualisation.

Dans leur transition vers des organisations « data-driven », les managers et les décisionnaires s’appuient sur la datavisualisation comme outil stratégique dans la gestion de leur entreprise. La datavisualisation utilise le big data comme une solution opérationnelle dans le processus des prises de décisions en entreprise.

Les interminables tableaux Excel laissent place aux tableaux de bord fonctionnels, interactifs, personnalisés et actualisés en temps réel. Les managers y retrouvent les principaux KPIs et drivers qui leur sont utiles pour analyser leur activité. La visualisation interactive permet l’exploration des données en profondeur et également de jouer sur tous les paramètres visuels (couleurs, taille, positionnement dans l’espace…) pour démarquer les différents secteurs d’activités et KPIs.

En un coup d’œil, le décisionnaire obtient une vue d’ensemble qui lui permet de comprendre le contexte global de la situation, lui offrant à la fois un gain de temps et une évolution de sa productivité.

Envie d’en savoir plus sur les solutions de datavisualisation ? Contactez-nous

Conix – Quand data et conformité bancaire s’unissent

« Swissleaks », « Panama Papers », crise financière des « subprimes » en 2007… De nombreux scandales dans le secteur financier ont poussé les autorités régulatrices du secteur de la finance à prendre des mesures drastiques. Ainsi, les réglementations nationales et internationales se font de plus en plus nombreuses et pressantes pour contrôler le système bancaire.

Au sein de cet environnement complexe et de cette inflation réglementaire, la fonction de conformité (compliance) a émergé. Elle représente aujourd’hui un enjeu majeur. Elle s’inscrit dans une optique large, de sécurité financière, de respect de dispositions législatives et réglementaires, de lutte contre le blanchiment d’argent, le terrorisme et la corruption, et de normes déontologiques.

  • La conformité bancaire, avant tout une opportunité de croissance

La fonction de conformité représente les procédures et mesures misent en place pour veiller au respect des lois et des règlementations professionnelles externes. Les principaux objectifs sont la détection et l’anticipation des risques de non-conformité qui pourraient compromettre la pérennité de l’entreprise ainsi que sa réputation. La fonction compliance a également la responsabilité du respect des lois et des règlements internes à l’entreprise fixés par le conseil d’administration. Cela peut concerner le code de conduite ou encore les procédures de relation client misent en place par les réformes telles que le KYC (Know Your Customer) qui émanent de la Loi Sapin II (2016).

Les pénalités pour non-respect des législations peuvent être financières, juridiques, administratives ou disciplinaires. Au-delà du risque financier, la nuisance de la notoriété et de la réputation de la société pouvant entraîner des conséquences dramatiques, représente une forte menace.
La fonction de conformité est une alternative qui favorise une certaine transparence du secteur bancaire et donc une opportunité de croissance et un gage de confiance pour les clients. Plus encore, elle représente de la valeur ajoutée et valorise l’image de marque.

La fonction de Chief Compliance Officer (COO), au cœur des décisions stratégiques, se développe dans les entreprises du secteur financier. Elle a pour responsabilité première la bonne gouvernance de ces nouveaux enjeux afin qu’ils incarnent une opportunité et non une menace pour le futur de la société.

  • La data au cœur des enjeux de conformité

Dans l’étude “Digital Finance: Meeting ethics and compliance challenges in financial services », il est démontré que le digital dans sa globalité représente un facteur clé de succès dans la mutation de la fonction compliance.

Comme preuve de bonne gouvernance, les autorités en charge du respect des lois et des réglementations demandent aux entreprises concernées des rapports complets et détaillés voire la preuve de la façon dont sont produits ces rapports (à l’image de la norme BCBS 239).

En effet, selon l’étude de The Economist Intelligent Unit, 57 % des individus sondés ont affirmé qu’afin d’améliorer la « conformité » de leur entreprise, ils ont développé de nouvelles exigences en matière de collecte d’informations (données) et de reporting.

Cependant, ce type de reporting nécessite une excellente performance pour l’extraction, le traitement et l’analyse des données. Or, l’analyse des données est complexe de par la sophistication du réseau d’informations de la structure bancaire puisqu’il englobe une multitude de systèmes d’informations historiques, nouveaux et interconnectés. Le traitement des données est donc un enjeu important et il est au cœur des préoccupations des dirigeants puisque 58 % estiment que les exigences relatives à la gestion des données représentent un challenge, selon The Economist Intelligent Unit.

L’analyse des données doit permettre d’identifier les problématiques de conformité et les solutions pour y remédier. Elle va également améliorer les tests de conformité et anticiper les risques qui y sont liés.

L’importance de la gestion des données pour la conformité est illustrée par la montée des Chief Data Officers (CDO) au sein des institutions financières. Selon une étude de PWC, 66% des entreprises du secteur financier ont créé un poste de CDO dont 75 % affirment avoir été motivés par le durcissement et les exigences des réglementations financières. (voir notre infographie sur les CDO)

De nouvelles solutions se développent pour répondre au mieux à ce besoin exponentiel et primordial.

Face à cela, les entreprises se dotent de dispositifs voire de S.I. à part entière dédiés à la conformité, naturellement et impérativement data centric.

Tour d’horizon des technologies du Big Data

CONIX présentera « Les dessous d’une méthode Big Data » le mardi 7 mars à 15h au Salon Big Data Paris.

En complément, voici un rapide tour d’horizon des technologies autour du Big Data. Celles-ci reposent sur différentes architectures, un panel d’éditeurs offrant des solutions clef en main ou par brique, de la startup aux leaders du marché informatique.

1. Modèle d’architecture BDAF

MapReduce est le modèle de référence BDAF (Big Data Architecture Framework). Il a été inventé par Google et permet d’effectuer des calculs parallèles et distribués sur des ensembles de données de taille supérieure au téraoctet. Il a connu un vif succès auprès d’Amazon et Facebook et auprès des technologies basées sur le stockage de données dans le Cloud.

Le Framework le plus connu basé sur ce modèle est Hadoop. C’est une implémentation open source en Java de MapReduce, distribuée par la fondation Apache.

Son système de fichier s’appuie sur HDFS (Hadoop Distributed File System), qui s’inspire de celui de Google (GFS), son créateur.

D’autres frameworks basé sur MapReduce proposent des alternatives :

  • BlobSeer : accès concurrent et versionning amélioré
  • Phoenix : utilisé sur des ordinateurs multi-cœurs, technologie threads et non serveurs
  • Mars : processeurs graphiques, plus performant que Phoenix
  • Framework Ecologique : orienté économie d’énergie

D’autres acteurs comme Teradata, Oracle, EMC, SAP proposent aussi des architectures pour les projets Big Data, basées sur des serveurs standards aux configurations optimisées.

Microsoft, avec sa solution Azure de plateforme applicative Cloud propose aussi des services orientés Big Data. Son système de fichier, propre à Microsoft, est basé sur Data Lake Store, système de fichiers hiérarchique comme HDFS.

2. Stockage de Données « Data Lake »

Le terme de « Data Lake » revient souvent quand on cherche le lieu de stockage des données. Un Data Lake (ou lac de données) est une instanciation physique d’un entrepôt de données logique. Les données sont dupliquées à partir de leur localisation d’origine vers un système de fichiers de données centralisé : les données sont physiquement regroupées.

Au vu du volume de données utilisé par un projet Big Data, les bases de données ne sont plus relationnelles. Les acteurs du marché s’appuient sur des SGBD NoSQL type MongoDB ou Cassandra pour les plus connues en licence libre. Des technologies propriétaires se partagent aussi le marché, notamment Oracle NoSQL, BigTable (Google), DynamoDB (Amazon).

3. Requête et analyse de données

Les langages de développement utilisés sont essentiellement Java, Python, et R (langage dédié statistiques et data science). Les services les plus connus d’accès aux données sont ceux de Google BigQuery, Big Data sur Amazon Web Services et Microsoft Windows Azure.

Les algorithmes qui traitent les données sont protégés par le secret professionel, c’est la propriété industrielle de ces acteurs du Web, leur valeur ajoutée. Les données sont accessibles par des API (interfaces de programmation) qui définissent les conditions d’accès et en restreignent les usages.

Les outils BI classiques sont conçus pour analyser et gérer des données organisées dans des schémas fixes et prédéfinis. Les techniques d’analyse Big Data permettent de s’affranchir de cette limitation.

La fondation Apache propose un cadre applicatif de traitements BigData, Spark, pour effectuer des analyses complexes à grande échelle. Son but est d’accélérer les traitements des systèmes Hadoop.

4. Hadoop rattrapé par Spark

En 2016, La maison d’édition O’Reilly[1] remontait que seulement 2680 sociétés utilisent Hadoop, le plus ancien sur le marché, alors que déjà plus de 2 000 entreprises utilisent Apache Spark. Cependant, bien qu’il y ait plus de 500 sociétés ayant une maturité Hadoop au niveau de la production, il n’y a encore que 67 sociétés avec ce niveau de maturité pour Apache Spark.

Cette étude ne compare que des produits basés sur des solutions open source. Les solutions propriétaires dont Microsoft Azure ne sont pas analysées.

[1] http://www.oreilly.com/data/free/files/the-big-data-market.pdf

 

technologies du Big Data… Au-delà de toutes ces technologies, rendez-vous mardi 7 mars au salon Big Data pour découvrir notre démarche !

 

 

 

 

 

Retrouvez ici un 2nd article sur le Big Data et son paradoxe cybersécuritaire

Auteurs : Afaf FAFI et Marouane ZAAMOUN