Hamburger Hamburger Hamburger

Fannie Mae automatisiert Designprozess für Data Lake, um Einblicke zu beschleunigen

Fannie Mae

BRANCHE

HITACHI-LÖSUNGEN:

SOFTWARE:

Herausforderung

Die Herausforderung:

  • Effiziente Bestückung des Data Lakes mit allen erforderlichen Dataset-Eigenschaften
  • Bereitstellung einer API-basierten Lösung für die Automatisierung
  • Aufnahme eines hohen täglichen Datasetvolumens

Lösung

Die Lösung:

  • Automatisierte Lösung zum Katalogisieren von mehr als 10 Millionen Dateien pro Tag mit allen zugehörigen Eigenschaften
  • Durchsuchbare Benutzeroberfläche (UI) mit benutzerdefinierten Sucheigenschaften für schnelle und effiziente Bereitstellung der gewünschten Daten

Ergebnisse

  • Self-Service-Marktplatz-Datenkatalog für Geschäftsanwender
  • Katalogisierte benutzerdefinierte Eigenschaften, die an jedes Dataset angehängt sind 
  • APIs zur automatischen Verarbeitung von Datensätzen 
  • Katalogisierung von mehreren Millionen Dateien täglich
Fannie Mae ist führender Anbieter von Immobilienfinanzierungen für Käufer und Mieter in den Vereinigten Staaten. Das Unternehmen verhilft Millionen von Amerikanern zu Festzinshypotheken für Wohneigentum bzw. unterstützt sie bei der Suche nach bezahlbaren Mietobjekten.

Mit Waterline* konnten wir die Katalogisierung und Suche von Daten vollständig automatisieren und beschleunigen und dem Unternehmen dadurch einen herausragenden Mehrwert bieten.

– Prakash Jagananthan, Data Management Leader bei Fannie Mae (*Waterline Data wurde 2020 von Hitachi Vantara übernommen)

Die Herausforderung

Aufnahme eines hohen täglichen Datasetvolumens

Fannie Mae wurde 1938 gegründet und steht vor den gleichen Herausforderungen wie viele andere etablierte Unternehmen, etwa Legacy-Umgebungen und Datensilos.

Mit einem Umsatz von 110 Mrd. US-Dollar ist Fannie Mae einer der größten Anbieter von Immobilienfinanzierungen und plante daher, sein stark datenzentriertes Geschäft zu transformieren, um zu einem agilen und reaktiveren Data Lake zu gelangen. Das Unternehmen wollte eine moderne Datenumgebung schaffen, die sicherstellt, dass die richtigen Daten zur richtigen Zeit den richtigen Personen zur Verfügung stehen.

Fannie Mae hatte einen Governance-Standard festgelegt, durch den jedes Dataset und jedes Feld im Data Lake vollständig dokumentiert wird. Dabei durchläuft jedes Dataset einen Designprozess, in dem er kuratiert und mit einer eindeutigen Kennung versehen wird, die unabhängig davon, wohin er kopiert wird, bei ihm bleibt. Jedes Dataset besitzt zudem einen durchdachten Satz von Eigenschaften, die zuerst eingetragen werden müssen, damit die Kennung ausgegeben werden kann.

Dieser Prozess machte die Daten zwar zugänglicher, nahm jedoch extrem viel Zeit in Anspruch. Von der Genehmigung des Designs bis zur tatsächlichen Generierung und Übertragung der Daten aus dem IMR-Designzeitsystem in den Data Lake konnten Tage, Wochen oder sogar Monate vergehen.

In der Zwischenzeit generierten mehrere Hochgeschwindigkeits-Apps von Fannie Mae jeden Tag mehr als 10 Millionen neue Dateien, wodurch der ohnehin langsame Designprozess zusätzlich belastet wurde. Da die neuen Dateien ebenfalls in den Data Lake integriert werden mussten, war eine API-basierte automatisierte Lösung erforderlich.

Die Lösung

Dataset-Vorabregistrierung und Metadaten-Versionsverlauf beschleunigen Analysen und Erkenntnisse
Im Rahmen der umfassenden Datentransformation in eine moderne Dateninfrastruktur integrierte Fannie Mae Lumada Data Catalog. Mit seinen umfangreichen APIs unterstützt Lumada Data Catalog großvolumige Anwendungen, durch die täglich Millionen von Dateien generiert werden, um die aufgenommenen Datasets vorab zu registrieren. Die Benutzeroberfläche ermöglicht die Validierung und Verwaltung von Metadaten für verschiedene Rollen, darunter Metadatenanalysten, Dateneigner, Data Governors und Geschäftsdatenbeauftragte. Geschäftsdatenbeauftragte bei Fannie Mae „stellen sicher, dass Daten vollständig im Besitz von Führungsverantwortlichen sind und von diesen gepflegt werden, und dass bei neuen Initiativen die Erstellung, fortlaufende Qualität und effektive Nutzung von Daten von Anfang an berücksichtigt werden“, so ein aktueller Forbes-Bericht.*

Der Metadaten-Versionsverlauf ermöglicht die Erfassung und Anzeige technischer Metadaten, die von der Einspeisungsanwendung bereitgestellt werden. Dazu gehören unter anderem Dateispeicherort, Dateigröße, Dateiformat, Uhrzeit der Aufnahme und Partition. Die Lösung erfasst ungelöste Schemaentwicklungen, um Abweichungsberichte zwischen gemeldeten und bevorzugten Schemas zu erstellen. Diese Daten werden dann geschäftlichen Endbenutzern in einer robusten Self-Service-„Marktplatz“-Benutzeroberfläche zur Verfügung gestellt. Die Benutzeroberfläche bietet komplexe benutzerdefinierte Eigenschaften, die einfach und zusammenhängend präsentiert werden, damit Endbenutzer die Daten schnell finden und nutzen können.

Das Ergebnis

Fannie Mae sorgt für bessere Geschäftsergebnisse
Durch Implementieren der Datenmanagement- und Analyselösung von Hitachi, die auf Lumada Data Services und Lumada Data Catalog aufbaut, ist es Fannie Mae gelungen, Geschäftsanwendern einen „Marktplatz“-Datenkatalog auf Self-Service-Basis zur Verfügung zu stellen. An jedes Dataset wurden katalogisierte benutzerdefinierte Eigenschaften angehängt, während APIs die automatische Verarbeitung der Datensets übernahmen. Auf diese Weise können täglich mehrere Millionen Dateien katalogisiert werden.

Letztendlich ermöglichen die Lösungselemente schnellere Analysen und Einblicke, die sich wiederum in besseren Geschäftsergebnissen niederschlagen. Wie Scott Richardson, Chief Data Officer bei Fannie Mae, sagt: „Wir denken über Geschäftsstrategien nach, die geeignet sind, unsere Mission voranzutreiben und das Kundenerlebnis mithilfe von Daten zu verbessern.“*

*Forbes-Bericht „How Fannie Mae is Creating a Modern Data Environment“

30. August 2018, 07:36 Uhr (EDT)

Mehr erfahren

{ "FirstName": "Vorname", "LastName": "Nachname", "Email": "Geschäftliche E-Mail", "Title": "Stellenbezeichnung", "Company": "Firmenname", "Address": "Address", "City": "City", "State":"Bundesland", "Country":"Land/Region", "Phone": "Telefon", "LeadCommentsExtended": "Weitere Informationen (optional)", "LblCustomField1": "What solution area are you wanting to discuss?", "ApplicationModern": "Application Modernization", "InfrastructureModern": "Infrastructure Modernization", "Other": "Other", "DataModern": "Data Modernization", "GlobalOption": "Wenn Sie unten „Ja“ auswählen, stimmen Sie dem Erhalt kommerzieller Informationen über Produkte und Dienstleistungen von Hitachi Vantara per E-Mail zu.", "GlobalOptionYes": "Ja", "GlobalOptionNo": "Nein ", "Submit": "Senden", "EmailError": "Must be valid email.", "RequiredFieldError": "This field is required." }
{ "FirstName" : "Bitte geben Sie einen Vornamen ein.", "LastName" : "Bitte geben Sie einen Nachnamen ein.", "Title" : "Bitte geben Sie eine Stellenbezeichnung ein", "Company" : "Bitte geben Sie einen Firmennamen ein", "City" : "Bitte geben Sie eine Stadt ein", "State" : "Bitte geben Sie einen Staat ein", "Country" : "Bitte geben Sie ein Land ein", "Phone" : "Bitte geben Sie eine Telefonnummer ein", "phoneforForm" : "Bitte geben Sie eine Telefonnummer ein", "Email" : "Geben Sie eine gültige geschäftliche E-Mail-Adresse ein" }
de