Der Preis des Lichts ist geringer als die Kosten der Dunkelheit. Arthur C. Nielsen
Integration und Datenladung Zusammenfassung
In diesem Artikel wird der Schritt der Integration und des Datenladens in unserem hypothetischen Projekt zur Einhaltung der FERC-Verordnung 881erläutert . Dieser Schritt kann so oft wie nötig innerhalb des Projekts durchgeführt werden, um den Status „fertig“ zu erreichen, aber jedes Projekt ist anders, so dass Ihre Erfahrungen von unserem 9-monatigen Projektplan abweichen können. Das Ergebnis dieses Schritts besteht in der Genehmigung des Masters für das Laden der implementierten Daten und die Schnittstellenbildung.
Überprüfung der Systemkonfiguration:
Im vorigen Artikel haben wir die Systemkonfiguration besprochen, bei der es um die Konfiguration und Implementierung aller genehmigten Anforderungen für das Projekt geht. In dieser Phase gibt es zwar viel Flexibilität, aber es ist wichtig, auf die Details zu achten.
Integration und Laden der Daten
In dieser Phase fragen Sie sich vielleicht: „Sind wir schon so weit?“ Die Antwort könnte ja lauten, aber es ist auch möglich, dass Sie gerade Ihr erstes Arbeitspaket abgeschlossen haben. Die Integration und das Laden der Daten können parallel zur Phase der Systemkonfiguration laufen. Wenn dies der Fall ist, kann das Projekt noch einige Designprobleme und Datenbereinigungen aufweisen. Das Hauptziel besteht darin, die Definition, das Design, die Implementierung und die Genehmigung aller Datenintelligenz im Zusammenhang mit unseren FERC 881-Anforderungen bereitzustellen. Es ist an der Zeit, für Struktur zu sorgen:
- Datenmodellierung und Datenmapping
- Datenanpassung, falls erforderlich
- Datenextraktion, Interpretation und Konvertierungsregeln
- Synchronisationslogik und Datenvalidierung
- Zeitplanung, Trigger-Benachrichtigungen
Datenmodellierung und Datenabbildung
Das Hauptziel der Datenmodellierung besteht zunächst darin, einheitliche Datenstandards für Ihr gesamtes Unternehmen zu schaffen. Sie dient dazu, das Abstrakte in eine visuelle Darstellung zu verwandeln. Datenmodelle helfen bei der Datenverwaltung, der Einhaltung von Vorschriften und der Datenintegrität.
Die Datenmodellierung kann in physische, logische und konzeptionelle Schritte unterteilt werden. Konzeptionelle Datenmodelle bieten eine übersichtliche Visualisierung von Geschäftsprozessen und Regeln. Sie helfen dabei, Geschäftsinteressenten, Systemarchitekten und Entwickler auf die Projektanforderungen und -informationen abzustimmen.
Ein logisches Datenmodell definiert die Datenelemente und -beziehungen in einem Projekt. Es zeigt die Namen und Attribute der Entitäten in der Datenbank, insbesondere die Daten des Hersteller-Namensschilds, einschließlich der Modellnummern; darüber hinaus kann das IPS®-Asset-Register alle benutzerdefinierten Eigenschaften anzeigen, die in Ihrem Unternehmen benötigt werden.
Das physische Datenmodell legt fest, wie die Daten gespeichert werden sollen, einschließlich Speicherbedarf, Zugriffsgeschwindigkeit und Redundanzdetails. Es handelt sich um ein technisches Design, das von Datenbankanalysten und -entwicklern verwendet wird, um Datentypen und Anforderungen zu definieren.
5 Best Practices für die Datenmodellierung:
1. Legen Sie den Umfang und die Beteiligten klar fest.
2. Standardisieren Sie Ihre Benennungskonventionen
3. Organisieren Sie Daten in Tabellen, um Redundanzen oder Anomalien zu beseitigen.
4. Verwenden Sie Denormalisierung, um die Abfrageleistung zu optimieren.
5. Indizierungsstrategien anwenden, um den Datenabruf zu verbessern.
Data Mapping verbindet Datenfelder aus einer Quelle mit einer anderen, reduziert Fehler und bereitet Ihre Daten für die Datenberichterstattung vor.
Datenanpassung
Die Datenanpassung kann erforderlich sein, wenn ein Alias für Datenelemente erstellt oder die Datenausgabe sortiert werden soll. Nehmen Sie beispielsweise an, dass ein Gerät oder eine ganze Unterstation in der Vergangenheit erworben wurde und der frühere Eigentümer des Geräts einen ABC-Schalter nach einer anderen Namenskonvention benannt hat als die, die Sie für alle Ihre anderen Schalter verwenden. In diesem Fall müssen Sie einen Alias für diesen Schalter erstellen, der mit Ihrer Namenskonvention übereinstimmt.
Datenextraktion, -interpretation und -konvertierung
Klare und spezifische Konvertierungsanforderungen tragen dazu bei, dass der Datenkonvertierungsprozess genau und effizient ist. Die Interpretation umfasst die Bewertung der Qualität, Vollständigkeit und Kompatibilität der Quelldaten. Sorgfältige Planung und Ausführung sind der Schlüssel zu einer erfolgreichen Datenextraktion. Die extrahierten Daten sollten validiert werden, um sicherzustellen, dass sie vollständig, relevant und genau sind.
Daten, die aus verschiedenen Quellen stammen, können ungeordnet und vielleicht sogar doppelt vorhanden sein. Die Datenextraktion und -übernahme sollte immer eine Datenbereinigung beinhalten. Dies kann jedoch im Quellsystem, im Transit (in der Regel am effizientesten) oder im Zielsystem geschehen. Das Ziel der Datenauswertung ist die Standardisierung aller Daten. Für Netzmodelldaten unterstützt IPS® jeden CIM-konformen Datenexport.
Schließlich stellen die Datenkonvertierungsregeln sicher, dass die konvertierten Daten den Qualitäts- und Genauigkeitsstandards entsprechen, so dass die Daten in verschiedenen Anwendungen gemeinsam genutzt werden können.
Daten Fragen zu stellen:
- Welche Migrationsskripte sind verfügbar?
- Laden des Basisnetzmodells
- Definieren von Aktualisierungsprozessen
- Laden identifizierter MLSE-Objekte
In dieser Phase wird die Genehmigung des Masters für das Laden der Daten und die Herstellung von Schnittstellen eingeholt. Sie liefert auch den Input für Tests und Schulungen für das FERC 881-Projekt.
Synchronisationslogik und Datenvalidierung
Die Synchronisationslogik sorgt für die Konsistenz zwischen den Quell- und Zieldatenquellen. Die Datenvalidierung versorgt die Beteiligten mit zuverlässigen Informationen, um bestmögliche Entscheidungen zu treffen. Dazu wird eine Stichprobe genommen, die alle erforderlichen Daten enthält. Die Quelldaten werden mit dem Schema des Ziels abgeglichen und anschließend auf Richtigkeit und Vollständigkeit geprüft.
Zeitplanung, Trigger-Benachrichtigungen
Entscheidungen darüber, welche Zeitplanung und Trigger-Benachrichtigungen implementiert werden sollen, sind notwendig und sollten im Rahmen des Projekts genau definiert werden. Mit den FERC 881-Mandaten kann es erforderlich sein, die Benutzer zu benachrichtigen, wenn die Temperatur von den prognostizierten Zielwerten abweicht. Die Einrichtung automatischer Erinnerungen oder die Meldung der Ist-Temperaturen für ein bestimmtes Gebiet könnten für die Einhaltung der Vorschriften hilfreich sein.
Der Schlüssel zu einer erfolgreichen Datenmigration liegt im Daten-Mapping. Sobald die Daten definiert und überprüft sind, ist es viel einfacher, Skripte zur Datenvalidierung und Datenmigration zu erstellen. Ein erfolgreiches Daten-Mapping entscheidet darüber, ob die Datenmigration erfolgreich automatisiert werden kann oder ob auf manuelle Eingaben zurückgegriffen werden muss.