IRIS Cloud Document 및 Databricks를 사용한 Rivian GeoLocation 플로팅

InterSystems Cloud Document 및 Databricks를 사용하여 미시간 전역의 Rivian R1S에서 gnSSLocation 데이터 플롯

문서 데이터베이스의 사용 사례를 찾고 있다면 제가 가장 좋아하는 매우 간단한 사용 사례는 SQL을 사용하여 다른 데이터와 함께 JSON 더미를 쿼리하는 기능입니다. 별로 하는 일도 없이. 이것은 강력한 다중 모델 InterSystems 데이터 플랫폼에서 실현된 꿈이며, 여기에 내 Rivian R1S가 DeezWatts(A Rivian Data Adventure)를 위해 내보내는 지리적 위치 데이터를 시각화하기 위한 간단한 노트북에 표시되어 있습니다.

JDBC 문서 드라이버를 사용하여 InterSystems Cloud Document에서수집하고 시각화하는 2단계 접근 방식이 있습니다.

InterSystems 클라우드 문서 배포

우선 리스너가 활성화된 InterSystems Cloud Services Portal에서 소규모 클라우드 문서 배포를 시작했습니다.

SSL 인증서를 다운로드하고 JDBC용 드라이버와 함께 제공되는 문서 드라이버도 잡아냈습니다.

섭취

수집을 위해 파일 시스템에서 JSON 문서를 리프트하고 리스너를 통해 문서 데이터베이스의 컬렉션으로 유지하는 방법을 파악하고 싶었습니다. 이를 위해 독립 실행형 Java 앱을 작성했습니다. 데이터가 노트북에 저장된 후 노트북에서 모든 일이 발생했기 때문에 이는 더 유용했습니다.
 

 
RivianDocDB.java

package databricks_rivian_irisdocdb;

import java.sql.SQLException;
import com.intersystems.document.*;
import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.*;
import java.io.IOException;
import java.io.InputStream;
import java.io.File;
import java.io.FileInputStream;
import org.apache.commons.io.IOUtils;

import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.stream.Stream;

public <span>class RivianDocDb </span>{
  <span>public static void main(String[] args) </span>{

    String directoryPath =
"/home/sween/Desktop/POP2/DEEZWATTS/rivian-iris-docdb/databricks_rivian_irisdocdb/in/json/";

    DataSource datasrc = DataSource.createDataSource();
    datasrc.setPortNumber(443);
    datasrc.setServerName("k8s-05868f04-a88b7ecb-5c5e41660d-404345a22ba1370c.elb.us-east-1.amazonaws.com");
    datasrc.setDatabaseName("USER");
    datasrc.setUser("SQLAdmin");
    datasrc.setPassword("REDACTED");

    try {
      datasrc.setConnectionSecurityLevel(10);
    } catch (SQLException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }

    System.out.println("\nCreated datasrc\n");
    System.out.println(datasrc);
    datasrc.preStart(2);
    System.out.println("\nDataSource size =" + datasrc.getSize());

    // creates the collection if it dont exist
    Collection collectedDocs =
Collection.getCollection(datasrc,"deezwatts2");

    try (Stream<path> paths = Files.list(Paths.get(directoryPath))) {
        paths.filter(Files::isRegularFile)
             .forEach(path -> {
                 File file = path.toFile();
             });
    } catch (IOException e) {
        e.printStackTrace();
    }

    File directory = new File(directoryPath);
    if (directory.isDirectory()) {
        File[] files = directory.listFiles();
        if (files != null) {
            for (File file : files) {
                if (file.isFile()) {

                    try (InputStream is = new
FileInputStream("/home/sween/Desktop/POP2/DEEZWATTS/rivian-iris-docdb/databricks_rivian_irisdocdb/in/json/"
+ file.getName())) {
                      String jsonTxt = IOUtils.toString(is, "UTF-8");
                      
                      Document doc2 = JSONObject.fromJSONString(jsonTxt);
                      // top level key is whip2
                      Document doc3 = new JSONObject().put("whip2",doc2);

                      collectedDocs.insert(doc3);
                    } catch (IOException e) {
                      // TODO Auto-generated catch block
                      e.printStackTrace();
                    }

                }
            }
        }
    }


    long size = collectedDocs.size();
    System.out.println(Long.toString(size));
    System.out.println("\nIngested Documents =" + datasrc.getSize());</path>

 

위의 내용은 JAVA 휴지통에 매우 가깝지만 작동하면 배포 시 컬렉션 브라우저에서 컬렉션을 볼 수 있습니다.

데이터브릭

이제 약간의 Databricks 설정이 필요하지만 재미있는 부분을 위해 pyspark를 사용하여 작업할 가치가 있습니다.

두 개의 InterSystems 드라이버를 클러스터에 추가하고 인증서를 import_cloudsql_certficiate.sh 클러스터 초기화 스크립트에 넣어 키 저장소에 추가했습니다.

완전성을 위해 클러스터는 Databricks 16, Spark 3.5.0 및 Scala 2.12를 실행하고 있습니다

시각화

따라서 PySpark 작업을 실행하고 내가 끌어올 데이터 하위 집합에서 내 채찍이 있던 위치를 플롯하도록 설정해야 합니다.

우리는 플로팅에 대한 직접적인 접근 방식을 위해 지리판다와 지리 데이터 세트를 사용하고 있습니다.

package databricks_rivian_irisdocdb;

import java.sql.SQLException;
import com.intersystems.document.*;
import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.*;
import java.io.IOException;
import java.io.InputStream;
import java.io.File;
import java.io.FileInputStream;
import org.apache.commons.io.IOUtils;

import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.stream.Stream;

public <span>class RivianDocDb </span>{
  <span>public static void main(String[] args) </span>{

    String directoryPath =
"/home/sween/Desktop/POP2/DEEZWATTS/rivian-iris-docdb/databricks_rivian_irisdocdb/in/json/";

    DataSource datasrc = DataSource.createDataSource();
    datasrc.setPortNumber(443);
    datasrc.setServerName("k8s-05868f04-a88b7ecb-5c5e41660d-404345a22ba1370c.elb.us-east-1.amazonaws.com");
    datasrc.setDatabaseName("USER");
    datasrc.setUser("SQLAdmin");
    datasrc.setPassword("REDACTED");

    try {
      datasrc.setConnectionSecurityLevel(10);
    } catch (SQLException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }

    System.out.println("\nCreated datasrc\n");
    System.out.println(datasrc);
    datasrc.preStart(2);
    System.out.println("\nDataSource size =" + datasrc.getSize());

    // creates the collection if it dont exist
    Collection collectedDocs =
Collection.getCollection(datasrc,"deezwatts2");

    try (Stream<path> paths = Files.list(Paths.get(directoryPath))) {
        paths.filter(Files::isRegularFile)
             .forEach(path -> {
                 File file = path.toFile();
             });
    } catch (IOException e) {
        e.printStackTrace();
    }

    File directory = new File(directoryPath);
    if (directory.isDirectory()) {
        File[] files = directory.listFiles();
        if (files != null) {
            for (File file : files) {
                if (file.isFile()) {

                    try (InputStream is = new
FileInputStream("/home/sween/Desktop/POP2/DEEZWATTS/rivian-iris-docdb/databricks_rivian_irisdocdb/in/json/"
+ file.getName())) {
                      String jsonTxt = IOUtils.toString(is, "UTF-8");
                      
                      Document doc2 = JSONObject.fromJSONString(jsonTxt);
                      // top level key is whip2
                      Document doc3 = new JSONObject().put("whip2",doc2);

                      collectedDocs.insert(doc3);
                    } catch (IOException e) {
                      // TODO Auto-generated catch block
                      e.printStackTrace();
                    }

                }
            }
        }
    }


    long size = collectedDocs.size();
    System.out.println(Long.toString(size));
    System.out.println("\nIngested Documents =" + datasrc.getSize());</path>

이제 익숙해지는 데 약간의 시간이 걸리지만 JSON 경로 구문과 JSON_TABLE을 사용하여 InterSystems Cloud Document에 대한 쿼리는 다음과 같습니다.

import geopandas as gpd
import geodatasets
from shapely.geometry import Polygon

 

JSON 경로 @jsonpath.com을 매우 간단하게 생성할 수 있는 사이트를 찾았습니다.

다음으로 IRIS 문서 데이터베이스 배포에 대한 연결을 설정하고 이를 데이터 프레임으로 읽습니다.

dbtablequery = f"(SELECT TOP 1000 lat,longitude FROM JSON_TABLE(deezwatts2 FORMAT COLLECTION, '$' COLUMNS (lat VARCHAR(20) path '$.whip2.data.vehicleState.gnssLocation.latitude', longitude VARCHAR(20) path '$.whip2.data.vehicleState.gnssLocation.longitude' ))) AS temp_table;"

다음으로 지리 데이터 세트에서 사용 가능한 지도를 가져옵니다. sdoh 지도는 미국의 일반적인 용도에 적합합니다.
 

# Read data from InterSystems Document Database via query above
df = (spark.read.format("jdbc") \
  .option("url", "jdbc:IRIS://k8s-05868f04-a88b7ecb-5c5e41660d-404345a22ba1370c.elb.us-east-1.amazonaws.com:443/USER") \
  .option("jars", "/Volumes/cloudsql/iris/irisvolume/intersystems-document-1.0.1.jar") \
  .option("driver", "com.intersystems.jdbc.IRISDriver") \
  .option("dbtable", dbtablequery) \
  .option("sql", "SELECT * FROM temp_table;") \
  .option("user", "SQLAdmin") \
  .option("password", "REDACTED") \
  .option("connection security level","10") \
  .option("sslConnection","true") \
  .load())

이제 멋진 부분은 R1S가 이동한 위치의 지리적 위치 지점을 포함하려는 위치를 확대하려는 것입니다. 이를 위해서는 미시간 주에 대한 경계 상자가 필요합니다.

이를 위해 Keene의 정말 매끄러운 도구를 사용하여 지오 펜스 경계 상자를 그렸고 이를 통해 좌표 배열이 제공되었습니다!

이제 경계 상자의 좌표 배열이 있으므로 이를 다각형 개체에 넣어야 합니다.

# sdoh map is fantastic with bounding boxes
michigan = gpd.read_file(geodatasets.get_path("geoda.us_sdoh"))

gdf = gpd.GeoDataFrame(
    df.toPandas(), 
    geometry=gpd.points_from_xy(df.toPandas()['longitude'].astype(float), df.toPandas()['lat'].astype(float)), 
    crs=michigan.crs #"EPSG:4326"
)

 

이제 리비안 R1S의 흔적을 그려보겠습니다! 이는 약 10,000개의 레코드에 대한 것입니다(결과를 제한하기 위해 위의 최상위 설명을 사용했습니다)
 

polygon = Polygon([
      (
        -87.286377,
        45.9664245
      ),
      (
        -81.6503906,
        45.8134865
      ),
      (
        -82.3864746,
        42.1063737
      ),
      (
        -84.7814941,
        41.3520721
      ),
      (
        -87.253418,
        42.5045029
      ),
      (
        -87.5610352,
        45.8823607
      )
    ])

 

그리고 거기에... 디트로이트, 트래버스 시티, 실버 레이크 모래 언덕, 홀랜드, 물렛 호수, 인터라헨... 순수한 미시간, 리비안 스타일이 있습니다.

위 내용은 IRIS Cloud Document 및 Databricks를 사용한 Rivian GeoLocation 플로팅의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!