suchen
HeimDatenbankMySQL-TutorialNEO4J数据插入测试

NEO4J数据插入测试

Jun 07, 2016 pm 03:56 PM
2.4ghzcpuneo4j内存插入数据测试

CPU: I3 2.4Ghz 4核,内存8G 方式一:采用其原生接口操作 JVM:-Xms1024m -Xmx1024m -Xmn512m-XX:PermSize=128m -XX:MaxPermSize=256m 4000节点(50个属性),4000关系:1秒,其间cpu使用率25%,761M 8000节点(50个属性),8000关系:2秒,其间cpu使用率25%,82

CPU: I3 2.4Ghz 4核,内存8G
方式一:采用其原生接口操作

JVM:-Xms1024m -Xmx1024m -Xmn512m-XX:PermSize=128m -XX:MaxPermSize=256m

4000节点(50个属性),4000关系:1秒,其间cpu使用率25%,761M

8000节点(50个属性),8000关系:2秒,其间cpu使用率25%,829M

16000节点(50个属性),16000关系:5秒,其间cpu使用率25,983M

24000节点(50个属性),24000关系:9秒,其间cpu使用率25%,1079M

32000节点(50个属性),32000关系:14秒,其间cpu使用率25%,1187M

40000节点(50个属性),40000关系:执行1多分钟以后直接报outOfMemery: java heap space

内存使用:

\

结论:插入时用事务插入接口的话,在JVM 1G内存的配置下最后能够插入3万多个节点和关系,再多就内存溢出。

方式二:采用BatchInserter接口

JVM:采用JVM默认设置

40000节点(50个属性),40000关系:6秒,其间CPU使用率25%,内存288M

80000节点(50个属性),80000关系:17秒,其间CPU使用率25%,内存288M

120000节点(50个属性),120000关系:31秒,其间CPU使用率25%,内存289M

200000节点(50个属性),200000关系:56秒,其间CPU使用率25%,内存288M

分析:

根据官方文档,当少量数据(根据测试观察5000条以下)插入时,建议使用事务型插入接口(即通常NEO4J的数据操作接口),速度还是可以的;当数据量比较大时,建议采用专用的BatchInserters接口,这个接口在插入时不创建事务,估计内存占用很少,基本上在不同数据量的操作期间内存无太大变化。由此可见,在向NEO4J导入大量数据时,可以有以下两种方法实现快速插入:

化大为小法

此法是将大量的数据集合分成5000条或者更少集合,使用事务型插入接口插入数据,这样整体的插入时间按照以上的测试结果,100000条数据可以在30秒内插入完毕。缺点是需要分拆数据集合为小的集合;优点是当用户已经在运行一组NEO4J的数据库时,只需改造相关的代码即可,也不需要在导入期间暂停数据库。

批量插入法

此法不管数据量多大,都可以实现快速插入,实现速度和内存的平衡,适合在初始化数据库时(或者需要大量导入数据时)一次性导入大量的数据;缺点是导入数据时要暂停数据库,采用BatchInserters接口导入,不能实现业务无中断运行。

建议:

采用化大为小法,当插入(导入)数据量大于1000个时,采用分批插入的方法,可以达到快速插入数据的目的,也能保证内存占用量不会有太大的变化而导致OOM。

Stellungnahme
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Wie geht MySQL mit der Datenreplikation um?Wie geht MySQL mit der Datenreplikation um?Apr 28, 2025 am 12:25 AM

MySQL verarbeitet die Datenreplikation durch drei Modi: Asynchron, halbsynchron und Gruppenreplikation. 1) Die asynchrone Replikationsleistung ist hoch, die Daten können jedoch verloren gehen. 2) Die halbsynchrone Replikation verbessert die Datensicherheit, erhöht jedoch die Latenz. 3) Die Gruppenreplikation unterstützt die Replikation und das Failover mit mehreren Master, die für Anforderungen an hoher Verfügbarkeit geeignet sind.

Wie können Sie die Erklärungserklärung verwenden, um die Abfrageleistung zu analysieren?Wie können Sie die Erklärungserklärung verwenden, um die Abfrageleistung zu analysieren?Apr 28, 2025 am 12:24 AM

Die Erklärungserklärung kann verwendet werden, um die SQL -Abfrageleistung zu analysieren und zu verbessern. 1. Führen Sie die Erklärung zur Erklärung aus, um den Abfrageplan anzuzeigen. 2. Analysieren Sie die Ausgabeergebnisse, achten Sie auf den Zugriffstyp, die Indexverwendung und den Verbindung der Reihenfolge. 3. Erstellen oder passen Sie die Indizes anhand der Analyseergebnisse an, optimieren Sie die Join -Operationen und vermeiden Sie die volle Tabellen -Scan, um die Effizienz der Abfrage zu verbessern.

Wie können Sie eine MySQL -Datenbank wiederherstellen und wiederherstellen?Wie können Sie eine MySQL -Datenbank wiederherstellen und wiederherstellen?Apr 28, 2025 am 12:23 AM

Die Verwendung von MySQldump für logische Sicherungen und MySQLenterPriseBackups für Hot Backup ist effektive Möglichkeiten, um MySQL -Datenbanken zu sichern. 1. Verwenden Sie MySQldump, um die Datenbank zu sichern: mysqldump-uroot-pmydatabase> mydatabase_backup.sql. 2. Verwenden Sie MySQLenterPriseBackup für Hot Backup: Mysqlbackup-User = Root-Password = Passwort-Backup-Dir =/path/to/backupbackup. Verwenden Sie bei der Wiederherstellung das entsprechende Leben

Was sind einige häufige Ursachen für langsame Abfragen in MySQL?Was sind einige häufige Ursachen für langsame Abfragen in MySQL?Apr 28, 2025 am 12:18 AM

Die Hauptgründe für die langsame MySQL -Abfrage sind fehlende oder unsachgemäße Verwendung von Indizes, Komplexität der Abfrage, übermäßiges Datenvolumen und unzureichende Hardware -Ressourcen. Zu den Optimierungsvorschlägen gehören: 1. Erstellen Sie geeignete Indizes; 2. Optimieren Sie Abfrageanweisungen; 3.. Verwenden Sie die Tabellenpartitionierungstechnologie; 4.. Angemessene Hardware upgraden.

Was sind Ansichten in MySQL?Was sind Ansichten in MySQL?Apr 28, 2025 am 12:04 AM

MySQL View ist eine virtuelle Tabelle, die auf SQL -Abfrageergebnissen basiert und keine Daten speichert. 1) Ansichten vereinfachen komplexe Abfragen, 2) die Datensicherheit verbessern und 3) die Datenkonsistenz beibehalten. Ansichten sind Abfragen in Datenbanken, die wie Tabellen verwendet werden können, aber Daten werden dynamisch generiert.

Was sind die Unterschiede in der Syntax zwischen MySQL und anderen SQL -Dialekten?Was sind die Unterschiede in der Syntax zwischen MySQL und anderen SQL -Dialekten?Apr 27, 2025 am 12:26 AM

MySQLDIFFERSFROMOTHERQLDIALCTSINSYNTAXFORLIMIT, Auto-Increment, StringComparison, Unterabfragen und Performanceanalyse.1) Mysqluse Slimit, whileqlServerusSestopandorakelSrownum.2) Mysql'Sauto_incrementContrastswithpostgresql'Sserialandoracle'ssequencandt

Was ist MySQL Partitioning?Was ist MySQL Partitioning?Apr 27, 2025 am 12:23 AM

Die MySQL -Partitionierung verbessert die Leistung und vereinfacht die Wartung. 1) Teilen Sie große Tabellen nach bestimmten Kriterien (z. B. Datumsbereichen) in kleine Stücke, 2) Daten in unabhängige Dateien physikalisch unterteilen, 3) MySQL kann sich auf verwandte Partitionen konzentrieren, wenn Sie abfragen, 4) Abfragoptimierer kann nicht verwandte Partitionen überspringen, 5) Die Auswahl der richtigen Partitionsstrategie und die regelmäßige Wartung des Schlüssels ist der Schlüssel.

Wie gewähren und widerrufen Sie Privilegien in MySQL?Wie gewähren und widerrufen Sie Privilegien in MySQL?Apr 27, 2025 am 12:21 AM

Wie kann man Berechtigungen in MySQL erteilen und widerrufen? 1. Verwenden Sie die Stipendienerklärung, um Berechtigungen wie GrantAllPrivileGesAndatabase_Name.to'username'@'host '; 2. Verwenden Sie die Revoke -Erklärung, um Berechtigungen wie RevokeAllPrivileGeDatabase_Name.From'username'@'host 'zu widerrufen, um eine rechtzeitige Kommunikation von Genehmigungsänderungen zu gewährleisten.

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heiße Werkzeuge

SAP NetWeaver Server-Adapter für Eclipse

SAP NetWeaver Server-Adapter für Eclipse

Integrieren Sie Eclipse mit dem SAP NetWeaver-Anwendungsserver.

SublimeText3 Englische Version

SublimeText3 Englische Version

Empfohlen: Win-Version, unterstützt Code-Eingabeaufforderungen!

MantisBT

MantisBT

Mantis ist ein einfach zu implementierendes webbasiertes Tool zur Fehlerverfolgung, das die Fehlerverfolgung von Produkten unterstützen soll. Es erfordert PHP, MySQL und einen Webserver. Schauen Sie sich unsere Demo- und Hosting-Services an.

DVWA

DVWA

Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

SecLists

SecLists

SecLists ist der ultimative Begleiter für Sicherheitstester. Dabei handelt es sich um eine Sammlung verschiedener Arten von Listen, die häufig bei Sicherheitsbewertungen verwendet werden, an einem Ort. SecLists trägt dazu bei, Sicherheitstests effizienter und produktiver zu gestalten, indem es bequem alle Listen bereitstellt, die ein Sicherheitstester benötigen könnte. Zu den Listentypen gehören Benutzernamen, Passwörter, URLs, Fuzzing-Payloads, Muster für vertrauliche Daten, Web-Shells und mehr. Der Tester kann dieses Repository einfach auf einen neuen Testcomputer übertragen und hat dann Zugriff auf alle Arten von Listen, die er benötigt.