详解User Defined Java Class步骤(二) kettle中的user defined java class步骤,也称UDJC步骤,从4.0版本就有,功能非常强大,无所不能;可以在其中写任意代码,却不影响效率。本文将详细介绍在不同场景中用示例展示如果使用该步骤,由于内容非常多,便于
详解User Defined Java Class步骤(二)
kettle中的“user defined java class”步骤,也称UDJC步骤,从4.0版本就有,功能非常强大,无所不能;可以在其中写任意代码,却不影响效率。本文将详细介绍在不同场景中用示例展示如果使用该步骤,由于内容非常多,便于阅读方便,把内容分成三部分,请完整看完全部内容,示例代码在这里下载.
如果没有从第一部分开始,请访问第一部分。
使用步骤参数(Step Parameter)
如果你写了一段代码,如果想让带更通用,步骤参数这时就能用到;在示例中,我们提供一个正则表达式和一个字段的名称,该步骤检查参数对应的字段是否匹配正则表达式,如果是返回结果为1,反之为0。
代码如下:
import java.util.regex.Pattern;
private Pattern p = null;
private FieldHelper fieldToTest = null;
private FieldHelper outputField = null;
public boolean processRow(StepMetaInterfacesmi, StepDataInterface sdi) throws KettleException
{
Object[] r = getRow();
if (r == null) {
setOutputDone();
return false;
}
// prepare regex and field helpers
if (first){
first = false;
String regexString = getParameter("regex");
p = Pattern.compile(regexString);
fieldToTest = get(Fields.In, getParameter("test_field"));
outputField = get(Fields.Out, "result");
}
r= createOutputRow(r, data.outputRowMeta.size());
// Get the value from an input field
String test_value = fieldToTest.getString(r);
// test for match and write result
if (p.matcher(test_value).matches()){
outputField.setValue(r, Long.valueOf(1));
}
else{
outputField.setValue(r, Long.valueOf(0));
}
// Send the row on to the next step.
putRow(data.outputRowMeta, r);
return true;
}
getParameter()方法返回在ui界面中定义的参数对应值内容,当然参数的值也可能是kettle的变量。把变量作为参数是使用变量通常的做法。我们可以在步骤的xml代码中手工搜索到变量。
示例的转换名称是:parameter.ktr.
消息步骤(Info Steps)使用
有时需要合并多个输入步骤,可能赋予不同的角色,就如流查询步骤。消息步骤用来提供查询,其数据行不通过getRow()方法返回。在udjc步骤中非常容易使用。在udjc步骤的ui界面消息步骤选项卡中定义,通过getRowsFrom()方法返回对应的值。
示例转换中使用消息步骤接收一组正则表达式,用其测试主流数据中的一个字段是否匹配,如果任何一个表达式匹配,结果字段设置为1.如果没有任何匹配,则结果为0,同时附加输出匹配的表达式。
代码如下:
import java.util.regex.Pattern;
import java.util.*;
private FieldHelper resultField = null;
private FieldHelper matchField = null;
private FieldHelper outputField = null;
private FieldHelper inputField = null;
private ArrayList patterns = newArrayList(20);
private ArrayList expressions = newArrayList(20);
public boolean processRow(StepMetaInterfacesmi, StepDataInterface sdi) throws KettleException
{
Object[] r = getRow();
if (r == null) {
setOutputDone();
return false;
}
// prepare regex and field helpers
if (first){
first = false;
// get the input and output fields
resultField = get(Fields.Out, "result");
matchField = get(Fields.Out, "matched_by");
inputField = get(Fields.In, "value");
// get all rows from the info stream andcompile the regex field to patterns
FieldHelper regexField = get(Fields.Info, "regex");
RowSet infoStream = findInfoRowSet("expressions");
Object[] infoRow = null;
while((infoRow = getRowFrom(infoStream)) != null){
String regexString = regexField.getString(infoRow);
expressions.add(regexString);
patterns.add(Pattern.compile(regexString));
}
}
// get the value of the field to check
String value = inputField.getString(r);
// check if any pattern matches
int matchFound = 0;
String matchExpression = null;
for(int i=0;i if (((Pattern) patterns.get(i)).matcher(value).matches()){ matchFound = 1; matchExpression = (String)expressions.get(i); break; } } // write result to stream r= createOutputRow(r, data.outputRowMeta.size()); resultField.setValue(r, Long.valueOf(matchFound)); matchField.setValue(r, matchExpression); // Send the row on to the next step. putRow(data.outputRowMeta, r); return true; } 调用findInfoRowSet()方法,返回在udjc步骤的消息步骤中定义的名称对应的输入步骤的整个行集内容。从行集内容中读取某行与从主数据流中去某行不同,通过调用getRowFrom(),并显示指明那个行集。 示例转换的名称为info_steps.ktr. 使用目标步骤(Target Steps) 使用udjc步骤有时可能需要指定行集流转到不同的目标步骤。通过调用putRow()方法,并传递一个目标步骤作为参数。我们需要在udjc步骤的ui界面的目标步骤中定义所有可能的目标步骤,下面示例中随机分发行数据到不同弄的目标步骤。 findTargetRowSet()方法返回在ui界面中定义的目标步骤行集,并作为putRowto()方法的参数.示例转换的名称为target_steps.ktr. 代码如下: import java.util.regex.Pattern; import java.util.*; private RowSet lowProbStream = null; private RowSet highProbStream = null; public boolean processRow(StepMetaInterfacesmi, StepDataInterface sdi) throws KettleException { Object[]r = getRow(); if(r == null) { setOutputDone(); returnfalse; } //prepare regex and field helpers if (first){ first = false; lowProbStream= findTargetRowSet("low_probability"); highProbStream= findTargetRowSet("high_probability"); } //Send the row on to the next step. if(Math.random()
putRowTo(data.outputRowMeta, r,lowProbStream); } else{ putRowTo(data.outputRowMeta, r,highProbStream); } returntrue; } 更多内容请查看第三部分;

Les procédures stockées sont des instructions SQL précompilées dans MySQL pour améliorer les performances et simplifier les opérations complexes. 1. Améliorer les performances: après la première compilation, les appels ultérieurs n'ont pas besoin d'être recompilés. 2. Améliorez la sécurité: restreignez l'accès à la table de données grâce au contrôle de l'autorisation. 3. Simplifier les opérations complexes: combinez plusieurs instructions SQL pour simplifier la logique de la couche d'application.

Le principe de travail du cache de requête MySQL consiste à stocker les résultats de la requête sélectionnée, et lorsque la même requête est à nouveau exécutée, les résultats mis en cache sont directement renvoyés. 1) Le cache de requête améliore les performances de lecture de la base de données et trouve des résultats mis en cache grâce aux valeurs de hachage. 2) Configuration simple, définissez query_cache_type et query_cache_size dans le fichier de configuration mysql. 3) Utilisez le mot-clé SQL_NO_CACH pour désactiver le cache de requêtes spécifiques. 4) Dans les environnements de mise à jour à haute fréquence, le cache de requête peut provoquer des goulots d'étranglement des performances et doit être optimisé pour une utilisation par la surveillance et l'ajustement des paramètres.

Les raisons pour lesquelles MySQL sont largement utilisées dans divers projets comprennent: 1. Haute performances et évolutivité, en prenant en charge plusieurs moteurs de stockage; 2. Facile à utiliser et à maintenir, configuration simple et outils riches; 3. Écosystème riche, attirant un grand nombre de supports d'outils communautaires et tiers; 4. Prise en charge multiplateforme, adaptée à plusieurs systèmes d'exploitation.

Les étapes de mise à niveau de la base de données MySQL incluent: 1. Sauvegarder la base de données, 2. Arrêtez le service MySQL actuel, 3. Installez la nouvelle version de MySQL, 4. Démarrez la nouvelle version du service MySQL, 5. Récupérez la base de données. Des problèmes de compatibilité sont nécessaires pendant le processus de mise à niveau, et des outils avancés tels que Perconatoolkit peuvent être utilisés pour les tests et l'optimisation.

Les politiques de sauvegarde MySQL incluent une sauvegarde logique, une sauvegarde physique, une sauvegarde incrémentielle, une sauvegarde basée sur la réplication et une sauvegarde cloud. 1. Logical Backup utilise MySQLDump pour exporter la structure et les données de la base de données, ce qui convient aux petites bases de données et aux migrations de versions. 2. Les sauvegardes physiques sont rapides et complètes en copie les fichiers de données, mais nécessitent la cohérence de la base de données. 3. La sauvegarde incrémentielle utilise la journalisation binaire pour enregistrer les modifications, ce qui convient aux grandes bases de données. 4. La sauvegarde basée sur la réplication réduit l'impact sur le système de production en sauvegarde du serveur. 5. Les sauvegardes cloud telles que Amazonrds fournissent des solutions d'automatisation, mais les coûts et le contrôle doivent être pris en compte. Lors de la sélection d'une politique, de la taille de la base de données, de la tolérance aux temps d'arrêt, du temps de récupération et des objectifs de points de récupération doit être pris en compte.

MysqlclusteringenhancesdatabaserobustnessandscalabilityByDistritingDataacRossMultiplenodes.itUsEsthendBenginefordataReplication andfaultToleance, assurant la manière

L'optimisation de la conception du schéma de la base de données dans MySQL peut améliorer les performances par les étapes suivantes: 1. Optimisation d'index: Créer des index sur les colonnes de requête communes, équilibrant la surcharge de la requête et insertion des mises à jour. 2. Optimisation de la structure du tableau: Réduisez la redondance des données par normalisation ou anti-normalisation et améliorez l'efficacité d'accès. 3. Sélection du type de données: utilisez des types de données appropriés, tels que INT au lieu de Varchar, pour réduire l'espace de stockage. 4. Partionnement et sous-table: Pour les volumes de données importants, utilisez le partitionnement et la sous-table pour disperser les données pour améliorer l'efficacité de la requête et de la maintenance.

TOOPTIMIZEMYSQLPERFORMANCE, SuivreTheSestets: 1) Implémentation de PROPERIDEXINGTOSPEEDUPQUERIES, 2) Utiliser la manière dont la gamme ajustée en ligne


Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

Outils chauds

DVWA
Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel

MantisBT
Mantis est un outil Web de suivi des défauts facile à déployer, conçu pour faciliter le suivi des défauts des produits. Cela nécessite PHP, MySQL et un serveur Web. Découvrez nos services de démonstration et d'hébergement.

Listes Sec
SecLists est le compagnon ultime du testeur de sécurité. Il s'agit d'une collection de différents types de listes fréquemment utilisées lors des évaluations de sécurité, le tout en un seul endroit. SecLists contribue à rendre les tests de sécurité plus efficaces et productifs en fournissant facilement toutes les listes dont un testeur de sécurité pourrait avoir besoin. Les types de listes incluent les noms d'utilisateur, les mots de passe, les URL, les charges utiles floues, les modèles de données sensibles, les shells Web, etc. Le testeur peut simplement extraire ce référentiel sur une nouvelle machine de test et il aura accès à tous les types de listes dont il a besoin.

PhpStorm version Mac
Le dernier (2018.2.1) outil de développement intégré PHP professionnel

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
