今天把这段时间学习完shell后完成工作上的一个小案件整理了一下,分享给大家!
说来也巧了,作为一个刚刚毕业半年的菜鸟,进入公司后,听公司的大牛推荐学习linux–”鸟哥的私房菜“,基本上是从去年8月份开始到了今年的1月份,基本上是把基础篇看完了,开始了解shell脚本的相关知识。刚好公司有了一个shell脚本的案件给我了,时间上也没有多紧。然后就一边学习一边开始做,虽然中途客户反映先前的业务逻辑有问题耽搁了两周,但总算是到最后完成了,自己学习的东西能用到很开心,今天闲了,把代码整理了一下,分享给大家
具体是这样:
要求是写一个shell脚本,安装要求查询数据,将符合条件的数据按照客户给定的xml样式进行组装,然后加入到crontab中,定时执行通过scp或者ftp放到客户服务器上。
具体实现步骤:
一、编写生成xml文档的代码
#! /bin/bash # filename: create_xml.sh # create_wangxb_20150123 # # 从外部传入的第一个参数作为xml的文件名 outfile=$1 # xml中的缩进位 tabs=0 # ++++++++++++++++++++++++++++ # 组装一个节点,输出到文件 # 说一说传参数时的这几个区别:假如有下面这个脚本执行的命令 # /path/to/scriptname opt1 opt2 opt3 opt4 # $0: 的值是默认是脚本的名字,从$1-$4 开始就是参数的值 # $# :代表后接的参数『个数』 # $@ :代表『 "$1" "$2" "$3" "$4" 』之意,每个变量是独立的(用双引号括起来); # $* :代表『 "$1c$2c$3c$4" 』,其中 c 为分隔字节,默认为空白键, 所以本例中代表『 "$1 $2 $3 $4" 』之意。 # 在shell中我们可以也可以使用${}包含变量名,来调用变量 # ++++++++++++++++++++++++++++ put(){ echo '<'${*}'>' >> $outfile } # 这里也是输出一个xml的节点,只是比上面的节点有更多的设置 # ${@:2} 的意思:它的值就是由第二个参数开始到最后一个参数,为什么要这样?有时可能你的第二个参数中有空格,shell接受参数是以空格计算的 put_tag() { echo '<'$1'>'${@:2}'</'$1'>' >> $outfile } # 同样是一个输出节点函数,但是添加了CDATA,防止特殊字符造成xml解析失败 put_tag_cdata() { echo '<'$1'><![CDATA['${@:2}']]></'$1'>' >> $outfile } put_head(){ put '?'${1}'?' } # 这是一个缩进的算法,自行理解 out_tabs(){ tmp=0 tabsstr="" while [ $tmp -lt $((tabs)) ] do tabsstr=${tabsstr}'\t' tmp=$((tmp+1)) done echo -e -n $tabsstr >> $outfile } tag_start(){ out_tabs put $1 tabs=$((tabs+1)) } tag() { out_tabs if [ "$1" == 0 ] then put_tag $2 $(echo ${@:3}) elif [ "$1" == 1 ] then put_tag_cdata $2 $(echo ${@:3}) fi } tag_end(){ tabs=$((tabs-1)) out_tabs put '/'${1} }
这里有一些基础知识:
关于参数:
假如有下面这个脚本执行的命令
/path/to/scriptname opt1 opt2 opt3 opt4
$0: 的值是默认是脚本的名字,从$1-$4 开始就是参数的值 $# :代表后接的参数『个数』 $@ :代表『 "$1" "$2" "$3" "$4" 』之意,每个变量是独立的(用双引号括起来); $* :代表『 "$1c$2c$3c$4" 』,其中 c 为分隔字节,默认为空白键, 所以本例中代表『 "$1 $2 $3 $4" 』之意。 在shell中我们可以也可以使用${}包含变量名,来调用变量
二、从数据库查数据利用上面的函数,制作xml文件
#!/bin/bash # filename: ts_xml.sh # create_wangxb_20150126 # PATH=/u01/app/oracle/product/10.2.0/db_1/bin:/usr/kerberos/bin:/usr/local/bin:/bin:/usr/bin:/opt/dell/srvadmin/bin:/home/p3s_batch/tools:/home/p3s_batch/bin export PATH # Database account information file source ~/.p3src #++++++++++++++++++++++++++++++++++++++++++++++++++++++++ # set some variable # XMLSCRIPT: 脚本的绝对路径 # MATCHING_RESULT_XML: xml_1的文件名 # XML_FUNC_FILE: 生成xml函数文件路径 # MATCHING_RESULT_QUERY_DATA: sqlplus 查出数据保存的零时文件 # MATCHING_RESULT_QUERY_SQL: sqlplus 查询的sql语句 #++++++++++++++++++++++++++++++++++++++++++++++++++++++++ # 下面是一些基础的设置 export XMLSCRIPT=/usr/p3s/batch/jaaa_match/tmp_xa_wangxb XML_DIR="$XMLSCRIPT/xmldata" XML_FUNC_FILE="xml_func.sh" MATCHING_RESULT_XML="matching_result_"$(date '+%Y%m%d_%H%M%S')".xml" MATCHING_RESULT_QUERY_DATA="matching_result_query_data.tmp" MATCHING_RESULT_QUERY_SQL="matching_result_query.sql" CLIENT_LIST_XML="client_list_"$(date '+%Y%m%d_%H%M%S')".xml" CLIENT_LIST_QUERY_DATA="client_list_query_data.tmp" CLIENT_LIST_QUERY_SQL="client_list_query.sql" # add_wangxb_20150225 if [ ! -d "$XML_DIR" ]; then mkdir $XML_DIR fi #+++++++++++++++++++++++++++ # modify_wangxb_20150224 # check for temporary file #+++++++++++++++++++++++++++ if [ -e "$XML_DIR/$MATCHING_RESULT_XML" ]; then rm -f $XML_DIR/$MATCHING_RESULT_XML fi if [ -e "$XMLSCRIPT/$MATCHING_RESULT_QUERY_DATA" ]; then MATCHING_RESULT_QUERY_DATA="matching_result_query_data_"$(date '+%Y%m%d%H%M%S')".tmp" fi #+++++++++++++++++++++++++++++++++++++++++++++++++ # add_wangxb_20150225 # check system time, choice query time period # 这是是根据crontab每天执行的时间,取得我们查询数据库时的where条件的时间区间 #+++++++++++++++++++++++++++++++++++++++++++++++++ sys_datetime=$(date '+%Y%m%d%H') first_chk_datetime="$(date '+%Y%m%d')04" second_chk_datetime="$(date '+%Y%m%d')12" third_chk_datetime="$(date '+%Y%m%d')20" # 由于服务器crontab是上面的时间,但是执行的shell比较多,在调用我这个shell的时候,不一定就是04:30 ,12:30, 20:30所以,这里的根据系统的时间判断时 范围给的比较宽 case $sys_datetime in "$first_chk_datetime"|"$(date '+%Y%m%d')05"|"$(date '+%Y%m%d')06"|"$(date '+%Y%m%d')07") chk_start=$(date '+%Y-%m-%d 21:00:00' -d '-1 day') chk_end=$(date '+%Y-%m-%d 04:29:59') ;; "$second_chk_datetime"|"$(date '+%Y%m%d')13"|"$(date '+%Y%m%d')14"|"$(date '+%Y%m%d')15") chk_start=$(date '+%Y-%m-%d 04:30:00') chk_end=$(date '+%Y-%m-%d 12:29:59') ;; "$third_chk_datetime"|"$(date '+%Y%m%d')21"|"$(date '+%Y%m%d')22"|"$(date '+%Y%m%d')23") chk_start=$(date '+%Y-%m-%d 12:30:00') chk_end=$(date '+%Y-%m-%d 20:59:59') ;; *) chk_start=$(date '+%Y-%m-%d 00:00:00') chk_end=$(date '+%Y-%m-%d 23:59:59') ;; esac # modify_wangxb_20150310 # 下面的是做一个oracle数据库连接的测试,如果连接失败,后续代码不再执行,并且写入错误日志 $ORACLE_HOME/bin/sqlplus -s $ORAUSER_WEB_PASDB << EOF set echo off set feedback off alter session set nls_date_format='YYYY-MM-DD:HH24:MI:SS'; select sysdate from dual; quit EOF if [ $? -ne 0 ] then echo "********** DBへのリンク己窃した **********" exit else echo "********** DBへのリンクOKです **********" fi # sqlplus就是oracle的一个客户端软件,具体使用方法可以问度娘,这里传入要执行的sql和参数,将结果 > 输出到指定文件 $ORACLE_HOME/bin/sqlplus -s $ORAUSER_WEB_PASDB @$XMLSCRIPT/$MATCHING_RESULT_QUERY_SQL "$chk_start" "$chk_end" > $XMLSCRIPT/$MATCHING_RESULT_QUERY_DATA # create matching result's xml file # add_wangxb_20150227 # 下面的算法就是将查出的数据进行分析,调用xml函数生成xml文件 source "$XMLSCRIPT/$XML_FUNC_FILE" "$XML_DIR/$MATCHING_RESULT_XML" put_head 'xml version="1.0" encoding="utf-8"' tag_start 'ROOT' if [ -s "$XMLSCRIPT/$MATCHING_RESULT_QUERY_DATA" ]; then datas=${XMLSCRIPT}/${MATCHING_RESULT_QUERY_DATA} #for res in $datas while read res; do stock_id=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $1}') seirino=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $2}') match_flg=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $3}') unmatch_riyuu=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $4}') up_date_tmp=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $5}') up_date=$(echo $up_date_tmp | awk 'BEGIN {FS="@"} {print $1 " " $2}') tag_start 'MATCHING' tag 0 'STOCKID' ${stock_id:-""} tag 0 'SEIRINO' ${seirino:-""} tag 0 'RESULT' ${match_flg:-""} tag 1 'REASON' ${unmatch_riyuu:-""} tag 0 'UPDATE_DATE' ${up_date:-""} tag_end 'MATCHING' done < $datas fi tag_end 'ROOT' rm $XMLSCRIPT/$MATCHING_RESULT_QUERY_DATA # create client list's xml file # add_wangxb_2015027 # 下面的是再生成一个xml文件,和上面一样 if [ -e "$XML_DIR/$CLIENT_LIST_XML" ]; then rm -f $XML_DIR/$CLIENT_LIST_XML fi if [ -e "$XMLSCRIPT/$CLIENT_LIST_QUERY_DATA" ]; then CLIENT_LIST_QUERY_DATA="client_list_query_data_"$(date '+%Y%m%d%H%M%S')".tmp" fi $ORACLE_HOME/bin/sqlplus -s $ORAUSER_MND @$XMLSCRIPT/$CLIENT_LIST_QUERY_SQL > $XMLSCRIPT/$CLIENT_LIST_QUERY_DATA source "$XMLSCRIPT/$XML_FUNC_FILE" "$XML_DIR/$CLIENT_LIST_XML" put_head 'xml version="1.0" encoding="utf-8"' tag_start 'ROOT' if [ -s "$XMLSCRIPT/$CLIENT_LIST_QUERY_DATA" ]; then datas=${XMLSCRIPT}/${CLIENT_LIST_QUERY_DATA} #for res in $datas while read res; do corporation_id=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $1}') corporation_name=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $2}') client_id=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $3}') client_print_name=$(echo $res | awk 'BEGIN {FS="\\^\\*\\^"} {print $4}') tag_start 'CLIENT' tag 0 'CORPORATION_ID' ${corporation_id:-""} tag 1 'CORPORATION_NAME' ${corporation_name:-""} tag 0 'CLIENT_ID' ${client_id:-""} tag 1 'CLIENT_PRINT_NAME' ${client_print_name:-""} tag_end 'CLIENT' done < $datas fi tag_end 'ROOT' rm $XMLSCRIPT/$CLIENT_LIST_QUERY_DATA # add_wangxb_20150304 # Convert xml file encoding # 这是将xml文件进行转码,命令是iconv if [ -e "$XML_DIR/$MATCHING_RESULT_XML" ]; then echo "********** matching_result.xmlファイルコ〖ドを啪垂し、**********" iconv -f euc-jp -t utf-8 $XML_DIR/$MATCHING_RESULT_XML -o $XML_DIR/$MATCHING_RESULT_XML.utf-8 mv $XML_DIR/$MATCHING_RESULT_XML.utf-8 $XML_DIR/$MATCHING_RESULT_XML fi if [ -e "$XML_DIR/$CLIENT_LIST_XML" ]; then echo "********** client_list.xmlフィルコ〖ドを啪垂し、**********" iconv -f euc-jp -t utf-8 $XML_DIR/$CLIENT_LIST_XML -o $XML_DIR/$CLIENT_LIST_XML.utf-8 mv $XML_DIR/$CLIENT_LIST_XML.utf-8 $XML_DIR/$CLIENT_LIST_XML fi # add_wangxb_20150304 # Send the xml file to the destination server by ftp #ftp_host="222.***.***.***" #USER="***" #PASS="***" #ftp -i -n $ftp_host << EOF #user $USER $PASS #cd / #lcd $XML_DIR/ #put $MATCHING_RESULT_XML #put $CLIENT_LIST_XML #quit #EOF # test ftp # 通过ftp将xml文件放到客户服务器上,ftp_host:客户服务器地址,user登录名,pass密码 ftp_host="***.***.***.***" USER="***" PASS="***" dir="/upload" ftp -i -n $ftp_host << EOF user $USER $PASS cd /upload/ lcd $XML_DIR/ put $MATCHING_RESULT_XML put $CLIENT_LIST_XML quit EOF # Save the program log file YYMM=$(date +'%Y%m%d%H%M') cp /tmp/create_xml.log /usr/p3s/batch/jaaa_match/tmp_xa_wangxb/logs/create_xml.log.$YYMM # Send error log files into the Admin mailbox info_to_mail_1="**@**.co.jp" info_to_mail_2="***@**.co.jp" # nkf 日文转码的一个命令 title=$(echo "test" | nkf -j) nkf -j < /tmp/create_xml.log | mail -s $title $info_to_mail_1 $info_to_mail_2 #exit
本来是用scp传送的,但是后面修改了,这里把自己为scp传送找到的一个,不用密码可立即登入的 ssh 用户
下面是执行的两个sql文件
SET PAGESIZE 0 SET FEEDBACK OFF SET VERIFY OFF SET ECHO OFF SET HEADING OFF SET TIMI OFF SET LINESIZE 1000 SET WRAP OFF SELECT s.STOCKID|| '^*^' ||a.SERI_NO|| '^*^' ||a.MATCH_FLG|| '^*^' ||a.UNMATCH_RIYUU|| '^*^' ||to_char(a.UP_DATE,[email protected]:MI:SS') UP_DATE FROM aaa_stock_db a LEFT JOIN SENDDATAAPPRAISALPROTO s ON a.SERI_NO=s.SEIRINO WHERE a.UP_DATE BETWEEN to_date('&1','yyyy-mm-dd hh24:mi:ss') AND to_date('&2','yyyy-mm-dd hh24:mi:ss') AND a.DEL_FLG=0 ORDER BY a.UP_DATE DESC; exit
SET PAGESIZE 0 SET FEEDBACK OFF SET VERIFY OFF SET ECHO OFF SET HEADING OFF SET TIMI OFF SET LINESIZE 1000 SET WRAP OFF SELECT a.CORPORATION_ID|| '^*^' ||a.CORPORATION_NAME|| '^*^' ||b.CLIENT_ID|| '^*^' ||(select CLIENT_PRINT_NAME from CLIENT_MASTER where CLIENT_ID = b.CLIENT_ID) as CLIENT_PRINT_NAME FROM M_CORPORATION_MASTER a LEFT JOIN M_CORPORATION_GROUP b ON (a.CORPORATION_ID = b.CORPORATION_ID) WHERE a.DEL_FLG=0 AND b.DEL_FLG=0; exit
三、来看看效果
当然中间出现了许多bug,不过慢慢修改吗,兵来将挡,水来土掩,bug来了自己调么
就这样简单的整理一下,可能光这么写不够完整,但是,中间设计的知识也很多,不能展开了说,做个分享,大家有用到的时候也是个思路,具体的某些知识点可以用到了再去找资料了。
위 내용은 쉘 스크립트를 사용하여 XML 파일을 생성하는 자세한 예의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

如何用PHP和XML实现网站的分页和导航导言:在开发一个网站时,分页和导航功能是很常见的需求。本文将介绍如何使用PHP和XML来实现网站的分页和导航功能。我们会先讨论分页的实现,然后再介绍导航的实现。一、分页的实现准备工作在开始实现分页之前,需要准备一个XML文件,用来存储网站的内容。XML文件的结构如下:<articles><art

一、XML外部实体注入XML外部实体注入漏洞也就是我们常说的XXE漏洞。XML作为一种使用较为广泛的数据传输格式,很多应用程序都包含有处理xml数据的代码,默认情况下,许多过时的或配置不当的XML处理器都会对外部实体进行引用。如果攻击者可以上传XML文档或者在XML文档中添加恶意内容,通过易受攻击的代码、依赖项或集成,就能够攻击包含缺陷的XML处理器。XXE漏洞的出现和开发语言无关,只要是应用程序中对xml数据做了解析,而这些数据又受用户控制,那么应用程序都可能受到XXE攻击。本篇文章以java

当我们处理数据时经常会遇到将XML格式转换为JSON格式的需求。PHP有许多内置函数可以帮助我们执行这个操作。在本文中,我们将讨论将XML格式转换为JSON格式的不同方法。

Pythonxmltodict对xml的操作xmltodict是另一个简易的库,它致力于将XML变得像JSON.下面是一个简单的示例XML文件:elementsmoreelementselementaswell这是第三方包,在处理前先用pip来安装pipinstallxmltodict可以像下面这样访问里面的元素,属性及值:importxmltodictwithopen("test.xml")asfd:#将XML文件装载到dict里面doc=xmltodict.parse(f

使用nmap-converter将nmap扫描结果XML转化为XLS实战1、前言作为网络安全从业人员,有时候需要使用端口扫描利器nmap进行大批量端口扫描,但Nmap的输出结果为.nmap、.xml和.gnmap三种格式,还有夹杂很多不需要的信息,处理起来十分不方便,而将输出结果转换为Excel表格,方面处理后期输出。因此,有技术大牛分享了将nmap报告转换为XLS的Python脚本。2、nmap-converter1)项目地址:https://github.com/mrschyte/nmap-

Scrapy是一款强大的Python爬虫框架,可以帮助我们快速、灵活地获取互联网上的数据。在实际爬取过程中,我们会经常遇到HTML、XML、JSON等各种数据格式。在这篇文章中,我们将介绍如何使用Scrapy分别爬取这三种数据格式的方法。一、爬取HTML数据创建Scrapy项目首先,我们需要创建一个Scrapy项目。打开命令行,输入以下命令:scrapys

xml中node和element的区别是:Element是元素,是一个小范围的定义,是数据的组成部分之一,必须是包含完整信息的结点才是元素;而Node是节点,是相对于TREE数据结构而言的,一个结点不一定是一个元素,一个元素一定是一个结点。

1.在Python中XML文件的编码问题1.Python使用的xml.etree.ElementTree库只支持解析和生成标准的UTF-8格式的编码2.常见GBK或GB2312等中文编码的XML文件,用以在老旧系统中保证XML对中文字符的记录能力3.XML文件开头有标识头,标识头指定了程序处理XML时应该使用的编码4.要修改编码,不仅要修改文件整体的编码,还要将标识头中encoding部分的值修改2.处理PythonXML文件的思路1.读取&解码:使用二进制模式读取XML文件,将文件变为


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

Dreamweaver Mac版
시각적 웹 개발 도구

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!
