| 订阅 | 在线投稿
分享
 
 
当前位置: 王朝网络 >> perl >> perl语言编程实例-多进程篇 perl yu yan bian cheng shi li - duo jin cheng pian
 

perl语言编程实例-多进程篇

2008-05-18 21:55:39 编辑來源:互联网 繁體版 评论
 
 
本文为【perl语言编程实例-多进程篇】的汉字拼音对照版显示拼音
  zuozhehorsley

  perl yuyanbianchengshiliduojinchengpian

  perl yuyanshiyizhongfeichangqiangdadejiaobenyuyanqiyingyongbianjixitongweihuCGIshujukubiancheng

  yixiashiwoyudaodeyigejutiwentiyingyongperlhuodeyuanmanjiejue

  wentitichu

  moushujukuyingyongxuyaojiansuoyipishujuAbiaoshujuliang12wanzuoyouduigaipishuju

  jiangjinxingzhuyigaiduiqijianjiangguanliansangeqianwanjidebiaoC,D,Ebiaofenbieyoujin亿yitiaoshuju

  bingjiangjiansuozhuangtaicharuyizhangxinbiao(F)

  chuantongjiejuefangan

  bianxiecunchuguochengdakaiyigecursorduiAbiaobianlizhuyijiansuoC,D,Ebiao

  panduanzhuangtaixieruxinbiaobianchengguochengshifenjiandanshunliwanchengdanzhixingshixiaolvdixiahaoshizai

  8xiaoshizuoyoubunengmanzuyaoqiu

  fenxi

  C,D,EbiaojianyoujiqiwanbeidesuoyinduidantiaoshujujiansuojiqikuaisutongshizhixingshizhujiCPU

  

  neicundengziyuanshifenkongxianchaxundantiaojiluhaoshi8×3600/12wan0.24miaoyeshizaihelide

  fanwei

  tongshizhujishujukuzaiyewugaofengqishikeyizhichi500600yonghutongshidenglutelnetfangshi

  yishang

  shuomingxingnengpingjingbuzaizhujishujukushang

  jielunyishangsuoyoudouheqinghelicaiyongdanjinchengfangshiwufajinyibutigaoxingnengweitigaosudu

  zhineng

  caiyongduojincheng

  kuaisugouzaoyuanxing:

  yuanxingyi

  #!/usr/bin/perl

  my $maxchild=20;

  foreach $item (1..500) {

  while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

  if ($PID=fork()){

  print "Starting Sub_Process:$PID\n";

  } else {

  print "I will handle data:$item\n";

  sleep 1;

  exit 1;

  };

  }

  zhixingyishangzhengchangzijinchengkongzhizai20

  yishangshujiaobenweijichutianjiashujukubufen

  #!/usr/bin/perl

  use DBI;

  my $dbh=DBI->connect(...);

  my $sth=$dbh->prepare(qq/select * from A/);

  $sth->execute();

  $sth->bind_column(undef,.....);

  while ($sth->fetch()) {

  while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

  if ($PID=fork()) {

  print "Starting Sub_Process:$PID\n";

  } else {

  query(B,C,D); #zhixingshujukucaozuo

  insert(E);

  exit 1;

  }

  }

  $sth->finish();

  $dbh->disconnect();

  quebaowuyufacuowuzhixingchuliyiliangtiaoshujuhoujiaobenbaocuozhongduanjuticuowulue

  fenxichengxukuangjiameicuodanshizaiforkzijinchengshi$dbhtongshibeizijinchengjichengdaozhigaishuju

  kulianjiefanfu使shiyong

  youyushujukudicengdemouzhongyuanyinduigaizhongcaozuoshibuyuanxudejielunyishangjiandandeduojinchengfang

  shibukexingshujuku

  lianjiebufenbixutong fork fenli

  ######################################

  kaolvhenjiushejiruxiayuanxingjiangdakaiAbiaodecursordandutichujieguochuangeilingwaiyigejincheng

  

  12wanshujujiaodazuoweishenshuchuandisihubutuokaolvliyongguandaotongxin

  yuanxinger

  ############################

  fencheng getdatasetdatalianggechengxushouxianjianliguandao : mknod data.pipe p

  cat getdata:

  #!/usr/bin/perl

  use DBI;

  open(DATAPIPE,">./data.pipe") or die "$!\n";

  my $dbh=DBI->connect(...);

  my $sth=$dbh->prepare(qq/select * from A/);

  $sth->execute();

  $sth->bind_column(undef,.....);

  while ($sth->fetch()) {

  print DATAPIPE data.....;

  }

  close(DATAPIPE);

  ######################

  cat setdata:

  #!/usr/bin/perl

  use DBI;

  open(DATAPIPE,"<./data.pipe") or die "$!\n";

  my $pipecount=0;

  my $maxlines=2000;

  my @lines=();

  while($record=<DATAPIPE>) {

  $pipecount++;

  push @lines,$record;

  unless ($pipecount % $maxlines) {

  if ($PID=fork()){

  print "Starting Sub_Process:$PID\n";

  @lines=();

  }else{

  my $dbh=DBI->connect(...);

  foreach (@lines) {

  handle_data($_);

  }

  $dbh->disconnect();

  exit 1;

  }

  }

  }

  my $dbh=DBI->connect(...);

  foreach (@lines) {

  handle_data($_);

  }

  $dbh->disconnect();

  yishangjiaobenyunxingzhengchangzhixingshiqidong12wan/$maxlines= 60gezijincheng

  chuliwansuoyoushujuhaoshizai 10fenzhongzuoyouxiaolvtigaojishibei

  jiaobenzhixingfangshi./getdata&./setdata原文】【拼音
 
 
 
上一篇《比较python&perl》
下一篇《给你三万块做百万级数据量的网站,用Perl你敢做吗?》
 
 
 
 
 
 
日版宠物情人插曲《Winding Road》歌词

日版宠物情人2017的插曲,很带节奏感,日语的,女生唱的。 最后听见是在第8集的时候女主手割伤了,然后男主用嘴帮她吸了一下,插曲就出来了。 歌手:Def...

兄弟共妻,我成了他们夜里的美食

老钟家的两个儿子很特别,就是跟其他的人不太一样,魔一般的执着。兄弟俩都到了要结婚的年龄了,不管自家老爹怎么磨破嘴皮子,兄弟俩说不娶就不娶,老父母为兄弟两操碎了心...

如何磨出破洞牛仔裤?牛仔裤怎么剪破洞?

把牛仔裤磨出有线的破洞 1、具体工具就是磨脚石,下面垫一个硬物,然后用磨脚石一直磨一直磨,到把那块磨薄了,用手撕开就好了。出来的洞啊很自然的。需要猫须的话调几...

我就是扫描下图得到了敬业福和爱国福

先来看下敬业福和爱国福 今年春节,支付宝再次推出了“五福红包”活动,表示要“把欠大家的敬业福都还给大家”。 今天该活动正式启动,和去年一样,需要收集“五福”...

冰箱异味产生的原因和臭味去除的方法

有时候我们打开冰箱就会闻到一股异味,冰箱里的这种异味是因为一些物质发出的气味的混合体,闻起来让人恶心。 产生这些异味的主要原因有以下几点。 1、很多人有这种习...

 
 
  作者:horsley   perl 语言编程实例-多进程篇   perl 语言是一种非常强大的脚本语言,其应用遍及系统维护,CGI,数据库编程。   以下是我遇到的一个具体问题,应用perl获得圆满解决。   问题提出:   某数据库应用。需要检索一批数据(A表,数据量12万左右)。对该批数据   将进行逐一核对,期间将关联三个千万级的表(C,D,E表,分别有近亿条数据),   并将检索状态插入一张新表(F)。   传统解决方案:   编写存储过程。打开一个cursor,对A表遍历,逐一检索C,D,E表。   判断状态写入新表。编程过程十分简单,顺利完成。但执行时效率低下,耗时在   8小时左右,不能满足要求。   分析:   C,D,E表建有极其完备的索引。对单条数据检索极其快速。同时执行时主机CPU   ,   内存等资源十分空闲。查询单条记录耗时:8×3600/12万=0.24秒,也是在合理的   范围。   同时主机数据库在业务高峰期时可以支持500-600用户同时登陆(telnet方式)。   以上   说明性能瓶颈不在主机,数据库上。   结论:以上所有都合情合理,采用单进程方式无法进一步提高性能。为提高速度,   只能   采用多进程。   快速构造原型:   原型一:   #!/usr/bin/perl   my $maxchild=20;   foreach $item (1..500) {   while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };   if ($PID=fork()){   print "Starting Sub_Process:$PID\n";   } else {   print "I will handle data:$item\n";   sleep 1;   exit 1;   };   }   执行以上,正常,子进程控制在20。   以上述脚本为基础,添加数据库部分:   #!/usr/bin/perl   use DBI;   my $dbh=DBI->connect(...);   my $sth=$dbh->prepare(qq/select * from A/);   $sth->execute();   $sth->bind_column(undef,.....);   while ($sth->fetch()) {   while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };   if ($PID=fork()) {   print "Starting Sub_Process:$PID\n";   } else {   query(B,C,D); #执行数据库操作   insert(E);   exit 1;   }   }   $sth->finish();   $dbh->disconnect();   确保无语法错误,执行。处理一两条数据后脚本报错,中断。具体错误略。   分析:程序框架没错,但是在fork子进程时,$dbh同时被子进程继承,导致该数据   库连接反复使用。   由于数据库底层的某种原因,对该种操作是不允许的。结论:以上简单的多进程方   式不可行。数据库   连接部分必须同 fork 分离。   ######################################   考虑很久,设计如下原型:将打开A表的cursor单独提出,结果传给另外一个进程   。   12万数据较大,作为参数传递似乎不妥,考虑利用管道通信。   原型二:   ############################   分成 getdata,setdata两个程序。首先建立管道 : mknod data.pipe p   cat getdata:   #!/usr/bin/perl   use DBI;   open(DATAPIPE,">./data.pipe") or die "$!\n";   my $dbh=DBI->connect(...);   my $sth=$dbh->prepare(qq/select * from A/);   $sth->execute();   $sth->bind_column(undef,.....);   while ($sth->fetch()) {   print DATAPIPE data.....;   }   close(DATAPIPE);   ######################   cat setdata:   #!/usr/bin/perl   use DBI;   open(DATAPIPE,"<./data.pipe") or die "$!\n";   my $pipecount=0;   my $maxlines=2000;   my @lines=();   while($record=<DATAPIPE>) {   $pipecount++;   push @lines,$record;   unless ($pipecount % $maxlines) {   if ($PID=fork()){   print "Starting Sub_Process:$PID\n";   @lines=();   }else{   my $dbh=DBI->connect(...);   foreach (@lines) {   handle_data($_);   }   $dbh->disconnect();   exit 1;   }   }   }   my $dbh=DBI->connect(...);   foreach (@lines) {   handle_data($_);   }   $dbh->disconnect();   以上脚本运行正常,执行时启动:12万/$maxlines= 60个子进程。   处理完所有数据耗时在 10分钟左右,效率提高几十倍。   脚本执行方式:./getdata&./setdata
󰈣󰈤
  免责声明:本文仅代表作者个人观点,与王朝网络无关。王朝网络登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
 
情人节的清纯女生(9)
情人节的清纯女生(8)
情人节的清纯女生(7)
情人节的清纯女生(6)
山东蓬莱海边组照
一探哲蚌 II
一探哲蚌 III
古长城的一角
 
>>返回首页<<
 
 
 为你推荐
 
 
 
 转载本文
 UBB代码 HTML代码
复制到剪贴板...
 
 热帖排行
 
 
 
 
©2005- 王朝网络 版权所有