| 订阅 | 在线投稿
分享
 
 
 

perl语言编程实例-多进程篇

2008-05-18 21:55:39 编辑來源:互联网 国际版 评论
 
 
  作者:horsley

  perl 语言编程实例-多进程篇

  perl 语言是一种非常强大的脚本语言,其应用遍及系统维护,CGI,数据库编程。

  以下是我遇到的一个具体问题,应用perl获得圆满解决。

  问题提出:

  某数据库应用。需要检索一批数据(A表,数据量12万左右)。对该批数据

  将进行逐一核对,期间将关联三个千万级的表(C,D,E表,分别有近亿条数据),

  并将检索状态插入一张新表(F)。

  传统解决方案:

  编写存储过程。打开一个cursor,对A表遍历,逐一检索C,D,E表。

  判断状态写入新表。编程过程十分简单,顺利完成。但执行时效率低下,耗时在

  8小时左右,不能满足要求。

  分析:

  C,D,E表建有极其完备的索引。对单条数据检索极其快速。同时执行时主机CPU

  ,

  内存等资源十分空闲。查询单条记录耗时:8×3600/12万=0.24秒,也是在合理的

  范围。

  同时主机数据库在业务高峰期时可以支持500-600用户同时登陆(telnet方式)。

  以上

  说明性能瓶颈不在主机,数据库上。

  结论:以上所有都合情合理,采用单进程方式无法进一步提高性能。为提高速度,

  只能

  采用多进程。

  快速构造原型:

  原型一:

  #!/usr/bin/perl

  my $maxchild=20;

  foreach $item (1..500) {

  while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

  if ($PID=fork()){

  print "Starting Sub_Process:$PID\n";

  } else {

  print "I will handle data:$item\n";

  sleep 1;

  exit 1;

  };

  }

  执行以上,正常,子进程控制在20。

  以上述脚本为基础,添加数据库部分:

  #!/usr/bin/perl

  use DBI;

  my $dbh=DBI->connect(...);

  my $sth=$dbh->prepare(qq/select * from A/);

  $sth->execute();

  $sth->bind_column(undef,.....);

  while ($sth->fetch()) {

  while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

  if ($PID=fork()) {

  print "Starting Sub_Process:$PID\n";

  } else {

  query(B,C,D); #执行数据库操作

  insert(E);

  exit 1;

  }

  }

  $sth->finish();

  $dbh->disconnect();

  确保无语法错误,执行。处理一两条数据后脚本报错,中断。具体错误略。

  分析:程序框架没错,但是在fork子进程时,$dbh同时被子进程继承,导致该数据

  库连接反复使用。

  由于数据库底层的某种原因,对该种操作是不允许的。结论:以上简单的多进程方

  式不可行。数据库

  连接部分必须同 fork 分离。

  ######################################

  考虑很久,设计如下原型:将打开A表的cursor单独提出,结果传给另外一个进程

  。

  12万数据较大,作为参数传递似乎不妥,考虑利用管道通信。

  原型二:

  ############################

  分成 getdata,setdata两个程序。首先建立管道 : mknod data.pipe p

  cat getdata:

  #!/usr/bin/perl

  use DBI;

  open(DATAPIPE,">./data.pipe") or die "$!\n";

  my $dbh=DBI->connect(...);

  my $sth=$dbh->prepare(qq/select * from A/);

  $sth->execute();

  $sth->bind_column(undef,.....);

  while ($sth->fetch()) {

  print DATAPIPE data.....;

  }

  close(DATAPIPE);

  ######################

  cat setdata:

  #!/usr/bin/perl

  use DBI;

  open(DATAPIPE,"<./data.pipe") or die "$!\n";

  my $pipecount=0;

  my $maxlines=2000;

  my @lines=();

  while($record=<DATAPIPE>) {

  $pipecount++;

  push @lines,$record;

  unless ($pipecount % $maxlines) {

  if ($PID=fork()){

  print "Starting Sub_Process:$PID\n";

  @lines=();

  }else{

  my $dbh=DBI->connect(...);

  foreach (@lines) {

  handle_data($_);

  }

  $dbh->disconnect();

  exit 1;

  }

  }

  }

  my $dbh=DBI->connect(...);

  foreach (@lines) {

  handle_data($_);

  }

  $dbh->disconnect();

  以上脚本运行正常,执行时启动:12万/$maxlines= 60个子进程。

  处理完所有数据耗时在 10分钟左右,效率提高几十倍。

  脚本执行方式:./getdata&./setdata
 
 
  作者:horsley   perl 语言编程实例-多进程篇   perl 语言是一种非常强大的脚本语言,其应用遍及系统维护,CGI,数据库编程。   以下是我遇到的一个具体问题,应用perl获得圆满解决。   问题提出:   某数据库应用。需要检索一批数据(A表,数据量12万左右)。对该批数据   将进行逐一核对,期间将关联三个千万级的表(C,D,E表,分别有近亿条数据),   并将检索状态插入一张新表(F)。   传统解决方案:   编写存储过程。打开一个cursor,对A表遍历,逐一检索C,D,E表。   判断状态写入新表。编程过程十分简单,顺利完成。但执行时效率低下,耗时在   8小时左右,不能满足要求。   分析:   C,D,E表建有极其完备的索引。对单条数据检索极其快速。同时执行时主机CPU   ,   内存等资源十分空闲。查询单条记录耗时:8×3600/12万=0.24秒,也是在合理的   范围。   同时主机数据库在业务高峰期时可以支持500-600用户同时登陆(telnet方式)。   以上   说明性能瓶颈不在主机,数据库上。   结论:以上所有都合情合理,采用单进程方式无法进一步提高性能。为提高速度,   只能   采用多进程。   快速构造原型:   原型一:   #!/usr/bin/perl   my $maxchild=20;   foreach $item (1..500) {   while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };   if ($PID=fork()){   print "Starting Sub_Process:$PID\n";   } else {   print "I will handle data:$item\n";   sleep 1;   exit 1;   };   }   执行以上,正常,子进程控制在20。   以上述脚本为基础,添加数据库部分:   #!/usr/bin/perl   use DBI;   my $dbh=DBI->connect(...);   my $sth=$dbh->prepare(qq/select * from A/);   $sth->execute();   $sth->bind_column(undef,.....);   while ($sth->fetch()) {   while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };   if ($PID=fork()) {   print "Starting Sub_Process:$PID\n";   } else {   query(B,C,D); #执行数据库操作   insert(E);   exit 1;   }   }   $sth->finish();   $dbh->disconnect();   确保无语法错误,执行。处理一两条数据后脚本报错,中断。具体错误略。   分析:程序框架没错,但是在fork子进程时,$dbh同时被子进程继承,导致该数据   库连接反复使用。   由于数据库底层的某种原因,对该种操作是不允许的。结论:以上简单的多进程方   式不可行。数据库   连接部分必须同 fork 分离。   ######################################   考虑很久,设计如下原型:将打开A表的cursor单独提出,结果传给另外一个进程   。   12万数据较大,作为参数传递似乎不妥,考虑利用管道通信。   原型二:   ############################   分成 getdata,setdata两个程序。首先建立管道 : mknod data.pipe p   cat getdata:   #!/usr/bin/perl   use DBI;   open(DATAPIPE,">./data.pipe") or die "$!\n";   my $dbh=DBI->connect(...);   my $sth=$dbh->prepare(qq/select * from A/);   $sth->execute();   $sth->bind_column(undef,.....);   while ($sth->fetch()) {   print DATAPIPE data.....;   }   close(DATAPIPE);   ######################   cat setdata:   #!/usr/bin/perl   use DBI;   open(DATAPIPE,"<./data.pipe") or die "$!\n";   my $pipecount=0;   my $maxlines=2000;   my @lines=();   while($record=<DATAPIPE>) {   $pipecount++;   push @lines,$record;   unless ($pipecount % $maxlines) {   if ($PID=fork()){   print "Starting Sub_Process:$PID\n";   @lines=();   }else{   my $dbh=DBI->connect(...);   foreach (@lines) {   handle_data($_);   }   $dbh->disconnect();   exit 1;   }   }   }   my $dbh=DBI->connect(...);   foreach (@lines) {   handle_data($_);   }   $dbh->disconnect();   以上脚本运行正常,执行时启动:12万/$maxlines= 60个子进程。   处理完所有数据耗时在 10分钟左右,效率提高几十倍。   脚本执行方式:./getdata&./setdata
󰈣󰈤
日版宠物情人插曲《Winding Road》歌词

日版宠物情人2017的插曲,很带节奏感,日语的,女生唱的。 最后听见是在第8集的时候女主手割伤了,然后男主用嘴帮她吸了一下,插曲就出来了。 歌手:Def...

兄弟共妻,我成了他们夜里的美食

老钟家的两个儿子很特别,就是跟其他的人不太一样,魔一般的执着。兄弟俩都到了要结婚的年龄了,不管自家老爹怎么磨破嘴皮子,兄弟俩说不娶就不娶,老父母为兄弟两操碎了心...

网络安全治理:国家安全保障的主要方向是打击犯罪,而不是处置和惩罚受害者

来源:中国青年报 新的攻击方法不断涌现,黑客几乎永远占据网络攻击的上风,我们不可能通过技术手段杜绝网络攻击。国家安全保障的主要方向是打击犯罪,而不是处置和惩罚...

 
 
 
>>返回首页<<
 为你推荐
 
 
 
 转载本文
 UBB代码 HTML代码
复制到剪贴板...
 
 
 热帖排行
 
清纯得让人窒息(7)
清纯得让人窒息(6)
天泽海韵宣传片
赣州文庙
 
 
王朝网络微信公众号
微信扫码关注本站公众号wangchaonetcn
 
  免责声明:本文仅代表作者个人观点,与王朝网络无关。王朝网络登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
 
©2005- 王朝网络 版权所有