百度
360搜索
搜狗搜索

php多线程处理大数据,在PHP中怎么解决大量数据处理的问题详细介绍

本文目录一览: php如何处理多线程

PHP处理多线程注意事项1、php5.3或以上,且为线程安全版本。apache和php使用的编译器必须一致。2、通过phpinfo()查看Thread Safety为enabled则为线程安全版。3、通过phpinfo()查看Compiler项可以知道使用的编译器。本人的为:MSVC9 (Visual C++ 2008)。本人使用环境32位windows xp sp3,wampserver2.2d(php5.3.10-vc9 + apache2.2.21-vc9)。一、下载pthreads扩展根据本人环境,我下载的是pthreads-2.0.8-5.3-ts-vc9-x86。2.0.8代表pthreads的版本。5.3代表php的版本。ts表示php要线程安全版本的。vc9表示php要Visual C++ 2008编译器编译的。x86则表示32位的二、安装pthreads扩展1、复制php_pthreads.dll 到目录 bin\php\ext\ 下面。(本人路径D:\wamp\bin\php\php5.3.10\ext)2、复制pthreadVC2.dll 到目录 bin\php\ 下面。(本人路径D:\wamp\bin\php\php5.3.10)3、复制pthreadVC2.dll 到目录 C:\windows\system32 下面。4、打开php配置文件php.ini。在后面加上extension=php_pthreads.dll提示!Windows系统需要将 pthreadVC2.dll 所在路径加入到 PATH 环境变量中。我的电脑--->鼠标右键--->属性--->高级--->环境变量--->系统变量--->找到名称为Path的--->编辑--->在变量值最后面加上pthreadVC2.dll的完整路径。三、测试pthreads扩展class AsyncOperation extends \Thread { public function __construct($arg){ $this->arg = $arg; } public function run(){ if($this->arg){ printf("Hello %s\n", $this->arg); } }}$thread = new AsyncOperation("World");if($thread->start()) $thread->join();?>运行以上代码出现 Hello World,说明pthreads扩展安装成功! 二 、curl_multi_init()
<!--?phpecho date("Y-m-d H:m:s",time());echo " ";echo floor(microtime()*1000);echo "";$mtime = explode(" ", microtime());$mtime = $mtime[1].($mtime[0] * 1000);$mtime2 = explode(".", $mtime);$mtime = $mtime2[0];echo $mtime;echo "
";$urls = array('http://www.webkaka.com','http://www.webkaka.com','http://www.webkaka.com','http://www.webkaka.com','http://www.webkaka.com');print_r(async_get_url($urls)); // [0] => example1, [1] => example2echo "
";echo date("Y-m-d H:m:s",time());echo " ";echo floor(microtime()*1000);echo "
";$mtime_ = explode(" ", microtime());$mtime_ = $mtime_[1].($mtime_[0] * 1000);$mtime2_ = explode(".", $mtime_);$mtime_ = $mtime2_[0];echo $mtime_;echo "
";echo $mtime_ - $mtime;function async_get_url($url_array, $wait_usec = 0){if (!is_array($url_array))return false;$wait_usec = intval($wait_usec);$data = array();$handle = array();$running = 0;$mh = curl_multi_init(); // multi curl handler$i = 0;foreach($url_array as $url) {$ch = curl_init();curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't printcurl_setopt($ch, CURLOPT_TIMEOUT, 30);curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirectcurl_setopt($ch, CURLOPT_MAXREDIRS, 7);curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里$handle[$i++] = $ch;}/* 执行 */do {curl_multi_exec($mh, $running);if ($wait_usec > 0) /* 每个 connect 要间隔多久 */usleep($wait_usec); // 250000 = 0.25 sec} while ($running > 0);/* 读取资料 */foreach($handle as $i => $ch) {$content = curl_multi_getcontent($ch);$data[$i] = (curl_errno($ch) == 0) ? $content : false;}/* 移除 handle*/foreach($handle as $ch) {curl_multi_remove_handle($mh, $ch);}curl_multi_close($mh);return $data;}?>关于curl_multi_init()一般来说,想到要用curl_multi_init()时,目的是要同时请求多个url,而不是一个一个依次请求,否则就要curl_init()了。不过,在使用curl_multi的时候,你可能遇到cpu消耗过高、网页假死等现象,可以看看如何解决curl_multi导致网页假死的问题使用curl_multi的步骤总结如下:第一步:调用curl_multi_init第二步:循环调用curl_multi_add_handle这一步需要注意的是,curl_multi_add_handle的第二个参数是由curl_init而来的子handle。第三步:持续调用curl_multi_exec第四步:根据需要循环调用curl_multi_getcontent获取结果第五步:调用curl_multi_remove_handle,并为每个字handle调用curl_close第六步:调用curl_multi_close各函数作用解释:curl_multi_init()初始化一个curl批处理句柄资源。curl_multi_add_handle()向curl批处理会话中添加单独的curl句柄资源。curl_multi_add_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。curl_multi_exec()解析一个curl批处理句柄,curl_multi_exec()函数有两个参数,第一个参数表示一个批处理句柄资源,第二个参数是一个引用值的参数,表示剩余需要处理的单个的curl句柄资源数量。curl_multi_remove_handle()移除curl批处理句柄资源中的某个句柄资源,curl_multi_remove_handle()函数有两个参数,第一个参数表示一个curl批处理句柄资源,第二个参数表示一个单独的curl句柄资源。curl_multi_close()关闭一个批处理句柄资源。curl_multi_getcontent()在设置了CURLOPT_RETURNTRANSFER的情况下,返回获取的输出的文本流。curl_multi_info_read()获取当前解析的curl的相关传输信息。推荐教程:PHP视频教程

php多线程怎么实现

PHP默认并不支持多线程,要使用多线程需要安装pthread扩展,而要安装pthread扩展,必须使用--enable-maintainer-zts参数重新编译PHP,这个参数是指定编译PHP时使用线程安全方式。PHP 实现PHP 实现的线程安全主要是使用 TSRM 机制对 全局变量和静态变量进行了隔离,将全局变量和静态变量 给每个线程都复制了一份,各线程使用的都是主线程的一个备份,从而避免了变量冲突,也就不会出现线程安全问题。(推荐学习:PHP视频教程)PHP 对多线程的封装保证了线程安全,程序员不用考虑对全局变量加各种锁来避免读写冲突了,同时也减少了出错的机会,写出的代码更加安全。但由此导致的是,子线程一旦开始运行,主线程便无法再对子线程运行细节进行调整了,线程一定程度上失去了线程之间通过全局变量进行消息传递的能力。同时 PHP 开启线程安全选项后,使用 TSRM 机制分配和使用变量时也会有额外的损耗,所以在不需要多线程的 PHP 环境中,使用 PHP 的 ZTS (非线程安全) 版本就好。实例代码下面是一个线程类,用来请求某一接口。接下来根据它写两个多线程的应用实例:class Request extends Thread { public $url; public $response; public function __construct($url) { $this->url = $url; } public function run() { $this->response = file_get_contents($this->url); }}异步请求将同步的请求拆分为多个线程异步调用,以提升程序的运行效率。$chG = new Request("www.google.com");$chB = new Request("www.baidu.com");$chG ->start();$chB ->start();$chG->join();$chB->join();$gl = $chG->response;$bd = $chB->response;

php如何多线程

PHP开启多线程的方法php如何安装pthreads的拓展的,我采用的是windows安装,我本机的开发环境是phpstudy。有几点特别需要注意,在window中此类拓展一定是要在线程安全(ts)的php版本中运行。安装1、复制php_pthreads.dll 到目录 bin\php\ext\ 2、复制pthreadVC2.dll 到目录 C:\windows\system32 下面。3、打开php配置文件php.ini,在后面加上extension=php_pthreads.dll。提示!Windows系统需要将 pthreadVC2.dll 所在路径加入到 PATH 环境变量中。我的电脑--->鼠标右键--->属性--->高级--->环境变量--->系统变量--->找到名称为Path的--->编辑--->在变量值最后面加上pthreadVC2.dll的完整路径。测试测试脚本我复制的是http://zyan.cc/pthreads/这里的实例代码。这里我贴上我的代码,就是在子线程中我添加了日志记录,判断下他的返回值如何
url = $url; } public function run() { if(($url = $this->url)) { $this->data = model_http_curl_get($url); } } } function model_thread_result_get($urls_array) { foreach ($urls_array as $key => $value) { $thread_array[$key] = new test_thread_run($value["url"]); $thread_array[$key]->start(); } foreach ($thread_array as $thread_array_key => $thread_array_value) { while($thread_array[$thread_array_key]->isRunning()) { usleep(10); } if($thread_array[$thread_array_key]->join()) { $variable_data[$thread_array_key] = $thread_array[$thread_array_key]->data; } } return $variable_data; } function model_http_curl_get($url,$userAgent="") { $userAgent = $userAgent ? $userAgent : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)'; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl, CURLOPT_TIMEOUT, 5); curl_setopt($curl, CURLOPT_USERAGENT, $userAgent); $result = curl_exec($curl); if($result=== false){ $result = curl_error($curl); } curl_close($curl); $pid = Thread::getCurrentThreadId(); $file='D:\\pid\\'.$pid.'p.txt'; file_put_contents($file,$result); return $result; } for ($i=0; $i < 100; $i++) { $urls_array[] = array("name" => "baidu", "url" => "http://www.baidu.com/s?wd=".mt_rand(10000,20000)); } $t = microtime(true); $result = model_thread_result_get($urls_array); $e = microtime(true); echo "多线程:".($e-$t)."\n"; //print_r($result); $t = microtime(true); foreach ($urls_array as $key => $value) { $result_new[$key] = model_http_curl_get($value["url"]); } $e = microtime(true); echo "For循环:".($e-$t)."\n"; //print_r($result_new);?>结果在我的目录下:里面的文本内容是:也就是说子线程是正常调度了,但是没有拿到数据。此类情况可能是我的网速的原因,垃圾8M电信。推荐教程:PHP视频教程

阅读更多 >>>  程序源码网站

php多线程教程?

PHP+shell实现多线程的方法
先写个简单的php代码,这里为了让脚本执行时间更长,方便看效果,sleep一下,呵呵!先看下test.php的代码:ls
PHP代码:
for($i=0;$i<10;$i++){
echo$i;
sleep(10);
}
?>
在看下shell脚本的代码,非常简单
#!/bin/bash
foriin12345678910
do
/usr/bin/php-q/var/www/html/test.php&
done
注意到在请求php代码的那行有一个&符号吗,这个是关键,不加的话是不能进行多线程的,&表示讲服务推送到后台执行,因此,在shell的每次的循环中不必等php的代码全部执行完在请求下一个文件,而是同时进行的,这样就实现了多线程,下面运行下shell看下效果,这里你将看到10个test.php进程再跑,再利用linux的定时器,定时请求这个shell,在处理一些需要多线程的任务,例如,批量下载时,非常好用!
php中用WEB服务器实现多线程
假设我们现在运行的是a.php这个文件.但是我在程序中又请求WEB服务器运行另一个b.php,那么这两个文件将是同时执行的.(PS:一个链接请求发送之后,WEB服务器就会执行它,而不管客户端是否已经退出)
有些时候,我们想运行的不是另一个文件,而是本文件中的一部分代码.该怎么办呢?
其实可是通过参数来控制a.php来运行哪一段程序.
下面看一个例子:
//a.php,b.php
PHP代码:--------------------------------------------------------------------------------
functionrunThread()
{
$fp=fsockopen('localhost',80,$errno,$errmsg);
fputs($fp,\"GET/b.php?act=b\");//这里的第二个参数是p>
fclose($fp);
}
functiona()
{
$fp=fopen('result_a.log','w');
fputs($fp,'Setin'.Date('h:i:s',time()).(double)microtime().\"\");
fclose($fp);
}
functionb()
{
$fp=fopen('result_b.log','w');
fputs($fp,'Setin'.Date('h:i:s',time()).(double)microtime().\"\");
fclose($fp);
}
if(!isset($_GET['act']))$_GET['act']='a';
if($_GET['act']=='a')
{
runThread();
a();
}
elseif($_GET['act']=='b')b();
?>
--------------------------------------------------------------------------------
打开result_a.log和result_b.log比较一下两个文件的中访问的时间.大家会发现,这两个的确是在不同线程中运行的.有些时间完全一样.
上面只是一个简单的例子,大家可以改进成其它形式.
既然PHP中也能多线程了,那么问题也来了,那就是同步的问题.我们知道PHP本身是不支持多线程的.所以更不会有什么像Java中synchronize的方法了.那我们该如何做呢.
1.尽量不访问同一个资源.以避免冲突.但是可以同时像数据库操作.因为数据库是支持并发操作的.所以在多线程的PHP中不要向同一个文件中写入数据.如果必须要写的话,用别的方法进行同步..如调用flock对文件进行加锁等.或建立临时文件并在另外的线程中等待这个文件的消失while(file_exits('xxx'));这样就等于这个临时文件存在时,表示其实线程正在操作
如果没有了这个文件,说明其它线程已经释放了这个.
2.尽量不要从runThread在执行fputs后取这个socket中读取数据.因为要实现多线程,需要的用非阻塞模式.即在像fgets这样的函数时立即返回..所以读写数据就会出问题.如果使用阻塞模式的话,程序就不算是多线程了.他要等上面的返回才执行下面的程序.所以如果需要交换数据最后利用外面文件或数据中完成.实在想要的话就用socket_set_nonblock($fp)来实现.
说了这么多,倒底这个有没有实际的意义呢?在什么时候需要这种用这种方法呢?
答案是肯定的.大家知道.在一个不断读取网络资源的应用中,网络的速度是瓶颈.如果采多这种形式就可以同时以多个线程对不同的页面进行读取.
本人做的一个能从8848、soaso这些商城网站搜索信息的程序。还有一个从阿里巴巴网站上读取商业信息和公司目录的程序也用到了此技术。因为这两个程序都是要不断的链接它们的服务器读取信息并保存到数据库。利用此技术正好消除了在等待响应时的瓶颈。
php模拟实现多线程的三种方法
PHP语言本身是不支持多线程的.总结了一下网上关于PHP模拟多线程的方法,总的来说,都是利用了PHP的好伙伴们本身所具有的多线程能力.PHP的好伙伴指的就是LINUX和APACHE啦,LAMP嘛.
另外,既然是模拟的,就不是真正的多线程.其实只是多进程.进程和线程是两个不同的概念.好了,以下方法都是从网上找来的.
1.利用LINUX操作系统
for($i=0;$i<10;$i++){
echo$i;
sleep(5);
}
?>
上面存成test.php,然后写一段SHELL代码
#!/bin/bash
foriin12345678910
do
php-qtest.php&
done
2.利用fork子进程(其实同样是利用LINUX操作系统)
declare(ticks=1);
$bWaitFlag=FALSE;///是否等待进程结束
$intNum=10;///进程总数
$pids=array();///进程PID数组
echo(\"Startn\");
for($i=0;$i<$intNum;$i++){
$pids[$i]=pcntl_fork();///产生子进程,而且从当前行之下开试运行代码,而且不继承父进程的数据信息
if(!$pids[$i]){
//子进程进程代码段_Start
$str=\"\";
sleep(5+$i);
for($j=0;$j<$i;$j++){$str.=\"*\";}
echo\"$i->\".time().\"$strn\";
exit();
//子进程进程代码段_End
}
}
if($bWaitFlag)
{
for($i=0;$i<$intNum;$i++){
pcntl_waitpid($pids[$i],$status,WUNTRACED);
echo\"wait$i->\".time().\"n\";
}
}
echo(\"Endn\");
?>
3.利用WEBSERVER,PHP不支持多线程,APACHE可是支持的,呵呵.
假设我们现在运行的是a.php这个文档.但是我在程式中又请求WEB服务器运行另一个b.php
那么这两个文档将是同时执行的.(代码同上)
当然啦,也可以把需要多线程处理的部分交给JAVA去处理,然后在PHP里调用,哈哈.
system('javamultiThread.java');
?>
扩展资料:PHP即“超文本预处理器”,是一种通用开源脚本语言。PHP是在服务器端执行的脚本语言,与C语言类似,是常用的网站编程语言。PHP独特的语法混合了C、Java、Perl以及PHP自创的语法。利于学习,使用广泛,主要适用于Web开发领域。

如何用多线程读取大文件并且做数据处理,100

先说几个要点:
a、文件在操作系统级,有描述符标记,关联到打开的文件表项,文件表项纪录了一个很重要的信息,当前文件的指针;
b、cpu要干的工作比读文件快不,读一次文件的速度要慢于cpu处理一次的速度,没必要多多线程,多线程提升不了多少性能,还增加编程的难度,单线程处理即可。
c、待处理文件,必须知道一定的边界值,如分页边界或单条纪录边界。
有了上面的前提,每个线程维护单独的缓冲区,缓存区大小就是c点提到的边界纪录大小。线程启动,把缓冲区读满,处理数据。此处有个要点,必须做文件锁,把要读的边界锁住。否则读出来的数据会产生混乱。(如果强行打开多个不同的文件不划算,内存占用可能会过多)。产生混乱的原因简单,读文件实际上是进行系统调用,系统调用有自己的缓冲区,这缓冲区未必跟你设置的缓冲区一样大。多次读多次移动指针,不加文件锁处理的数据必定会乱。
文件锁两种方式加锁,对整个文件加锁,对字节区间加锁。都不是什么难事。
实现方式1:对整个文件加锁,因为我们要保证的是读到的数据别混乱。
实现方式2:如果内存足够大,维护n个独立的文件描述符,这些文件描述符必须有独立的文件指针,操作系统上有对应实现。每个线程操作未读纪录,这么做还需要维护共享的已读纪录指针。防止重复处理。这么做处理完成如果需要按顺序合并文件是难点。处理过的数据有新的纪录边界。要视实际情况而定能不能这么做。写程序要优先保证的是正确性,之后才是提升效率。
我说的理论,依据是操作系统提供的api处理。别的语言要依赖操作系统运行。原理差不多,目标语言有没有操作系统提供的api强悍。依据使用的目标语言而定。绝大多数能叫编程语言的语言都会提供操作系统api对应的方法。(脚本语言例外,如shell,perl,javascript,vbscript,就可能没这么强的控制能力。),java,objective-c,swift,php,python一般是不会有问题的。

php如何处理高并发

高并发下的数据安全我们知道在多线程写入同一个文件的时候,会存现“线程安全”的问题(多个线程同时运行同一段代码,如果每次运行结果和单线程运行的结果是一样的,结果和预期相同,就是线程安全的)。如果是MySQL数据库,可以使用它自带的锁机制很好的解决问题,但是,在大规模并发的场景中,是不推荐使用MySQL的。秒杀和抢购的场景中,还有另外一个问题,就是“超发”,如果在这方面控制不慎,会产生发送过多的情况。我们也曾经听说过,某些电商搞抢购活动,买家成功拍下后,商家却不承认订单有效,拒绝发货。这里的问题,也许并不一定是商家奸诈,而是系统技术层面存在超发风险导致的。1、超发的原因假设某个抢购场景中,我们一共只有100个商品,在最后一刻,我们已经消耗了99个商品,仅剩最后一个。这个时候,系统发来多个并发请求,这批请求读取到的商品余量都是99个,然后都通过了这一个余量判断,最终导致超发。(同文章前面说的场景)在上面的这个图中,就导致了并发用户B也“抢购成功”,多让一个人获得了商品。这种场景,在高并发的情况下非常容易出现。优化方案1:将库存字段number字段设为unsigned,当库存为0时,因为字段不能为负数,将会返回false
fetch_assoc(); if($row['number']>0){//高并发下会导致超卖 if($row['number']<$number){ return insertLog('库存不够',3,$username); } $order_sn=build_order_no(); //库存减少 $sql="update ih_store set number=number-{$number} where sku_id='$sku_id' and number>0"; $store_rs=mysqli_query($conn,$sql); if($store_rs){ //生成订单 insertOrder($order_sn,$user_id,$goods_id,$sku_id,$price,$username,$number); insertLog('库存减少成功',1,$username); }else{ insertLog('库存减少失败',2,$username); } }else{ insertLog('库存不够',3,$username); }?>2、文件锁的思路对于日IP不高或者说并发数不是很大的应用,一般不用考虑这些!用一般的文件操作方法完全没有问题。但如果并发高,在我们对文件进行读写操作时,很有可能多个进程对进一文件进行操作,如果这时不对文件的访问进行相应的独占,就容易造成数据丢失。优化方案4:使用非阻塞的文件排他锁
fetch_assoc();if($row['number']>0){//库存是否大于0 //模拟下单操作 $order_sn=build_order_no(); $sql="insert into ih_order(order_sn,user_id,goods_id,sku_id,price) values('$order_sn','$user_id','$goods_id','$sku_id','$price')"; $order_rs = mysqli_query($conn,$sql); //库存减少 $sql="update ih_store set number=number-{$number} where sku_id='$sku_id'"; $store_rs = mysqli_query($conn,$sql); if($store_rs){ echo '库存减少成功'; insertLog('库存减少成功'); flock($fp,LOCK_UN);//释放锁 }else{ echo '库存减少失败'; insertLog('库存减少失败'); }}else{ echo '库存不够'; insertLog('库存不够');}fclose($fp); ?>推荐教程:PHP视频教程

PHP使用Pthread实现的多线程操作实例

本文实例讲述了PHP使用Pthread实现的多线程操作。分享给大家供大家参考,具体如下:
<!--?phpclass
vote
extends
Thread
{
public
$res
=
'';
public
$url
=
array();
public
$name
=
'';
public
$runing
=
false;
public
$lc
=
false;
public
function
__construct($name)
{
$this->res
=
'暂无,第一次运行.';
$this->param
=
0;
$this->lurl
=
0;
$this->name
=
$name;
$this->runing
=
true;
$this->lc
=
false;
}
public
function
run()
{
while
($this->runing)
{
if
($this->param
!=
0)
{
$nt
=
rand(1,
10);
echo
"线程[{$this->name}]收到任务参数::{$this->param},需要{$nt}秒处理数据.\n";
$this->res
=
rand(100,
999);
sleep($nt);
$this->lurl
=
$this->param;
$this->param
=
'';
}
else
{
echo
"线程[{$this->name}]等待任务..\n";
}
sleep(1);
}
}
}
//这里创建线程池.
$pool[]
=
new
vote('a');
$pool[]
=
new
vote('b');
$pool[]
=
new
vote('c');
//启动所有线程,使其处于工作状态
foreach
($pool
as
$w)
{
$w->start();
}
//派发任务给线程
for
($i
=
1;
$i
<
10;
$i++)
{
$worker_content
=
rand(10,
99);
while
(true)
{
foreach
($pool
as
$worker)
{
//参数为空则说明线程空闲
if
($worker->param=='')
{
$worker->param
=
$worker_content;
echo
"[{$worker->name}]线程空闲,放入参数{$worker_content},上次参数[{$worker->lurl}]结果[{$worker->res}].\n";
break
2;
}
}
sleep(1);
}
}
echo
"所有线程派发完毕,等待执行完成.\n";
//等待所有线程运行结束
while
(count($pool))
{
//遍历检查线程组运行结束
foreach
($pool
as
$key
=>
$threads)
{
if
($worker->param=='')
{
echo
"[{$threads->name}]线程空闲,上次参数[{$threads->lurl}]结果[{$threads->res}].\n";
echo
"[{$threads->name}]线程运行完成,退出.\n";
//设置结束标志
$threads->runing
=
false;
unset($pool[$key]);
}
}
echo
"等待中...\n";
sleep(1);
}
echo
"所有线程执行完毕.\n";
希望本文所述对大家php程序设计有所帮助。

阅读更多 >>>  免费源码资源网站

PHP中的(伪)多线程与多进程?

利用WEB服务器本身的多线程来处理,从WEB服务器多次调用我们需要实现多线程的程序。
PHP中也能多线程了,那么问题也来了,那就是同步的问题。南邵电脑培训知道PHP本身是不支持多线程的,所以更不会有什么像Java中synchronize的方法了。那我们该如何做呢?
1.尽量不访问同一个资源。以避免冲突。但是可以同时像数据库操作。因为数据库是支持并发操作的。所以在多线程的PHP中不要向同一个文件中写入数据。如果必须要写的话,用别的方法进行同步。如调用flock对文件进行加锁等。或建立临时文件,并在另外的线程中等待这个文件的消失while(file_exits('xxx'));这样就等于这个临时文件存在时,表示其实线程正在操作。如果没有了这个文件,说明其它线程已经释放了这个。
2.尽量不要从runThread在执行fputs后取这个socket中读取数据。因为要实现多线程,需要的用非阻塞模式。即在像fgets这样的函数时立即返回。。所以读写数据就会出问题。如果使用阻塞模式的话,程序就不算是多线程了。他要等上面的返回才执行下面的程序。所以如果需要交换数据最后利用外面文件或数据中完成。实在想要的话就用socket_set_nonblock($fp)来实现。
说了这么多,倒底这个有没有实际的意义呢?在什么时候需要这种用这种方法呢?
答案是肯定的。大家知道。在一个不断读取网络资源的应用中,网络的速度是瓶颈。如果采多这种形式就可以同时以多个线程对不同的页面进行读取。

在PHP中怎么解决大量数据处理的问题

mysql_query函数查询的方式是查询出全部结果后缓存到内存中,这样就会出现超内存的现象,使用另外一个函数mysql_unbuffered_query可以解决这个问题,mysql_unbuffered_query不会缓存结果集,而是查询出来数据后立马对结果集进行操作,也就是便查询边返回,这样就不会出现超出内存的现象,但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek()。并且向 MySQL 发送一条新的 SQL 查询之前,必须提取掉所有未缓存的 SQL 查询所产生的结果行。例如:
使用缓存结果集的代码:
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo->prepare('select * from test');
$sth->execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i > 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e->getMessage();
}
}
执行时将会报超出内存的错误:
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.0050 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
将上面代码中的$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集,这时运行该函数的结果如下:
最初占用内存大小:144808
Array
(
[id] => 1
[a] => v
[b] => w
[c] => i
)
占用内存大小:145544
Array
(
[id] => 2
[a] => b
[b] => l
[c] => q
)
占用内存大小:145544
Array
(
[id] => 3
[a] => m
[b] => p
[c] => h
)
占用内存大小:145536
Array
(
[id] => 4
[a] => j
[b] => i
[c] => b
)
占用内存大小:145536
可以看到,这时返回一条数据内存占用非常的小,也就700多字节,这样就不会出现超出内存的错误了。

网站数据信息

"php多线程处理大数据,在PHP中怎么解决大量数据处理的问题"浏览人数已经达到23次,如你需要查询该站的相关权重信息,可以点击进入"Chinaz数据" 查询。更多网站价值评估因素如:php多线程处理大数据,在PHP中怎么解决大量数据处理的问题的访问速度、搜索引擎收录以及索引量、用户体验等。 要评估一个站的价值,最主要还是需要根据您自身的需求,如网站IP、PV、跳出率等!