Python2.7实现多进程下开发多线程示例

 更新时间:2019-06-03 00:03:51   作者:佚名   我要评论(0)

简单的基于Python2.7版本的多进程下开发多线程的示例,供大家参考,具体内容如下
可以使得程序执行效率至少提升10倍


#!/usr/bin/env python
# -*- coding:

简单的基于Python2.7版本的多进程下开发多线程的示例,供大家参考,具体内容如下

可以使得程序执行效率至少提升10倍

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
 @Time : 2018/10/24
 @Author : LiuXueWen
 @Site : 
 @File : transfer.py
 @Software: PyCharm
 @Description: 
"""

import os
import traceback
import threading
from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool


# 兼容python2.7上多线程的bug,不加上下面的反代理程序不能正常执行
def proxy(cls_instance, i):
 return cls_instance.multiprocess_thread(i)
def proxy2(cls_instance, i):
 return cls_instance.file_operation(i)

class file2transfer():
 # 多进程执行程序
 def multiprocessingTransferFiles(self):
  try:
   # 创建进程池
   p = Pool()
   //参数末尾必须加上逗号
   p.apply_async(proxy, args=(self, self.root_path,))
   p.close()
   p.join()
  except Exception as e:
   print(e)

 # 每个进程下的多线程执行,线程数等于当前机器的核数
 def multiprocess_thread(self, root_path):
  try:
   # 创建线程锁
   lock = threading.RLock()
   lock.acquire()
   # 获取每个文件
   for pfile in os.listdir(root_path):
    # 获取文件的完整路径
    full_file_path = os.path.join(root_path, pfile)
    # 多线程读写文件
    p = ThreadPool()
    # 执行线程
    p.apply_async(proxy2, args=(self, full_file_path,))
    p.close()
    p.join()
  except Exception as e:
   print(e)
  finally:
   # 释放线程锁
   lock.release()

 # 对每个文件夹下的每个文件进行操作
 def file_operation(self, full_file_path):
  try:
   // TODO 真正需要单独执行的操作
   pass
  except Exception as e:
   print(e)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

您可能感兴趣的文章:

  • Python多进程并发(multiprocessing)用法实例详解
  • 浅析Python中的多进程与多线程的使用
  • Python多进程通信Queue、Pipe、Value、Array实例
  • 探究Python多进程编程下线程之间变量的共享问题
  • Python中使用多进程来实现并行处理的方法小结
  • Python多进程同步Lock、Semaphore、Event实例
  • Python控制多进程与多线程并发数总结
  • Python多线程、异步+多进程爬虫实现代码
  • 简单谈谈python中的Queue与多进程
  • Python多进程分块读取超大文件的方法

相关文章

  • Python2.7实现多进程下开发多线程示例

    Python2.7实现多进程下开发多线程示例

    简单的基于Python2.7版本的多进程下开发多线程的示例,供大家参考,具体内容如下 可以使得程序执行效率至少提升10倍 #!/usr/bin/env python # -*- coding:
    2019-06-03
  • 浅谈Python大神都是这样处理XML文件的

    浅谈Python大神都是这样处理XML文件的

    最近有同学询问如何利用Python处理xml文件,特此整理一个比较简洁的操作手册,供大家参阅。 首先准备一个xml文件,xml中的内容如下所示。存储为:student.xml
    2019-06-03
  • Python 3.8中实现functools.cached_property功能

    Python 3.8中实现functools.cached_property功能

    前言 缓存属性( cached_property )是一个非常常用的功能,很多知名Python项目都自己实现过它。我举几个例子: bottle.cached_property Bottle是我最早接触的W
    2019-06-03
  • 详解Python odoo中嵌入html简单的分页功能

    详解Python odoo中嵌入html简单的分页功能

    在odoo中,通过iframe嵌入 html,页面数据则通过controllers获取,使用jinja2模板传值渲染 html页面分页内容,这里写了判断逻辑 <!-- 分页 --> <ul id="ty_
    2019-06-03
  • 基于Python打造账号共享浏览器功能

    基于Python打造账号共享浏览器功能

    本篇文章介绍的内容会涉及到以下知识: PyQt5的使用; Selenium的使用; 代理服务器的架设和使用; 一、账号限制之痛 在如今的互联网中,免费的信息和资
    2019-06-03
  • python TF-IDF算法实现文本关键词提取

    python TF-IDF算法实现文本关键词提取

    TF(Term Frequency)词频,在文章中出现次数最多的词,然而文章中出现次数较多的词并不一定就是关键词,比如常见的对文章本身并没有多大意义的停用词。所以我
    2019-06-03
  • 使用Python实现跳帧截取视频帧

    使用Python实现跳帧截取视频帧

    本文实例为大家分享了Python跳帧截取视频帧的具体代码,供大家参考,具体内容如下 可以自由设定时长来截取视频,经实测效果理想。期间遇到的一个麻烦是我的视
    2019-06-03
  • python实现视频分帧效果

    python实现视频分帧效果

    本文实例为大家分享了python实现视频分帧的具体代码,供大家参考,具体内容如下 import cv2 vidcap = cv2.VideoCapture('005.avi') success,image = vidc
    2019-06-03
  • python自动发邮件总结及实例说明【推荐】

    python自动发邮件总结及实例说明【推荐】

    python发邮件需要掌握两个模块的用法,smtplib和email,这俩模块是python自带的,只需import即可使用。smtplib模块主要负责发送邮件,email模块主要负责构造邮
    2019-06-03
  • python多线程下信号处理程序示例

    python多线程下信号处理程序示例

    本文实例为大家分享了python多线程下信号处理程序示例的具体代码,供大家参考,具体内容如下 下面是一个网上转载的实现思路,经过验证,发现是可行的,就记录
    2019-06-03

最新评论