【第9周笔记】计算生态纵览

2022-05-03
2022-05-03
7 min read
Hits

  课程笔记

从数据处理到人工智能

  数据表示 → 数据清洗 → 数据统计 → 数据可视化 → 数据挖掘 → 人工智能

  1. 数据表示:采用合适方式用程序表达数据
  2. 数据清理:数据归一化、数据转换、异常值处理
  3. 数据统计:数据的概要理解,数量、分布、中位数等
  4. 数据可视化:直观展示数据内涵的方式
  5. 数据挖掘:从数据分析获得知识,产生数据外的价值
  6. 人工智能:数据/语言/图像/视觉等方面深度分析与决策

Python 库之数据分析

  1. Numpy:表达 N 维数组的最基础库
    • Python 接口使用,C 语言实现,计算速度优异
    • Python 数据分析及科学计算的基础库,支撑 Pandas 等
    • 提供直接的矩阵运算、广播函数、线性代数等功能
  2. Pandas:Python 数据分析高层次应用库
    • Series = 索引 + 一维数据
    • DataFrame = 行列索引 + 二维数据
  3. SciPy:数学、科学和工程计算功能库
    • 提供了一批数学算法及工程数据运算功能
    • 类似 Matlab,可用于如傅里叶变换、信号处理等应用
    • Python 最主要的科学计算功能库,基于 Numpy 开发
    • 稀疏图压缩类、稀疏运算类、优化算法类、傅里叶变换类、信号处理类、线性代数类、图像处理类

Python 库之数据可视化

  1. Matplotlib:高质量的二维数据可视化功能库
    • 提供了超过 100 种数据可视化展示效果
    • 通过 matplotlib.pyplot 子库调用各可视化效果
    • Python 最主要的数据可视化功能库,基于 Numpy 开发
  2. Seaborn:统计类数据可视化功能库
    • 提供了一批高层次的统计类数据可视化展示效果
    • 主要展示数据间分布、分类和线性关系等内容
    • 基于 Matplotlib 开发,支持 Numpy和Pandas
  3. Mayavi:三维科学数据可视化功能库 -提供了一批简单易用的 3D 科学计算数据可视化展示效果
    • 目前版本是 Mayavi2,三维可视化最主要的第三方库
    • 支持 Numpy、TVTK、Traits、Envisage 等第三方库

Python 库之文本处理

  1. PyPDF2:用来处理 pdf 文件的工具集
    • 提供了一批处理 PDF 文件的计算功能
    • 支持获取信息、分隔/整合文件、加密解密等
    • 完全 Python 语言实现,不需要额外依赖,功能稳定
    from PyPDF2 import PdfFileReader, PdfFileMerger
    merger = PdfFileMerger()
    input1 = open("document1.pdf", "rb")
    input2 = open("document2.pdf", "rb")
    merger.append(fileobj = input1, pages = (0,3))
    merger.merge(position = 2, fileobj = input2, pages = (0,1))
    output = open("document-output.pdf", "wb")
    merger.write(output)
    
  2. NLTK:自然语言文本处理第三方库
    • 提供了一批简单易用的自然语言文本处理功能
    • 支持语言文本分类、标记、语法句法、语义分析等
    • 最优秀的 Python 自然语言处理库
    from nltk.corpus import treebank
    t = treebank.parsed_sents('wsj_0001.mrg')[0]
    t.draw()
    
  3. Python-docx:创建或更新 Microsoft Word 文件的第三方库
    • 提供创建或更新 .doc .docx 等文件的计算功能
    • 增加并配置段落、图片、表格、文字等,功能全面
    from docx import Document
    document = Document()
    document.add_heading('Document Title', 0)
    p = document.add_paragraph('A plain paragraph having some ')
    document.add_page_break()
    document.save('demo.docx')
    

Python 库之机器学习

  1. Scikit-learn:机器学习方法工具集
    • 提供一批统一化的机器学习方法功能接口
    • 提供聚类、分类、回归、强化学习等计算功能
    • 机器学习最基本且最优秀的 Python 第三方库
  2. TensorFlow:AlphaGo 背后的机器学习计算框架
    • 谷歌公司推动的开源机器学习框架
    • 将数据流图作为基础,图节点代表运算,边代表张量
    • 应用机器学习方法的一种方式,支撑谷歌人工智能应用
    import tensorflow as tf
    init = tf.global_variables_initializer()
    sess = tf.Session()
    sess.run(init)
    res = sess.run(result)
    print('result:', res)
    
  3. MXNet:基于神经网络的深度学习计算框架
    • 提供可扩展的神经网络及深度学习计算功能
    • 可用于自动驾驶、机器翻译、语音识别等众多领域
    • Python 最重要的深度学习计算框架

Python 库之网络爬虫

  1. Requests:最友好的网络爬虫功能库
    • 提供了简单易用的类 HTTP 协议网络爬虫功能
    • 支持连接池、SSL、Cookies、HTTP(S) 代理等
    • Python 最主要的页面级网络爬虫功能库
    import requests
    r = requests.get('https://api.github.com/user',auth=('user', 'pass'))
    r.status_code
    r.headers['content-type']
    r.encoding
    r.text
    
  2. Scrapy:优秀的网络爬虫框架
    • 提供了构建网络爬虫系统的框架功能,功能半成品
    • 支持批量和定时网页爬取、提供数据处理流程等
    • Python 最主要且最专业的网络爬虫框架
  3. pyspider:强大的 Web 页面爬取系统
    • 提供了完整的网页爬取系统构建功能
    • 支持数据库后端、消息队列、优先级、分布式架构等
    • Python 重要的网络爬虫类第三方库

Python 库之 Web 信息提取

  1. Beautiful Soup: HTML 和 XML 的解析库
    • 提供了解析 HTML 和 XML 等 Web 信息的功能
    • 又名 beautifulsoup4 或 bs4,可以加载多种解析引擎
    • 常与网络爬虫库搭配使用,如 Scrapy、requests 等
  2. Re:正则表达式解析和处理功能库
    • 提供了定义和解析正则表达式的一批通用功能
    • 可用于各类场景,包括定点的 Web 信息提取
    • Python 最主要的标准库之一,无需安装
  3. Python-Goose:提取文章类型 Web 页面的功能库
    • 提供了对 Web 页面中文章信息/视频等元数据的提取功能
    • 针对特定类型 Web 页面,应用覆盖面较广
    • Python 最主要的 Web 信息提取库
    from goose import Goose
    url = 'http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html'
    g = Goose({'use_meta_language': False, 'target_language':'es'})
    article = g.extract(url=url)
    article.cleaned_text[:150]
    

Python 库之 Web 网站开发

  1. Django:最流行的 Web 应用框架
    • 提供了构建 Web 系统的基本应用框架
    • MTV 模式:模型(model)、模板(Template)、视图(Views)
    • Python 最重要的 Web 应用框架,略微复杂的应用框架
  2. Pyramid:规模适中的 Web 应用框架
    • 提供了简单方便构建 Web 系统的应用框架
    • 不大不小,规模适中,适合快速构建并适度扩展类应用
    • Python 产品级 Web 应用框架,起步简单可扩展性好
    from wsgiref.simple_server import make_server
    from pyramid.config import Configurator
    from pyramid.response import Response
    def hello_world(request):
        return Response('Hello World!')
    if __name__ == '__main__':
        with Configurator() as config:
            config.add_route('hello', '/')
            config.add_view(hello_world, route_name='hello')
            app = config.make_wsgi_app()
        server = make_server('0.0.0.0', 6543, app)
        server.serve_forever()
    
  3. Flask:Web 应用开发微框架
    • 提供了最简单构建 Web 系统的应用框架
    • 特点是:简单、规模小、快速
    • Django > Pyramid > Flask
    from flask import Flask
    app = Flask(__name__)
    @app.route('/')
    def hello_world():
        return 'Hello, World!'
    

Python 库之网络应用开发

  1. WeRoBot:微信公众号开发框架
    • 提供了解析微信服务器消息及反馈消息的功能
    • 建立微信机器人的重要技术手段
    import werobot
    robot = werobot.WeRoBot(token='tokenhere')
    @robot.handler
    def hello(message):
        return 'Hello World!'     # 对微信每个消息反馈一个 Hello World
    
  2. aip:百度 AI 开放平台接口
    • 提供了访问百度 AI 服务的 Python 功能接口
    • 语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
    • Python 百度 AI 应用的最主要方式
  3. MyQR:二维码生成第三方库
    • 提供了生成二维码的系列功能
    • 基本二维码、艺术二维码和动态二维码

Python 库之图形用户界面

  1. PyQt5:Qt 开发框架的 Python 接口
    • 提供了创建 Qt5 程序的 Python API 接口
    • Qt 是非常成熟的跨平台桌面应用开发系统,完备 GUI
    • 推荐的 Python GUI 开发第三方库
  2. wxPython:跨平台 GUI 开发框架
    • 提供了专用于 Python 的跨平台 GUI 开发框架
    • 理解数据类型与索引的关系,操作索引即操作数据
    • Python 最主要的数据分析功能库,基于 Numpy 开发
    import wx
    app = wx.App(False)
    frame = wx.Frame(None, wx.ID_ANY, "Hello World")
    frame.Show(True)
    app.MainLoop()
    
  3. PyGObject:使用 GTK+ 开发 GUI 的功能库
    • 提供了整合 GTK+、WebKitGTK+ 等库的功能
    • GTK+:跨平台的一种用户图形界面 GUI 框架
    • 实例:Anaconda 采用该库构建 GUI
    import gi
    gi.require_version("Gtk", "3.0")
    from gi.repository import Gtk
    window = Gtk.Window(title="Hello World")
    window.show()
    window.connect("destroy", Gtk.main_quit)
    Gtk.main()
    

Python 库之游戏开发

  1. PyGame:简单的游戏开发功能库
    • 提供了基于 SDL 的简单游戏开发功能及实现引擎
    • 理解游戏对外部输入的响应机制及角色构建和交互机制
    • Python 游戏入门最主要的第三方库
  2. Panda3D:开源、跨平台的 3D 渲染和游戏开发库
    • 一个 3D 游戏引擎,提供 Python 和 C++ 两种接口
    • 支持很多先进特性:法线贴图、光泽贴图、卡通渲染等
    • 由迪士尼和卡尼基梅隆大学共同开发
  3. cocos2d:构建 2D 游戏和图形界面交互式应用的框架
    • 提供了基于 OpenGL 的游戏开发图形渲染功能
    • 支持 GPU 加速,采用树形结构分层管理游戏对象类型
    • 适用于 2D 专业级游戏开发

Python 库之虚拟现实

  1. VR Zero:在树莓派上开发 VR 应用的 Python 库
    • 提供大量与 VR 开发相关的功能
    • 针对树莓派的 VR 开发库,支持设备小型化,配置简单化
    • 非常适合初学者实践 VR 开发及应用
  2. pyovr:Oculus Rift 的 Python 开发接口
    • 针对 Oculus VR 设备的 Python 开发库
    • 基于成熟的 VR 设备,提供全套文档,工业级应用设备
    • Python+ 虚拟现实领域探索的一种思路
  3. Vizard:基于 Python 的通用 VR 开发引擎
    • 专业的企业级虚拟现实开发引擎
    • 提供详细的官方文档
    • 支持多种主流的VR硬件设备,具有一定通用性

Python 库之图形艺术

  1. Quads:迭代的艺术
    • 对图片进行四分迭代,形成像素风
    • 可以生成动图或静图图像
    • 简单易用,具有很高展示度
  2. ascii_art:ASCII 艺术库
    • 将普通图片转为 ASCII 艺术风格
    • 输出可以是纯文本或彩色文本
    • 可采用图片格式输出
  3. turtle:海龟绘图体系
Avatar

Hui.Ke

❤ Cyber Security | Safety is a priority.