KLucenの启示录

本篇目录#

• 01 PEP 8风格指南
• 02 常见反爬策略及应对方案
• 03 分享几张学习路线图
• 04 接口文档参考示例
• 05 那些年我们踩过的那些坑
• 06 如何快速驾驭 pandas 库
• 07 使用Hexo搭建自己的博客
• 08 我为什么选择了Python
• 09 一个小例子助你彻底理解协程
• 10 用函数还是用复杂的表达式
• 11 知乎问题回答
• 12 用Canvas学习编程
• 13 Python编程惯例
• 14 Python参考书籍
• 15 Python容器类型使用小技巧
• 16 Zen of Python（Python之禅）

目录里每一条都可以点开直达对应章节；右侧（移动端为悬浮按钮）的「文章目录」也会列出同一批标题。

01 PEP 8风格指南#

PEP是Python Enhancement Proposal的缩写，通常翻译为“Python增强提案”。每个PEP都是一份为Python社区提供的指导Python往更好的方向发展的技术文档，其中的第8号增强提案（PEP 8）是针对Python语言编订的代码风格指南。尽管我们可以在保证语法没有问题的前提下随意书写Python代码，但是在实际开发中，采用一致的风格书写出可读性强的代码是每个专业的程序员应该做到的事情，也是每个公司的编程规范中会提出的要求，这些在多人协作开发一个项目（团队开发）的时候显得尤为重要。我们可以从Python官方网站的PEP 8链接中找到该文档，下面我们对该文档的关键部分做一个简单的总结。

02 常见反爬策略及应对方案#

1. 构造合理的HTTP请求头。

   • Accept

   • User-Agent

   • Referer

   • Accept-Encoding

   • Accept-Language

2. 检查网站生成的Cookie。

   • 有用的插件：EditThisCookie
   • 如何处理脚本动态生成的Cookie

3. 抓取动态内容。

   • Selenium + WebDriver
   • Chrome / Firefox - Driver

4. 限制爬取的速度。

5. 处理表单中的隐藏域。

   • 在读取到隐藏域之前不要提交表单
   • 用RoboBrowser这样的工具辅助提交表单

6. 处理表单中的验证码。

   • OCR（Tesseract） - 商业项目一般不考虑

   • 专业识别平台 - 超级鹰 / 云打码

     1
     from hashlib import md5
     2
     
     3
     class ChaoClient(object):
     4
     
     5
         def __init__(self, username, password, soft_id):
     6
             self.username = username
     7
             password =  password.encode('utf-8')
     8
             self.password = md5(password).hexdigest()
     9
             self.soft_id = soft_id
     10
             self.base_params = {
     11
                 'user': self.username,
     12
                 'pass2': self.password,
     13
                 'softid': self.soft_id,
     14
             }
     15
             self.headers = {
     16
                 'Connection': 'Keep-Alive',
     17
                 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
     18
             }
     19
     
     20
         def post_pic(self, im, codetype):
     21
             params = {
     22
                 'codetype': codetype,
     23
             }
     24
             params.update(self.base_params)
     25
             files = {'userfile': ('captcha.jpg', im)}
     26
             r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
     27
             return r.json()
     28
     
     29
     
     30
     if __name__ == '__main__':
     31
         client = ChaoClient('用户名', '密码', '软件ID')
     32
         with open('captcha.jpg', 'rb') as file:
     33
             print(client.post_pic(file, 1902))

7. 绕开“陷阱”。

   • 网页上有诱使爬虫爬取的爬取的隐藏链接（陷阱或蜜罐）
   • 通过Selenium+WebDriver+Chrome判断链接是否可见或在可视区域

8. 隐藏身份。

   • 代理服务 - 快代理 / 讯代理 / 芝麻代理 / 蘑菇代理 / 云代理

     《爬虫代理哪家强？十大付费代理详细对比评测出炉！》

   • 洋葱路由 - 国内需要翻墙才能使用

     1
     yum -y install tor
     2
     useradd admin -d /home/admin
     3
     passwd admin
     4
     chown -R admin:admin /home/admin
     5
     chown -R admin:admin /var/run/tor
     6
     tor

03 分享几张学习路线图#

今天逛了一个名为 Developer Roadmaps 的网站，上面就有好多的学习路线图。其中有一张关于 Python 的学习路线图还不错，分享给大家。如果用 Python 做工程化开发（后端开发、接口开发、应用开发等），这张图上的内容基本都是需要涉猎的；如果仅仅是将 Python 作为辅助工具，学习之前给大家整理的《从零开始学Python》的 20 节课就已经足够了。近期，我也在重置这 20 节课的内容，重置后的内容会标记为“2025版”，也希望在这个过程中听到大家的意见和建议。

这里还有三个相关的学习路线图，分别是后端开发（Backend）、开发运维（DevOps）和数据科学（Data Science），后端开发的学习路线图如下所示，内容比较庞杂，核心的编程语言是 Java 或 Go。我个人不推荐大家用 Python 做后端开发，如果 Python 语言已经掌握得很好了，同时也具备了较多的计算机科学相关知识，可以尝试 AI 应用开发这个赛道，我相信你会有更多的收获。大家可以注意下用紫色勾选的项目，这些是作者推荐的选项，大部分也是我想推荐给后端开发者学习的内容。

我们再看看开发运维的学习路线图，目前 DevOps 也是招聘市场的热门岗位，有兴趣的小伙伴可以关注下。

如果学过一些 Python 相关知识，想以此为基础转行做数据分析，可以看看下面这个学习路线图。需要说明的是，Python 仅仅是做数据分析的一个工具，要成为一个优秀的数据分析师需要有良好的数据思维，同时还要积累足够的业务知识，这样才能从数据中产生商业洞察，用数据优化产品、驱动业务，真正为决策提供强有力的支撑。

最后，再次提醒大家，想打卡学习的一定记得在评论区给我留言！如果想入坑数据科学（数据分析、数据挖掘、数据治理等）也可以给我留言，今年应该会持续输出相关的内容。

04 接口文档参考示例#

0. 用户登录 - POST /api/login/

   开发者：骆昊

   版本号：v1

   最后修改时间：

   接口说明：登录成功后，会生成或更新用户令牌（token）。

   使用帮助：测试数据库中预设了四个可供使用的账号，如下表所示。

   用户名	用户口令	角色
   jackfrued	123456	管理员
   wangdachui	123123	普通用户
   hellokitty	123123	房地产经理人
   wuzetian	123456	房东

   请求参数：

   参数名	类型	是否必填	参数位置	说明
   username	字符串	是	消息体	用户名
   password	字符串	是	消息体	用户口令

   响应信息：

   • 登录成功：

     1
     {
     2
         "code": 30000,
     3
         "message": "用户登录成功",
     4
         "token": "f83e0f624e2311e9af1f00163e02b646"
     5
     }

   • 登录失败：

     1
     {
     2
         "code": 30001,
     3
         "message": "用户名或密码错误"
     4
     }

1. 发送短信验证码 - GET /api/mobile_code/{国内手机号}/

   开发者：骆昊

   版本号：v1

   接口说明：给指定手机号发送短信验证码的接口，手机号必须是国内手机号，作为路径参数写到URL中。接口显示短信发送成功时，指定的手机号并不会收到短息，因为使用的三方短信平台赠送的测试短信已经用完了。

   使用帮助：国内手机号暂不支持国际区号。

   请求参数：暂无。

   响应信息：

   • 请求成功：

     1
     {
     2
         "code": 10001,
     3
         "msg": "短信验证码发送成功"
     4
     }

   • 两次请求间隔小于60秒：

     1
     {
     2
         "code": 10002,
     3
         "msg": "请不要在60秒以内重复发送手机验证码"
     4
     }

   • 手机号无效：

     1
     {
     2
         "code": 10003,
     3
         "msg": "请提供有效的手机号"
     4
     }

   • 短信服务平台故障：

     1
     {
     2
         "code": 10004,
     3
         "msg": "短信服务暂时无法使用"
     4
     }

2. 获取所有省级行政单位 - GET /api/districts/

   开发者：骆昊

   版本号：v1

   接口说明：暂无。

   使用帮助：暂无。

   请求参数：暂无。

   响应信息：

   1
   [
   2
       {
   3
           "distid": 110000,
   4
           "name": "北京市"
   5
       },
   6
       {
   7
           "distid": 120000,
   8
           "name": "天津市"
   9
       }
   10
   ]

3. 获取指定行政单位详情及其管辖的行政单位 - GET /api/districts/{行政单位编号}/

   开发者：骆昊

   版本号：v1

   接口说明：通过URL参数指定行政单位编号，如果行政单位编号为省级行政单位编号，则返回该省以及该省所辖市级行政单位的信息；如果行政单位编号为市级行政单位编号，则返回该市以及该市所辖区县的信息；如果行政单位编号为区县一级行政单位编号，则返回该区县的信息，下级行政单位cities属性值为[]。

   使用帮助：数据库中除四川省外其他行政单位的“intro”数据都没有录入，该字段可能为空字符串。

   请求参数：暂无。

   响应信息：

   1
   {
   2
       "distid": 510000,
   3
       "name": "四川省",
   4
       "intro": "位于中国西南地区内陆，东连重庆，南邻云南、贵州，西接西藏，北界陕西、甘肃、青海，四川省总面积48.6万平方千米，省会成都。截至2018年底，四川省下辖18个省辖市，3个自治州，17个县级市，108个县，4个自治县，54个市辖区。",
   5
       "cities": [
   6
           {
   7
               "distid": 510100,
   8
               "name": "成都市"
   9
           },
   10
           {
   11
               "distid": 510300,
   12
               "name": "自贡市"
   13
           },
   14
           {
   15
               "distid": 510400,
   16
               "name": "攀枝花市"
   17
           }
   18
       ]
   19
   }

4. 获取热门城市 - GET /api/hotcities/

   开发者：骆昊

   版本号：v1

   接口说明：暂无。

   使用帮助：暂无。

   请求参数：暂无。

   响应信息：

   1
   [
   2
       {
   3
           "distid": 110100,
   4
           "name": "北京市"
   5
       },
   6
       {
   7
           "distid": 120100,
   8
           "name": "天津市"
   9
       },
   10
       {
   11
           "distid": 130100,
   12
           "name": "石家庄"
   13
       }
   14
   ]

5. 分页获取房地产经理人信息 - GET /api/agents/

   开发者：骆昊

   版本号：v1

   接口说明：经理人姓名按照前缀模糊匹配的方式进行处理；经理人服务星级是指经理人服务星级不得低于该星级；经理人是否持证只有0（未持证上岗）和1（持证上岗）两个选项。三个参数代表的筛选条件之间是而且的关系。返回结果为分页之后的房地产经理人信息。

   使用帮助：暂无。

   请求参数：

   参数名	类型	是否必填	参数位置	说明
   name	字符串	否	查询参数	经理人姓名
   key	字符串	否	查询参数	经理人服务星级
   cert	字符串	否	查询参数	经理人是否持证
   page	整数	否	查询参数	页码，默认值为1
   size	整数	否	查询参数	页面大小，默认值为5，最大值不超过50

   响应信息：

   1
   {
   2
       "count": 1,
   3
       "next": null,
   4
       "previous": null,
   5
       "results": [
   6
           {
   7
               "agentid": 6,
   8
               "estates": [
   9
                   {
   10
                       "estateid": 11,
   11
                       "name": "灵芝新村",
   12
                       "hot": 20
   13
                   }
   14
               ],
   15
               "name": "肖利丽",
   16
               "tel": "13040813886",
   17
               "servstar": 4,
   18
               "realstar": 4,
   19
               "profstar": 4,
   20
               "certificated": false
   21
           }
   22
       ]
   23
   }

6. 新增房地产经理人 - POST /api/agents/

   开发者：骆昊

   版本号：v1

   接口说明：暂无。

   使用帮助：需要登录且拥有管理员权限，用户身份令牌在请求头中提供。

   请求参数：

   参数名	类型	是否必填	参数位置	说明
   name	字符串	是	消息体	经理人姓名
   tel	字符串	是	消息体	经理人手机
   servstar	整数	否	消息体	默认值0
   realstar	整数	否	消息体	默认值0
   profstar	整数	否	消息体	默认值0
   certificated	整数	否	消息体	默认值0
   token	字符串	是	请求头	用户身份认证令牌

   响应信息：

   • 新增成功 - 状态码201：

     1
     {
     2
         "agentid": 8,
     3
         "estates": [],
     4
         "name": "孙小美",
     5
         "tel": "13800991234",
     6
         "servstar": 0,
     7
         "realstar": 0,
     8
         "profstar": 0,
     9
         "certificated": false
     10
     }

   • 未提供身份认证信息 - 状态码401：

     1
     {
     2
         "detail": "不正确的身份认证信息。"
     3
     }

   • 当前用户没有操作权限 - 状态码403：

     1
     {
     2
         "detail": "您没有执行该操作的权限。"
     3
     }

7. 编辑房地产经理人信息 - PUT /api/agents/{房地产经理人编号}/

   开发者：骆昊

   版本号：v1

   接口说明：暂无。

   使用帮助：需要登录且拥有管理员权限，用户身份令牌在请求头中提供。

   请求参数：

   参数名	类型	是否必填	参数位置	说明
   name	字符串	是	消息体	经理人姓名
   tel	字符串	是	消息体	经理人手机
   servstar	整数	否	消息体	默认值0
   realstar	整数	否	消息体	默认值0
   profstar	整数	否	消息体	默认值0
   certificated	整数	否	消息体	默认值0
   token	字符串	是	请求头	用户身份认证令牌

   响应信息：

   • 更新成功 - 状态码200：

   1
   {
   2
       "agentid": 1,
   3
       "estates": [
   4
           {
   5
               "estateid": 1,
   6
               "name": "今日家园",
   7
               "hot": 20
   8
           },
   9
           {
   10
               "estateid": 2,
   11
               "name": "翡翠园",
   12
               "hot": 30
   13
           },
   14
           {
   15
               "estateid": 3,
   16
               "name": "万科城市花园",
   17
               "hot": 22
   18
           }
   19
       ],
   20
       "name": "袁晓梦",
   21
       "tel": "158173555285",
   22
       "servstar": 5,
   23
       "realstar": 4,
   24
       "profstar": 3,
   25
       "certificated": true
   26
   }

   • 未提供身份认证信息 - 状态码403 - 与新增类同
   • 当前用户没有操作权限 - 状态码403 - 与新增类同

8. 删除房地产经理人 - DELETE /api/agents/{房地产经理人编号}/

   开发者：骆昊

   版本号：v1

   接口说明：暂无。

   使用说明：暂无。

   请求参数：

   参数名	类型	是否必填	参数位置	说明
   token	字符串	是	请求头	用户身份认证令牌

   响应信息：

   • 删除成功 - 状态码204
   • 未提供身份认证信息 - 状态码403 - 与新增类同
   • 当前用户没有操作权限 - 状态码403 - 与新增类同

9. 分页获取楼盘信息 - GET /api/estates/

   开发者：骆昊

   版本号：v1

   接口说明：经理人姓名按照前缀模糊匹配的方式进行处理；经理人服务星级是指经理人服务星级不得低于该星级；经理人是否持证只有0（未持证上岗）和1（持证上岗）两个选项。三个参数代表的筛选条件之间是而且的关系。返回结果为分页之后的房地产经理人信息。

   使用帮助：暂无。

   请求参数：

   参数名	类型	是否必填	参数位置	说明
   name	字符串	否	查询参数	楼盘名（模糊匹配）
   dist	字符串	否	查询参数	楼盘所在地区编号
   page	整数	否	查询参数	页码，默认值为1
   size	整数	否	查询参数	页面大小，默认值为5，最大值不超过50

   响应信息：

   1
   {
   2
       "count": 16,
   3
       "next": "https://120.77.222.217/api/estates/?page=2",
   4
       "previous": null,
   5
       "results": [
   6
           {
   7
               "estateid": 6,
   8
               "district": {
   9
                   "distid": 440303,
   10
                   "name": "罗湖区"
   11
               },
   12
               "agents": [
   13
                   {
   14
                       "agentid": 2,
   15
                       "name": "杨伟",
   16
                       "tel": "13352939550",
   17
                       "servstar": 3
   18
                   },
   19
                   {
   20
                       "agentid": 4,
   21
                       "name": "郭志鹏",
   22
                       "tel": "13686810707",
   23
                       "servstar": 4
   24
                   }
   25
               ],
   26
               "name": "幸福里",
   27
               "hot": 300,
   28
               "intro": ""
   29
           }
   30
       ]
   31
   }

10. 新增楼盘 - POST /api/estates/

开发者：骆昊

版本号：v1

接口说明：暂无。

使用帮助：需要登录且拥有管理员权限，用户身份令牌在请求头中提供。

请求参数：

响应信息：

• 新增成功 - 状态码201：

  1
  {
  2
      "estateid": 17,
  3
      "district": 510107,
  4
      "name": "世纪锦苑",
  5
      "hot": 100,
  6
      "intro": ""
  7
  }

• 未提供身份认证信息 - 状态码403：

  1
  {
  2
      "detail": "请提供有效的身份认证信息"
  3
  }

• 当前用户没有操作权限 - 状态码403：

  1
  {
  2
      "detail": "You do not have permission to perform this action."
  3
  }

11. 编辑楼盘信息 - PUT /api/estates/{楼盘编号}

12. 删除楼盘信 - DELETE /api/estates/{楼盘编号}

13. 获取所有户型信息 - GET /api/housetypes/

14. 新增户型 - POST /api/housetypes/

15. 编辑户型信息 - PUT /api/housetypes/{户型编号}

16. 删除户型 - DELETE /api/housetypes/{户型编号}

17. 分页获取房源信息 - GET /api/houseinfos/

    开发者：骆昊

    版本号：v1

    接口说明：暂无。

    使用帮助：暂无。

    请求参数：

    参数名	类型	是否必填	参数位置	说明
    title	字符串	否	查询参数	房源标题关键词
    dist	整数	否	查询参数	楼盘所在地区编号
    min_price	整数	否	查询参数	价格区间下限
    max_price	整数	否	查询参数	价格区间上限
    type	整数	否	查询参数	户型编号
    page	整数	否	查询参数	页码，默认值为1
    size	整数	否	查询参数	页面大小，默认值为5，最大值不超过50

    响应信息：

    1
    {
    2
        "count": 7,
    3
        "next": "http://localhost:8000/api/houseinfos/?dist=440303&page=2",
    4
        "previous": null,
    5
        "results": [
    6
    
    7
        ]
    8
    }

18. 查看房源详情 - GET /api/houseinfos/{房源编号}

19. 新增房源 - POST /api/houseinfos/

20. 编辑房源信息 - PUT /api/houseinfos/{房源编号}

21. 删除房源 - DELETE /api/houseinfos/{房源编号}

22. 随机获取指定数量的房源标签 - GET /api/tags/

23. 分页查看房源标签 - GET /api/tags/

24. 新增房源标签 - POST /api/tags/

25. 删除房源标签 - DELETE /api/tags/{房源编号}

26. 查看房源的图片 - GET /api/houseinfos/{房源编号}/photos/

27. 为房源添加图片 - POST /api/houseinfos/{房源编号}/photos/

28. 删除房源图片 - DELETE /api/houseinfos/{房源编号}/photos/{图片编号}

05 那些年我们踩过的那些坑#

坑1 - 整数比较的坑#

在 Python 中一切都是对象，整数也是对象，在比较两个整数时有两个运算符==和is，它们的区别是：

• is比较的是两个整数对象的id值是否相等，也就是比较两个引用是否代表了内存中同一个地址。
• ==比较的是两个整数对象的内容是否相等，使用==时其实是调用了对象的__eq__()方法。

知道了is和==的区别之后，我们可以来看看下面的代码，了解Python中整数比较有哪些坑，以CPython解释器为例，大家先看看下面的代码。

1
def main():
2
  x = y = -1
3
  while True:
4
    x += 1
5
    y += 1
6
    if x is y:
7
      print('%d is %d' % (x, y))
8
    else:
9
      print('Attention! %d is not %d' % (x, y))
10
      break
11

12
  x = y = 0
13
  while True:
14
    x -= 1
15
    y -= 1
16
    if x is y:
17
      print('%d is %d' % (x, y))
18
    else:
19
      print('Attention! %d is not %d' % (x, y))
20
      break
21

22

23
if __name__ == '__main__':
24
  main()

上面代码的部分运行结果如下图所示。这个结果是因为CPython出于性能优化的考虑，把频繁使用的整数对象用一个叫small_ints的对象池缓存起来造成的。small_ints缓存的整数值被设定为[-5, 256]这个区间，也就是说，如果使用CPython解释器，在任何引用这些整数的地方，都不需要重新创建int对象，而是直接引用缓存池中的对象。如果整数不在该范围内，那么即便两个整数的值相同，它们也是不同的对象。

当然仅仅如此这个坑就不值一提了，如果你理解了上面的规则，我们就再看看下面的代码。

1
a = 257
2

3

4
def main():
5
  b = 257  # 第6行
6
  c = 257  # 第7行
7
  print(b is c)  # True
8
  print(a is b)  # False
9
  print(a is c)  # False
10

11

12
if __name__ == "__main__":
13
  main()

程序的执行结果已经用注释写在代码上了。够坑吧！看上去a、b和c的值都是一样的，但是is运算的结果却不一样。为什么会出现这样的结果，首先我们来说说Python程序中的代码块。所谓代码块是程序的一个最小的基本执行单位，一个模块文件、一个函数体、一个类、交互式命令中的单行代码都叫做一个代码块。上面的代码由两个代码块构成，a = 257是一个代码块，main函数是另外一个代码块。CPython底层为了进一步提升性能还做了一个设定：对于同一个代码块中值不在small_ints缓存范围之内的整数，如果同一个代码块中已经存在一个值与其相同的整数对象，那么就直接引用该对象，否则创建新的int对象。需要大家注意的是，这条规则对数值型适用，但对字符串则需要考虑字符串的长度，这一点可以自行证明。 为了验证刚刚的结论，我们可以借用dis模块（听名字就知道是进行反汇编的模块）从字节码的角度来看看这段代码。如果不理解什么是字节码，可以先看看《谈谈 Python 程序的运行原理》这篇文章。可以先用import dis导入dis模块并按照如下所示的方式修改代码。

1
import dis
2

3
dis.dis(main)

代码的执行结果如下图所示。可以看出代码第6行和第7行，也就是main函数中的257是从同一个位置加载的，因此是同一个对象；而代码第9行的a明显是从不同的地方加载的，因此引用的是不同的对象。

如果还想对这个问题进行进一步深挖，推荐大家阅读《Python整数对象实现原理》这篇文章。

坑2 - 嵌套列表的坑#

Python中有一种内置的数据类型叫列表，它是一种容器，可以用来承载其他的对象（准确的说是其他对象的引用），列表中的对象可以称为列表的元素，很明显我们可以把列表作为列表中的元素，这就是所谓的嵌套列表。嵌套列表可以模拟出现实中的表格、矩阵、2D游戏的地图（如植物大战僵尸的花园）、棋盘（如国际象棋、黑白棋）等。但是在使用嵌套的列表时要小心，否则很可能遭遇非常尴尬的情况，下面是一个小例子。

1
names = ['关羽', '张飞', '赵云', '马超', '黄忠']
2
subjs = ['语文', '数学', '英语']
3
scores = [[0] * 3] * 5
4
for row, name in enumerate(names):
5
    print('请输入%s的成绩' % name)
6
    for col, subj in enumerate(subjs):
7
        scores[row][col] = float(input(subj + ': '))
8
        print(scores)

我们希望录入5个学生3门课程的成绩，于是定义了一个有5个元素的列表，而列表中的每个元素又是一个由3个元素构成的列表，这样一个列表的列表刚好跟一个表格是一致的，相当于有5行3列，接下来我们通过嵌套的for-in循环输入每个学生3门课程的成绩。程序执行完成后我们发现，每个学生3门课程的成绩是一模一样的，而且就是最后录入的那个学生的成绩。

要想把这个坑填平，我们首先要区分对象和对象的引用这两个概念，而要区分这两个概念，还得先说说内存中的栈和堆。我们经常会听人说起“堆栈”这个词，但实际上“堆”和“栈”是两个不同的概念。众所周知，一个程序运行时需要占用一些内存空间来存储数据和代码，那么这些内存从逻辑上又可以做进一步的划分。对底层语言（如C语言）有所了解的程序员大都知道，程序中可以使用的内存从逻辑上可以为五个部分，按照地址从高到低依次是：栈（stack）、堆（heap）、数据段（data segment）、只读数据段（static area）和代码段（code segment）。其中，栈用来存储局部、临时变量，以及函数调用时保存现场和恢复现场需要用到的数据，这部分内存在代码块开始执行时自动分配，代码块执行结束时自动释放，通常由编译器自动管理；堆的大小不固定，可以动态的分配和回收，因此如果程序中有大量的数据需要处理，这些数据通常都放在堆上，如果堆空间没有正确的被释放会引发内存泄露的问题，而像Python、Java等编程语言都使用了垃圾回收机制来实现自动化的内存管理（自动回收不再使用的堆空间）。所以下面的代码中，变量a并不是真正的对象，它是对象的引用，相当于记录了对象在堆空间的地址，通过这个地址我们可以访问到对应的对象；同理，变量b是列表容器的引用，它引用了堆空间上的列表容器，而列表容器中并没有保存真正的对象，它保存的也仅仅是对象的引用。

1
a = object()
2
b = ['apple', 'pitaya', 'grape']

知道了这一点，我们可以回过头看看刚才的程序，我们对列表进行[[0] * 3] * 5操作时，仅仅是将[0, 0, 0]这个列表的地址进行了复制，并没有创建新的列表对象，所以容器中虽然有5个元素，但是这5个元素引用了同一个列表对象，这一点可以通过id函数检查scores[0]和scores[1]的地址得到证实。所以正确的代码应该按照如下的方式进行修改。

1
names = ['关羽', '张飞', '赵云', '马超', '黄忠']
2
subjs = ['语文', '数学', '英语']
3
scores = [[]] * 5
4
for row, name in enumerate(names):
5
    print('请输入%s的成绩' % name)
6
    scores[row] = [0] * 3
7
    for col, subj in enumerate(subjs):
8
        scores[row][col] = float(input(subj + ': '))
9
        print(scores)

或者

1
names = ['关羽', '张飞', '赵云', '马超', '黄忠']
2
subjs = ['语文', '数学', '英语']
3
scores = [[0] * 3 for _ in range(5)]
4
for row, name in enumerate(names):
5
    print('请输入%s的成绩' % name)
6
    scores[row] = [0] * 3
7
    for col, subj in enumerate(subjs):
8
        scores[row][col] = float(input(subj + ': '))
9
        print(scores)

如果对内存的使用不是很理解，可以看看PythonTutor网站上提供的代码可视化执行功能，通过可视化执行，我们可以看到内存是如何分配的，从而避免在使用嵌套列表或者复制对象时可能遇到的坑。

1
class Student(object):
2

3
    def __init__(self, name, age):
4
        self.__name = name
5
        self.__age = age
6

7
    def __str__(self):
8
        return self.__name + ': ' + str(self.__age)
9

10

11
stu = Student('骆昊', 38)
12
print(stu._Student__name)
13
print(stu._Student__age)

06 如何快速驾驭 pandas 库#

最近有小伙伴提到，Python 做数据分析的 pandas 库函数和方法实在太多，感觉学习和使用起来思路都非常混乱。之前回复过这个问题，今天把它更系统的整理一下，毕竟这个库是 Python 数据科学生态圈中扮演着极为重要的角色，虽然目前有很多 pandas 库的替代品（如：polars、cuDF等），但是使用方法跟 pandas 可以说是大同小异。

三个核心类#

Pandas 库有三个最核心的类，其中最重要的是DataFrame类型，它是学习的重点，如下图所示。

1. Series：表示一维数据，跟一维数组类似（带标签的数组），每个数据都有自己的索引（标签），可以通过索引访问数据。
2. DataFrame：表示二维数据，类似于 Excel 电子表格，行和列都有自己的索引（标签），可以通过索引访问行、列、单元格。
3. Index：表示索引，为Series和DataFrame 提供索引服务，Index有很多的子类型，适用于需要不同类型的索引的场景。

数据分析流程#

学习和使用 pandas 重点是DataFrame的应用，我们建议大家按照数据分析的流程来掌握对应的函数和方法，这样做往往会事半功倍。数据分析流程如下图所示，其中蓝色虚线圈中的部分就是可以通过 BI 工具（如：Power BI、Tableau等）或 Python 程序来完成的部分。

数据获取#

数据获取也可以称为数据加载，其本质就是创建DataFrame对象，需要掌握以下几个函数：

1. 从 CSV 文件加载数据。

1
pd.read_csv(
2
    filepath,      # CSV文件路径（可以本地绝对路径或相对路径，也可以是一个URL）
3
    sep,           # 字段分隔符（默认是逗号）
4
    header,        # 表头在第几行
5
    encoding,      # 文件编码（默认utf-8）
6
    quotechar,     # 包裹字符串的符号（默认是双引号）
7
    usecols,       # 加载哪些列
8
    index_col,     # 指定索引列
9
    dtype,         # 指定列的数据类型
10
    converters,    # 指定列的数据转换器
11
    nrows,         # 加载多少行数据
12
    skiprows,      # 指定需要跳过的行
13
    parse_dates,   # 将哪些列解析为日期时间
14
    date_format,   # 日期格式
15
    true_values,   # 被视为布尔值True的值
16
    false_values,  # 被视为布尔值False的值
17
    na_values,     # 被视为空值的值
18
    na_filter,     # 是否检测空值标记
19
    on_bad_lines,  # 遇到有问题的行如何处理（可选项：'error'、'warn'、'skip'）
20
    engine,        # 指定底层引擎（例如：可以使用更快的Arrow引擎来处理体量更大的数据）
21
    iterator,      # 是否开启迭代器模式（处理大数据时减少内存开销）
22
    chunksize,     # 迭代器模式下每次加载数量的体量
23
)

2. 从 Excel 文件加载数据。

1
pd.read_excel(
2
    io,           # 工作簿文件的路径
3
    sheet_name,   # 工作表的名字
4
    skip_footer,  # 跳过末尾多少行
5
)

说明：read_excel函数跟read_csv有很多作用相同的参数，这里就没有赘述了。从 Excel 文件中加载数据时，没有迭代器模式。

3. 从数据库或数仓加载数据。

1
pd.read_sql(
2
    sql,          # SQL查询或二维表的名字
3
    con,          # 数据库连接
4
    parse_dates,  # 指定需要解析成日期的列
5
    index_col,    # 指定索隐裂
6
    columns,      # 需要加载的列
7
    chunksize,    # 加载数据的体量
8
    dtype,        # 指定列的数据类型
9
)

4. 其他创建DataFrame对象的方式。

1
pd.DataFrame(data=[[95, 87], [66, 78], [92, 89]], index=[1001, 1002, 1003], columns=['Verbal', 'Math'])
2
pd.DataFrame(data={'Verbal': [95, 66, 92], 'Math': [87, 78, 89]}, index=[1001, 1002, 1003])

如果要对DataFrame中的数据或索引进行操作，需要掌握下面的运算和方法。

1. 查看信息

1
df.info()

2. 查看前/后 N 行

1
df.head(10)
2
df.tail(5)

3. 操作列

1
df['column_name']
2
df.colume_name

4. 操作行

1
df.loc['row_index']
2
df.iloc[0]

5. 操作单元格

1
df.at['row_index', 'column_name']
2
df.iat[0, 0]

6. 删除行或列

1
df.drop(
2
    labels,   # 要删除的行或列的索引
3
    axis,     # axis=0，labels表示行索引；axis=1，labels表示列索引
4
    index,    # 要删除的行的索引
5
    columns,  # 要删除的列的索引
6
    inplace,  # 是否就地删除（inplace=True，表示就地删除不返回新DataFrame对象）
7
)

7. 筛选数据

1
df.query(expr)  # 通过表达式指定筛选条件
2
df[bool_index]  # 布尔索引

8. 随机抽样

1
df.sampe(
2
    n,             # 样本容量
3
    frac,          # 抽样比例
4
    replace,       # 有放回或无放回抽样（默认值False）
5
    random_state,  # 随机数种子（种子相同每次抽样的结果相同）
6
)

9. 重置索引

1
df.reset_index(
2
    level,    # 对于多级索引指定重置哪一级的索引
3
    drop,     # 是否丢弃索引（drop=False表示索引会被处理成普通列）
4
    inplace,  # 是否就地处理（要不要返回新的DataFrame对象）
5
)

10. 设置索引

1
df.set_index(
2
   keys,              # 指定作为索引的列
3
   drop,              # 是否删除作为索引的列（默认值True）
4
   append,            # 是否将指定列加入现有的索引（默认值False）
5
   inplace,           # 是否就地处理（要不要返回新的DataFrame对象）
6
   verify_integrity,  # 检查索引列是否存在重复值（默认值False）
7
)

11. 调整索引顺序

1
df.reindex()
2
df[fancy_index]       # 花式索引
3
df.loc[facy_index]    # 花式索引
4
df.iloc[fancy_index]  # 花式索引

12. 索引排序

1
df.sort_index(
2
    axis,         # 确定行索引或列索引（默认值0）
3
    level,        # 对于多级索引指定索引的级别
4
    ascending,    # 升序或降序（默认值True）
5
    inplace,      # 是否就地排序
6
    kind,         # 排序算法（默认值'quicksort'）
7
    na_position,  # 空值放在最前还是最后（默认值'last'）
8
    key,          # 传入比较索引大小的函数（自定义比较规则）
9
)

数据重塑#

1. 拼接（类似于 SQL 中的 union 操作）

1
pd.concat(
2
    objs,          # 保存多个DataFrame对象的容器
3
    axis,          # 沿着哪个轴进行拼接
4
    ignore_index,  # 是否忽略原来的索引（默认值False）
5
)

2. 合并（类似于 SQL 中的 join 操作）

1
pd.merge(
2
    left,         # 左表
3
    right,        # 右表
4
    how,          # 指定连表的方式（默认值'inner'表示内连接）
5
    on,           # 指定连表字段（如果左右两表连表字段同名）
6
    left_on,      # 指定左表的连表字段
7
    right_on,     # 指定右表的连表字段
8
    left_index,   # 是否使用左表的索引连表
9
    right_index,  # 是否使用右表的索引连表
10
    suffixes,     # 指定同名列的后缀（默认值('_x', '_y')）
11
)

数据清洗#

1. 缺失值

1
# 甄别缺失值
2
df.isna()
3
df.notna()
4
# 删除缺失值
5
df.dropna(
6
    axis,     # 删行或删列（默认值0）
7
    how,      # 是否存在任意一个缺失值就删除（默认值'any'）
8
    subset,   # 只对哪些行或列删除空值
9
    inplace,  # 是否就地删除（要不要返回新的DataFrame对象）
10
)
11
# 填充缺失值
12
df.fillna(
13
    value,    # 填充的值
14
    method,   # 填充空值的方法
15
    inplace,  # 是否就地填充（要不要返回新的DataFrame对象）
16
)
17
# 使用插值算法插值
18
df.interpolate(
19
    method,   # 插值算法（默认值'linear'表示线性插值法）
20
    axis,     # 沿着哪个轴插值
21
    inplace,  # 是否就地插值（要不要返回新的DataFrame对象）
22
)

2. 重复值

1
# 甄别重复值
2
df.duplicated(
3
    subset,   # 用于判断重复的列标签
4
    keep,     # 如何处理重复项（默认值'first'表示保留第一项）
5
)
6
# 删除重复值
7
df.drop_duplicates(
8
    subset,   # 用于判断重复的列标签
9
    keep,     # 如何处理重复项（默认值'first'表示保留第一项）
10
    inplace,  # 是否就地去重（默认值False）
11
)
12
# 统计非重复值
13
df.nunique(axis)

3. 异常值

异常值的处理重点在甄别，可以使用数值判定法、z-score 判定法、孤立森林等方法来进行甄别离群点，然后结合实际业务意义判定是不是异常值。对于异常值的处理，通常是替换或删除，删除可以用之前提到的drop方法删行或者删列。

1
# 替换异常值
2
df.replace(
3
    to_replace,  # 被替换的值
4
    value,       # 替换的值
5
    inplace,     # 是否就地替换（要不要返回新的DataFrame对象）
6
    regex,       # 是否启动正则表达式替换（默认值False）
7
)

4. 预处理

预处理通常在Series对象上对数据进行操作，假设变量s是一个Series对象，具体的操作包括：

• 日期时间预处理

1
s.dt.year                   # 年
2
s.dt.quarter                # 季度
3
s.dt.month                  # 月
4
s.dt.day                    # 日
5
s.dt.hour                   # 时
6
s.dt.minute                 # 分
7
s.dt.second                 # 秒
8
s.dt.weekday                # 星期几
9
s.dt.to_period(freq)        # 以特定频率转换
10
s.dt.floor(freq)            # 下取整
11
s.dt.ceil(freq)             # 上取整
12
s.dt.round(freq)            # 舍入
13
s.dt.strftime(date_format)  # 格式化
14
s.dt.tz_localize(tz)        # 时区本地化
15
s.dt.tz_convert(tz)         # 转换时区

• 字符串预处理

1
s.str.lower()       # 字符串变小写
2
s.str.upper()       # 字符串变大写
3
s.str.title()       # 字符串首字母大写
4
# 字符串拆分
5
s.str.split(
6
    pat,            # 拆分字符或正则表达式
7
    n,              # 最大拆分次数
8
    expand,         # 是否将拆分后的内容展开成多个列（默认值False）
9
)
10
# 从字符串中捕获内容
11
s.str.extract(
12
    pat,            # 正则表达式
13
    flags,          # 正则表达式处理标记
14
    expand,         # 是否将捕获内容展开成多个列（默认值True）
15
)
16
s.str.isalpha()     # 检查字符串是不是字母
17
s.str.isnumeric()   # 检查字符串是不是数值
18
s.str.isalnum()     # 检查字符串是不是字母数字
19
s.str.isspace()     # 检查字符串是不是空白字符
20
s.str.startswith()  # 检查字符串是否以指定内容开头
21
s.str.endswith()    # 检查字符串是否以指定内容结尾
22
# 检查字符串是否跟正则表达式匹配
23
s.str.match(
24
    pat,            # 正则表达式
25
    flags,          # 正则表达式处理标记
26
)
27
# 检查字符串是否包含指定内容
28
s.str.contains(
29
    pat,            # 字符串或正则表达式
30
    flags,          # 正则表达式处理标记
31
    regex,          # 是否使用正则表达式（默认值True）
32
)
33
# 替换
34
s.str.replace(
35
    pat,            # 被替换的内容（字符串或正则表达式）
36
    repl,           # 替换的内容
37
    n,              # 最大替换次数（默认值-1表示全部替换）
38
    flags,          # 正则表达式处理标记
39
    regex,          # 是否使用正则表达式（默认值True）
40
)
41
s.str.strip()       # 去掉字符串多余的空格
42
s.str.join(sep)     # 用指定的分隔符将内容拼接成字符串
43
# 字符串拼接
44
s.str.cat(
45
    others,         # 拼接的内容
46
    sep,            # 分隔符
47
    na_rep,         # 空值的替代符
48
)
49
s.str.len()         # 获得字符串长度
50
# 查找子串的位置
51
s.str.find(
52
    sub,            # 子串
53
    start,          # 起始位置
54
    end,            # 结束位置
55
)

• 类别预处理

1
# 类别重排序
2
s.cat.reorder_categories(
3
    new_categories,  # 新的类别顺序
4
    inplace,         # 是否就地处理（默认值False）
5
)
6
# 添加类别
7
s.cat.add_categories(
8
    new_categories,  # 要添加的新类别
9
    inplace,         # 是否就地处理（默认值False）
10
)
11
# 移除类别
12
s.cat.remove_categories(
13
    removals,        # 要移除的类别
14
    inplace,         # 是否就地处理（默认值False）
15
)
16
# 移除没有使用的类别
17
s.cat.remove_unused_categories(
18
    inplace,         # 是否就地处理（默认值False）
19
)
20
# 类别重命名
21
s.cat.rename_categories(
22
    new_categories,  # 新的类别名称
23
    inplace,         # 是否就地处理（默认值False）
24
)

• 二值化（虚拟变量）

1
pd.get_dummies(
2
    data,        # 需要转换为虚拟变量的Series或DataFrame
3
    prefix,      # 指定生成的虚拟变量列的前缀
4
    prefix_sep,  # 前缀和列名之间的分隔符
5
    dummy_na,    # 是否为空值（NaN）生成一个列（默认值False）
6
    columns,     # 指定要转换的列名
7
    drop_first,  # 是否从生成的虚拟变量中删除第一个类别的列（默认值False）
8
)

• 离散化（分箱）

1
pd.cut(
2
    x,        # 要分割的输入数据（一维数据）
3
    bins,     # 分割的区间数或具体的区间边界
4
    right,    # 区间是否包含右端点（默认值False）
5
    labels,   # 指定每个区间的标签
6
    retbins,  # 是否返回分割的边界数组（默认值False）
7
    ordered,  # 返回的类别是否是有序的（默认值True）
8
)
9
pd.qcut(
10
    x,        # 要分割的输入数据（一维数据）
11
    q,        # 分割点的数量或具体的分位数
12
    labels,   # 指定每个区间的标签
13
    retbins,  # 是否返回分割的边界数组（默认值False）
14
)

• 自定义转换

1
s.map(arg)          # 对数据进行元素级别的转换和映射
2
df.map(func)        # 对数据进行元素级别的转换和映射
3
# 通过指定函数对数据进行元素级别的转换
4
s.apply(
5
    func,           # 作用于每个元素的函数
6
    convert_type,   # 尝试将结果转换为最适合的类型（默认值True）
7
    args,           # 传递给func的额外位置参数
8
    kwargs,         # 传递给func的额外关键字参数
9
)
10
# 通过指定函数对数据进行行级或列级的转换
11
df.apply(
12
    func,           # 作用域行或列的函数
13
    axis,           # 控制做行级还是列级转换
14
    result_type,    # 指定返回的类型（'expand'表示扩展为列，'reduce'表示返回标量，'broadcast'表示广播为原始形状）
15
    args,           # 传递给func的额外位置参数
16
    kwargs,         # 传递给func的额外关键字参数
17
)
18
s.transform(func)   # 通过指定一个或多个函数对数据进行元素级别的转换
19
df.transform(func)  # 通过指定一个或多个函数对数据进行行级或列级转换

数据透视#

1. 描述性统计信息

1
s.mean()     # 均值
2
s.median()   # 中位数
3
s.mode()     # 众数
4
s.max()      # 最大值
5
s.min()      # 最小值
6
s.var(ddof)  # 方差（ddof代表自由度校正值）
7
s.std(ddof)  # 标准差（ddof代表自由度校正值）
8
s.skew()     # 偏态系数
9
s.kurt()     # 峰度系数

2. 相关性分析

1
df.cov()         # 协方差
2
df.corr(method)  # 相关系数（默认'pearson'表示皮尔逊相关系数，可选值还有'kendall'和'spearman'）

3. 排序和头部值

1
# 排序
2
s.sort_values(
3
    asending,     # 升序或降序（默认值True）
4
    inplace,      # 是否就地排序（默认值False）
5
    kind,         # 排序算法（默认值'quicksort'）
6
    na_position,  # 空值的位置（默认值'last'）
7
    key,          # 指定比较元素的规则（函数）
8
)
9
# 排序
10
df.sort_values(
11
    by,           # 排序的依据
12
    ascending,    # 升序或降序（默认值True）
13
    inplace,      # 是否就地排序（默认值False）
14
    kind,         # 排序算法（默认值'quicksort'）
15
    na_position,  # 空值的位置（默认值'last'）
16
    key,          # 指定比较元素的规则（函数）
17
)
18
# TopN元素（头部）
19
s.nlargest(
20
    n,            # 前N个最大值
21
    keep,         # 如何处理重复值（默认值'first'）
22
)
23
# TopN元素（头部）
24
df.nlargest(
25
    n,            # 前N个最大值
26
    columns,      # 指定用于排序的列名
27
    keep,         # 如何处理重复值（默认值'first'）
28
)
29
# TopN元素（尾部）
30
s.nsmallest(
31
    n,            # 前N个最小值
32
    keep,         # 如何处理重复值（默认值'first'）
33
)
34
# TopN元素（尾部）
35
df.nsmallest(
36
    n,            # 前N个最小值
37
    columns,      # 指定用于排序的列名
38
    keep,         # 如何处理重复值（默认值'first'）
39
)

4. 分组聚合

1
df.groupby(
2
    by,          # 指定用于分组的列名
3
    level,       # 对于多级索引指定用哪一级分组
4
    as_index,    # 是否将分组的列设置为索引（默认值True）
5
    sort,        # 是否对分组的结果进行排序（默认值True）
6
    observed,    # 只考虑在数据中实际出现的分组（默认值False）
7
).aggregate(
8
    func,        # 单个函数或函数列表
9
    args,       # 函数的可变参数
10
    kwargs,    # 函数的关键字参数
11
)
12
df.pivot(
13
    index,       # 指定用作索引的列
14
    columns,     # 要作为新列的列
15
    values,      # 用于填充新DataFrame中的值的列
16
)
17
df.melt(
18
    id_vars,     # 在转换过程中保持不变的列
19
    value_vars,  # 要转换为行的列
20
    var_name,    # 指定存储原列名的新列名
21
    value_name,  # 指定存储原数据值的新列名
22
)

5. 透视表

1
pd.pivot_table(
2
    data,          # DataFrame对象
3
    values,        # 需要聚合的列
4
    index,         # 分组数据的字段（行索引）
5
    columns,       # 分组数据的字段（列索引）
6
    aggfunc,       # 聚合函数（默认值'mean'）
7
    fill_value,    # 填充空值的值
8
    margins,       # 是否计算行列总计（默认值False）
9
    margins_name,  # 总计列的名字（默认值'All'）
10
    observed       # 只考虑在数据中实际出现的分组（默认值False）
11
)

6. 交叉表

1
pd.crosstab(
2
    index,         # 交叉表中的行变量
3
    columns,       # 交叉表中的列变量
4
    values,        # 用于填充交叉表的值（可选项）
5
    aggfunc,       # 聚合函数（可选项）
6
    margins,       # 是否计算行列总计（默认值False）
7
    margins_name,  # 总计列的名字（默认值'All'）
8
)

数据呈现#

1
df.plot(
2
    figsize,   # 图表尺寸（二元组）
3
    kind,      # 图表类型
4
    ax,        # 绘图的坐标系
5
    x,         # 横轴数据
6
    y,         # 纵轴数据
7
    title,     # 图表标题
8
    grid,      # 是否绘制网格
9
    legend,    # 是否显示图例
10
    xticks,    # 横轴刻度
11
    yticks,    # 纵轴刻度
12
    xlim,      # 横轴取值范围
13
    ylim,      # 纵轴取值范围
14
    xlabel,    # 横轴标签
15
    ylabel,    # 纵轴标签
16
    rot,       # 轴标签旋转角度
17
    fontsize,  # 轴标签字体大小
18
    colormap,  # 颜色系列
19
    stacked,   # 是否绘制堆叠图（默认值False）
20
    colorbar,  # 是否显示色彩条
21
)

plot方法最重要的参数是kind，它可以控制图表的类型，具体如下所示：

1. 折线图：kind='line'
2. 散点图：kind='scatter'
3. 柱状图：kind='bar'
4. 条状图（水平柱状图）：kind='barh'
5. 饼状图：kind='pie'
6. 直方图：kind='hist'
7. 箱线图：kind='box'
8. 面积图：kind='area'
9. 核密度估计图：kind='kde'

07 使用Hexo搭建自己的博客#

对于一个程序员来说，搭建一个属于自己的博客平台是非常有意义的事情。首先，博客可以记录自己的成长历程，也是对自己一段时间学习和工作的总结和沉淀；其他，通过博客可以营销自己，增强自己在互联网或行业内的影响力，为将来更好的职业生涯打一个坚实的基础。前几年有一本名为《软技能 - 代码之外的生存指南》的畅销书，我记得书中有这么一段话：“流行乐队的音乐才华可能并不比夜店驻场乐队高多少，他们为什么就可以在全世界巡回演出，创造一个又一个白金记录？……你的营销做得越好，你的才华才能表现得淋漓尽致。”

这里顺便啰嗦两句，在互联网如此发达的今天，我们应该如何营销自己呢？自我营销首先要从打造个人品牌做起，对于程序员来说，最容易去做好的一件事情还是搭建自己的博客。博客相当于是你在互联网上的一个基地，尤其是当你拥有了属于自己的独立博客后，你可以做很多自己想做的事情，既可以传达自己的思想，又可以提升自己的影响力，当然如果你的博客经营得非常好，你可以从中获利。当然，除了博客，直播、视频网站、投稿、写书、技术活动都是可选的自我营销方式。当然，做自我营销也需要持之以恒，三天打鱼两天晒网是很难有什么收获的。

1
node --version
2
npm --version

1
git --version

1
npm config set registry https://registry.npm.taobao.org

1
npm install -g hexo-cli

搭建博客#

说明：以下内容基本上来自于 Hexo 的官方文档，推荐大家阅读官方文档。

我们先通过下面的命令来创建一个专门保存博客项目的文件夹，该命令会从 github 上克隆博客项目和默认的主题。

1
hexo init blog

接下来我们进入这个文件夹并查看目录结构。

1
cd blog
2
ls -lR

1
total 232
2
-rw-r--r--    1 Hao  staff    1768  8  8 01:15 _config.yml
3
drwxr-xr-x  274 Hao  staff    8768  8  8 01:19 node_modules
4
-rw-r--r--    1 Hao  staff  109972  8  8 01:19 package-lock.json
5
-rw-r--r--    1 Hao  staff     443  8  8 01:15 package.json
6
drwxr-xr-x    5 Hao  staff     160  8  8 01:15 scaffolds
7
drwxr-xr-x    3 Hao  staff      96  8  8 01:15 source
8
drwxr-xr-x    3 Hao  staff      96  8  8 01:15 themes

说明：Windows 环境命令行提示符中可以使用dir命令查看目录结构。需要说明的是：_config.yml是博客项目的配置文件；package.json是项目的依赖项文件；scaffolds保存了 Markdown 文件的模板，也就是向新添加的 Markdown 文件中默认填充的内容；source目录下有一个名为_post的目录，我们稍后可以将编写好的 Markdown 文件放到该目录，这样就可以利用 Hexo 将 Markdown 文件处理成博客的静态页面，生成的静态页面将置于public目录下；themes文件夹保存了博客使用的主题。

然后我们通过下面的命令来安装项目所需的依赖项（package.json文件指明了这些依赖项）。

1
npm install

做完上述的操作以后，我们已经可以直接通过下面的命令来生成博客。

1
hexo generate

该命令也可以缩写为：

1
hexo g

之前我们在安装依赖项的时候包括了一个名为hexo-server的依赖项，该依赖项可以帮助我们启动一个基于 node.js 的服务器来运行我们的博客项目，使用下面的命令即可启动服务器。

1
hexo server

该命令也可以缩写为：

1
hexo s

1
INFO  Start processing
2
INFO  Hexo is running at http://localhost:4000 . Press Ctrl+C to stop.

从运行命令的提示信息可以看到，服务器已经运转起并使用了 4000 端口，可以通过Ctrl+C来终止服务器的运行。如果要修改服务器使用的端口，可以在启动服务器的时候加上-p参数；如果希望服务器启动后，自动打开默认的浏览器访问服务器，可以使用-o参数，如下所示。

1
hexo s -p 8000 -o

至此，我们已经可以看到 Hexo 在没有配置也没有加入自己的 Markdown 文件下生成的首页，如下图所示。

接下来我们修改博客的配置文件。

1
vim _config.yml

1
# Hexo Configuration
2
## Docs: https://hexo.io/docs/configuration.html
3
## Source: https://github.com/hexojs/hexo/
4

5
# Site
6
title: 骆昊的技术专栏
7
subtitle: 传道、授业、解惑，分享知识带来的快乐
8
description:
9
keywords:
10
author: 骆昊
11
language: zh
12
timezone:
13

14
# URL
15
## If your site is put in a subdirectory, set url as 'http://yoursite.com/child' and root as '/child/'
16
url: http://jackfrued.top
17
root: /
18
permalink: :year/:month/:day/:title/
19
permalink_defaults:
20

21
# Directory
22
source_dir: source
23
public_dir: public
24
tag_dir: tags
25
archive_dir: archives
26
category_dir: categories
27
code_dir: downloads/code
28
i18n_dir: :lang
29
skip_render:
30

31
# Writing
32
new_post_name: :title.md # File name of new posts
33
default_layout: post
34
titlecase: false # Transform title into titlecase
35
external_link: true # Open external links in new tab
36
filename_case: 0
37
render_drafts: false
38
post_asset_folder: false
39
relative_link: false
40
future: true
41
highlight:
42
  enable: true
43
  line_number: true
44
  auto_detect: false
45
  tab_replace:
46

47
# Home page setting
48
# path: Root path for your blogs index page. (default = '')
49
# per_page: Posts displayed per page. (0 = disable pagination)
50
# order_by: Posts order. (Order by date descending by default)
51
index_generator:
52
  path: ''
53
  per_page: 10
54
  order_by: -date
55

56
# Category & Tag
57
default_category: uncategorized
58
category_map:
59
tag_map:
60

61
# Date / Time format
62
## Hexo uses Moment.js to parse and display date
63
## You can customize the date format as defined in
64
## http://momentjs.com/docs/#/displaying/format/
65
date_format: YYYY-MM-DD
66
time_format: HH:mm:ss
67

68
# Pagination
69
## Set per_page to 0 to disable pagination
70
per_page: 10
71
pagination_dir: page
72

73
# Extensions
74
## Plugins: https://hexo.io/plugins/
75
## Themes: https://hexo.io/themes/
76
theme: landscape
77

78
# Deployment
79
## Docs: https://hexo.io/docs/deployment.html
80
deploy:
81
  type:

下面是 YAML 文件中相关选项的说明。

参数	描述
title	网站的标题
subtitle	网站的副标题
description	网站的描述
keywords	网站的关键词，可以用逗号分隔多个关键词
author	自己的名字
language	网站使用的语言
timezone	网站使用时区，默认使用电脑上设置的时区
url	网址
root	网站根目录
source_dir	资源文件夹，这个文件夹用来存放内容，默认 source 目录
public_dir	公共文件夹，这个文件夹用于存放生成的站点文件，默认 public 目录
tag_dir	标签文件夹，默认 tags 目录
archive_dir	归档文件夹，默认 archives 目录
category_dir	分类文件夹，默认 categories 目录
auto_spacing	在中文和英文之间加入空格，默认 false
titlecase	把标题转换为首字母大写，默认 false
external_link	在新标签中打开链接，默认 true
relative_link	把链接改为与根目录的相对位址，默认 false
default_category	默认分类
date_format	日期格式，默认 YYYY-MM-DD
time_format	时间格式，默认 HH:mm
per_page	每页显示的文章数量 ，默认值 10，0 表示不使用分页
pagination_dir	分页目录，默认为 page 目录
theme	当前主题名称
deploy	部署部分的设置

我们将编写好的 Markdown 文件可以拷贝到source/_posts目录，我们可以在每个 Markdown 文件的上方添加 Front-matter 来对文件的布局、标题、分类、标签、发布日期等信息加以说明。所谓 Front-matter，就是每个 Markdown 文件最上方以---分隔的区域，可以在Front-matter中设置以下内容。

参数	描述	默认值
layout	布局
title	标题
date	建立日期	文件建立日期
updated	更新日期	文件更新日期
comments	开启文章的评论功能	true
tags	标签（不适用于分页）
categories	分类（不适用于分页）
permalink	覆盖文章网址

例如：

1
---
2
title: Python编程惯例
3
categories:
4
- Python基础
5
tags:
6
- Python
7
- PEP8
8
date: 2019-8-1
9
---
10
## Python惯例
11

12
“惯例”这个词指的是“习惯的做法，常规的办法，一贯的做法”，与这个词对应的英文单词叫“idiom”。由于Python跟其他很多编程语言在语法和使用上还是有比较显著的差别，因此作为一个Python开发者如果不能掌握这些惯例，就无法写出“Pythonic”的代码。下面我们总结了一些在Python开发中的惯用的代码。
13

14
1. 让代码既可以被导入又可以被执行。
15
   if __name__ == '__main__':
16

17
2. 用下面的方式判断逻辑“真”或“假”。
18
   if x:
19
   if not x:

在完成上述工作后，我们可以通过下面的命令先清理之前生成的内容。

1
hexo clean

接下来我们就可以用之前讲过的命令重新生成并运行博客项目。

1
hexo generate
2
hexo server -p 8000 -o