程序员在旅途

用这生命中的每一秒,给自己一个不后悔的未来!

0%

一、理解系统的平均负载

在Linux系统中,常用平均负载(Load Average)这个性能指标来衡量系统的负载状态,帮助运维人员了解系统的负载状态,从而判断系统是否过载、是否需要优化配置或增加硬件资源等,以保持系统的稳定和高效运行。平均负载是一个关于时间的指标,它衡量了系统活跃的进程数量,指的是单位时间内系统处于可运行状态和不可中断状态的平均进程数,也就是一定时间范围内系统中平均活跃进程数。这些进程包括正在使用CPU运算的进程和等待CPU资源的进程,即运行队列中的进程数。系统的负载高表明系统同时处理的任务进程比较多。

平均负载示意图

在Linux系统中,通常用三个时间段的平均活跃进程数来描述平均负载情况,通常表示为 1 分钟、5 分钟和 15 分钟的平均负载。这三个值分别代表了过去 1 分钟、5 分钟和 15 分钟内平均活跃的进程数量。

阅读全文 »

一、综述

在Linux系统功能设计中,文件系统承担着整个系统的数据持久化功能,而文件又是文件系统的数据处理单元,管道、socket、块设备、文件目录等均可以通过文件的方式来进行管理,熟练的掌握文件操作至关重要。
本篇文章从以下几个方面总结常用的文件操作命令,致力于提高Linux运维效率。

  • 磁盘信息概览
  • 文件摘要查看命令
  • 文件查找命令
  • 文件压缩与解压命令
  • 文件传输命令
阅读全文 »

一、建站背景

  之前一直有在CSDN网站(程序员在旅途)写博客,记录相关技术知识的解决思路,分享作为程序员的成长历程,也在想着能有一个专属的个人版简约网站。一次偶然的机会,巧遇Hexo,被Next主题的简约所吸引,所以在2020年起搭建程序员在旅途博客站点。博客网站采用Hexo+Next主题构建,然后托管在公有云服务器上基于域名(meijindong.com)对外提供访问。
  程序员在旅途博客建设过程中,主要涉及到了站点本身的配置优化、域名配置、搜索引擎检索等内容,将会以系列文章的形式发布出来。

  本篇博客主要介绍站点本身的配置以及优化过程,主要涉及以下过程:

1. hexo站点搭建;
2. 配置Next主题(界面配置、站内搜索、valine评论);
3. 博客发布。

阅读全文 »

一、背景介绍

  随着社会生活中数据量的急剧增多,如何从这些海量的数据中提取与发掘出对我们决策有用的信息成为当前亟待解决的题,因此,数据分析与挖掘技术在这些年得到了广泛的发展,也受到了足够的重视。面对不同领域的数据,不同的任务目标,我们在进行数据分析时也会选择不同的模型来进行建模,从而发现数据中的特征,提取其中的价值。常见的数据挖掘模型有:分类与预测、聚类分析、关联规则、时序模式、离群点检测等。这些模型,在我们的生活中已经有了广泛的应用。例如航空公司的客户价值分析,就是对用户数据进行聚类分析,发掘出不同价值群的用户,然后有针对性的制定相应的营销手段,实现精准化运营,以期获取最大的用户转化率。

本篇博文的实例来源于《Python数据分析与挖掘实践》(第二版)中的第七章。实现的主要目标是:
  1,借助航空公司客户数据,对客户进行分类。
  2,对不同客户类别进行特征分析,比较不同类别的客户价值。
  3,针对不同价值的客户类别制定相应的营销策略,为其提供个性化服务。

阅读全文 »

一、数据分析与挖掘介绍

  从人类历史演变的角度出发,我们回顾整个计算机的发展历程可以看到,从第一台电子计算机(ENIAC)于1946年2月诞生到今天,也不过是短短的六十载,但就是在这短短的几十年过程中,计算机技术得到了飞速的发展,极大地促进了社会生产力的提高,提升了生产制造水平。可以说计算机技术是近代以来发展最为迅速的技术之一。
  尤其是近年来,随着半导体技术,通讯技术的不断发展,人类收集数据和存储数据的能力都得到了极大的提高。无论是在科学研究还是社会生活的各个领域中都产生积累了大量的数据,对这些数据进行分析以挖掘出蕴含在这些数据中的有用信息,已成为我们各个领域的共同需求,对改善人类的生活,促进社会的发展有着极大的作用。
  数据分析与挖掘是指利用数学和计算机的手段,对收集来的数据进行适当的处理和开发,以求最大化地开发数据的功能,发挥数据的作用。具体来说,数据挖掘是从海量的数据中挖掘出隐含的、先前未知、对决策有潜在价值的关系、模式、趋势,并利用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具、和过程。
  留心观察就会觉察到,大数据分析在我们生活中的应用案例屡见不鲜。例如许多电商网站会根据用户的历史浏览足迹、购买记录等数据,挖掘出用户的喜好等信息,然后基于用户的兴趣偏好,把用户感兴趣的物品或者视频、资讯等推荐给用户,给用户带来沉浸式的体验,让用户感到一定的满足感,优化用户的体验。

阅读全文 »

一、概述

  定时任务这个概念在Java的学习以及项目的开发中并不陌生,应用场景也是多种多样。比如我们会注意到12306网站在锁定车票的30分钟以内要进行车票费用的支付,否则订单会被取消;再比如我们的考试系统,考试管理人员上传好考试信息,考试系统会根据考试信息准时开考;还有上课的铃声会在每周的上课时间准时响起,等等。这些生活细节只要我们稍微注意,留心观察,便会发现编程已经早早地融入到我们生活的方方面面,定时任务也随之应用到这些程序之中。因此,了解好定时任务,对我们的程序的编写有很大的帮助。

阅读全文 »

一、嵌入式系统的由来

  1.1 嵌入式系统的概念:
  嵌入式系统是以应用为中心,以现代计算机技术为基础,能够根据用户需求(功能、可靠性、成本、体积、功耗、环境等)灵活裁剪软硬件模块的专用计算机系统。
  1.2 嵌入式系统发展的三个阶段:
   第一阶段:19世纪70年代,随着8位、16位微处理器的诞生,以这些微处理器为核心所构成的系统广泛地应用于仪器仪表、医疗设备、机器人、家用电器等领域。
   第二阶段:随着微电子工艺水平的提高,集成电路制造商开始把嵌入式计算机应用中所需要的微处理器、I/O接口、A/D转换器、D/A转换器、串行接口,以及RAM、ROM等部件全部集成到一个VLSI中,从而制造出面向I/O设计的微控制器,即俗称的单片机。
   第三阶段:以芯片技术和网络通信技术为标志。微电子技术发展迅速,SOC(片上系统)使嵌入式系统越来越小、但是功能越来越强。与网络通信技术的结合形成了我们今天熟知的物联网。

阅读全文 »

一、slf4j 日志组件介绍

  项目开发,部署运行过程中,记录运行日志的重要性不言而喻。在项目线上运行的过程中,日志基本成为我们了解系统运行状态的唯一工具,因此,了解好Java中常见日志组件的使用以及原理,对我们的项目开发有着重要的意义。
  在Java中,经常听到的关于日志的组件有很多,比如:slf4j,commons-logging,log4j,logback,slf4j-simple, jdk自带的java.util.Logging 等等。梳理清楚这些组件之间的关系对于组件的熟练使用来说至关重要。在我们的项目逐渐复杂的过程中,我们可能会越来越多的引入第三方的开发包,这些开发包中也不可避免的会使用一些不同的日志组件,但有没有发现,我们的项目仍然可以正常的打印的日志,正常的运行,不出问题,这就完全得益于Java中日志系统的优良设计模式。
  slf4j 、commons-logging和java中的jdbc有点像,这两个组件设计了日志系统的通用接口,其他的日志组件如 log4j 等是日志功能的具体实现。说白了也就是,slf4j定义了该做什么,并指明了这么做需要遵守什么规则,log4j这些组件实现了怎么做,也就是该如何记录日志,并遵守了相关的规则。
  slf4j的全称 Simple Logging Facade for Java(简单日志门面),这个组件的设计采用了Facade 设计模式,它为Java程序提供了一个统一的日志输出接口,但是这个组件不提供具体的日志实现方案,因此,如果准备让程序记录日志,还必须要引入具体的实现了日志记录功能的组件,在这里,以 log4j 为例,来为程序实现日志记录功能。

阅读全文 »

一、背景。

  最新一年(2019)的软件测试大赛即将拉开帷幕,今天与往年相比,增加了自主可控的分赛项,进一步的丰富了比赛的内容,各项评分依据也更加明确,因此能够根据分数更有针对性的找出自己的代码问题了,从而获得更好地分数,提高脚本编写能力。评测工具完善速度之快,超出个人想象,可以看得出来主办方费心了,预祝软件测试大赛发展的越来越好。
  自主可控赛项的比赛内容有三部分构成,分别为:功能测试、性能测试、众包测试,其中功能测试的内容就是利用Selenium测试工具对Web应用进行功能测试。之所以称作为自主可控,是因为待测试Web应用是部署在国产的应用服务器上面的,采用的国产CPU、操作系统等,具备完全自主知识产权,编写的脚本也必须启动国产浏览器(360浏览器、QQ浏览器)来测试Web应用才可以得分。
  有关Selenium的介绍与环境安装,在之前的一篇博客里面也写过,链接为Selenium介绍及环境搭建。经过又一段时间的学习,对这个有了进一步的认识,加上此次比赛需要使用国产浏览器的环境,此前并不了解这方面的东西,因此打算在这里再次记录一下学习过程与心得体会。
  对软件测试感兴趣的,想参加的比赛的,官网地址在这里全国大学生软件测试大赛

阅读全文 »

一、性能测试的定义

  性能测试是通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。负载测试和压力测试都属于性能测试,两者可以结合进行。通过负载测试,我们可以了解在各种工作负载下系统的性能,当负载逐渐增加时,可以观测系统各项性能指标的变化情况。压力测试是通过确定一个系统的瓶颈或者不能接受的性能点,来获得系统能提供的最大服务级别的测试。

二、性能测试的关注点 — 系统吞吐量

  吞吐量是衡量系统性能的一个重要指标,在计算机领域,一个系统的吞度量(承压能力)与CPU的运算能力、外部接口、IO、处理任务的程序质量等紧密关联。当一个计算机系统的CPU运算速度更强,外部接口性能更好,IO传输速度更快、程序算法的质量更高的时候,相应地,系统处理任务的的速度就会越快,吞吐量自然就会上去,这时候我们就会认为系统的性能是更好的。
  当我们想选择一些参数来评估一个系统的性能的时候,我们经常会见到 QPS(TPS)和并发数这两个词,QPS(TPS)指的是 每秒钟系统处理的request/事务 数量。并发数指的是  系统同时处理的request/事务数。那么这两个参数是如何衡量系统吞吐量的呢?这里需要清楚的是,QPS/并发数=响应时间,系统的响应时间越短,说明系统提供服务的能力越好。但是由于软硬件的限制,每套系统这两个值都有一个相对极限值,在应用场景访问压力下,只要某一项达到系统最高值,系统的吞吐量就上不去了,如果压力继续增大,系统的吞吐量反而会下降,因为系统会超负荷工作,调度程序会更频繁的进行任务上下文切换、内存等其它消耗会导致系统性能下降。

阅读全文 »