Pandas tips - 分组计算
本文参考: [Pandas_Advanced_Exercise]: https://github.com/liuhuanshuo/Pandas_Advanced_Exercise “第6章 数据分组与聚合” 分组后进行统计。mean() 可以替换成 max() , min() , count() 等 # 计算分组后的平均值 df[["district", "salary"]...
本文参考: [Pandas_Advanced_Exercise]: https://github.com/liuhuanshuo/Pandas_Advanced_Exercise “第6章 数据分组与聚合” 分组后进行统计。mean() 可以替换成 max() , min() , count() 等 # 计算分组后的平均值 df[["district", "salary"]...
Introduction 这篇文章主要提出了一个泛化的时间序列模型,主要聚集在时序变化建模。 作者观察到: 实际生活中的time series往往具有多周期性,比如天气观察每日/每年的波动,或者电力每周/每季的波动。这些多周期互相影响和覆盖,使时间变化的建模变得困难。 每个时间点的变化不仅受其周围点的影响,也受周围周期的影响。作者将其命名为周期内(intraperiod) 的变化...
由于之前处理一个cpu消耗比较大的程序,想了解一下电脑的cpu处理原理 CPU主要构成 逻辑处理器和内核 cpu中有两个概念:processor数量 (NumberOfLogicalProcessors) 和cores数量 (NumberOfCores)。 物理核心数(内核数,cores)决定了cpu可以同时处理多少个独立计算任务,而逻辑处理器数(Processors)决定了在这些核心上...
在时间序列、数字信号的数据处理中经常会看到使用FFT作为一段数据中提取频率的手段,但是往往文中没有花大笔墨去解释,仿佛所有人都了解这个概念。 FFT(Fast Fourier Transform) 为快速傅里叶变换,是一种高效计算DFT(Discrete Fourier Transform),离散傅里叶变换的方法。在了解FFT之前需要先了解DFT的作用。 DFT 离散傅里叶变换(Dis...
Anomaly Transformer是一个由Transformer: Attention Is All You Need 启发出的检测时间序列异常点的无监督学习算法。在这一篇我会深度解析论文算法以及代码的一一对应,让人更方便能读懂和使用源代码。 阅读前提 你应该大致阅读了Anomaly Transformer论文本体(起码Introduction) ...
读取表格数据: read_csv() Ref: pandas.read_csv() (在读取时)进行行列筛选 读取前xx行:nrows pd.read_csv("data.csv", nrows=20) 将第xx行作为headers:headers pd.read_csv("data.csv", headers=20) ...
json.loads() / json.dumps() vs json.load() / json.dump() 的区别:s 代表 string ,前两个用于字符串转换,后两个用于读取/写入.json文件 json(dict) 与字符(str)转换 str转json:json.loads() json.loads() 函数主要用于转换字符串格式的JSON文件(或者dict)。用法例如 ...
在上传一篇文献阅读笔记到Github page时发现公式无法正常显示,之前在typora中能够正常显示的代码在网页上显示为纯latex格式于是进行了一些搜索。 我使用的Jekyll模板是chirpy,具体效果可能与使用的模板也有关系。 问题原因 这个问题的原因出在GitHub Page里的Jekyll虽然支持Markdown,但是不能正确显示公式 [1]。在检索中我发现比较通用...
本论文全名为Anomaly Transformer: Time Series Anomaly Detection with Association Descrepancy(通过关联差异进行时序异常检测),主要提出了一种无监督的异常点检测算法,并在6个benchmarks上测试,获取良好结果。 论文链接:ANOMALY TRANSFORMER: TIME SERIES ANOMALY DET...
有时候在调用需要用异步调用API接口。在python中有很多框架,比如 asyncio, Celery,Quart 等。这里我选择了 asyncio。Python 3.5以上版本内置了asyncio库,可以用来编写单线程的并发代码。可以使用此库与aiohttp结合来发送异步HTTP请求。 Python调用案例 GET import asyncio import aiohttp asy...