Uninote
Uninote
用户根目录
工作日志

数据支撑:先从数据支撑分析,首先第一个数据的存储,现在数据量比较少用mysql就行了,免费而且效率也挺好,oricle不建议,比较重而且要花钱,数据量大了可以将mysql做主从,也就是多几台服务器就行了,到时候可能还会有数据同步相关的需求,可以使用canal,也可以使用logstash来,只不过canal需要手动去实现,而logstash只需要写配置就行了

数据分析:数据有了,然后就是数据的分析,这里就要使用大数据相关的一些技术了,可以使用elasticsearch进行数据的存储,然后可以使用kibana来进行分析,好处是不用写什么代码,只要受有数据就能分析,现在大数据使用的一些技术Hive, HBase, Hadoop, Spark, HDFS

后端:yii和think php

中间件:当数据量起来了的时候也可以使用中间件消息队列来进行数据处理,这样可以降压,比如activeMQ,ribbitMQ,rocketMQ这些都是一些现在生态比较好的,也可以使用kafka这种专门用来处理大数据的消息队列,这些都可以让mysql降压

缓存:现目前可以使用最轻便简洁的redis,操作比较简单

容器:docker不二之选

代理:nginx

加速:cdn,云加速

前端:jquery,vue,bootstrap

前端

jquyer, Vue, BootStrap

后端

yii,thankphp

数据处理

hbase, hive, spark, HDFS

反向代理

nginx

容器技术

docker,对环境的迁移和部署提供便利

搜索和数据分析

elasticsearch,搜索数据 kibana分析数据

数据库

关系型:mysql,explain的用法,事务的一些机制,索引的使用, sql调优 非关系型:掌握redis就行了,学会一些基本的使用,可以了解以下分布式锁的实现setnx和setex 主从的实现

开发

代码的review,分析代码的复杂度

数据库同步工具

canal,logstash

Linux的使用必须会

基本的命令,切换目录这些东西 文件的一些操作, 权限的修改, 进程的一些操作, 端口扫描, 文件查找 shell, 网络相关命令, ping

tcp/ip协议簇

一些常见的tcp协议族,常见协议的端口

分布式事务

可以了解一下分布式事务的处理和解决方式

分布式锁

redis分布式锁的实现,zookeeper分布式锁的实现等等

持续集成

可以使用jenkins

安全

服务器怎么防攻击,比如使用假冒令牌让用户被提权,mysql服务被攻击,xss攻击等等,应该如何防护

社会工程学

掌握社会工程学对运营的帮助非常大

工作日程

爬虫整理

点赞(0) 阅读(252) 举报
目录
标题