数据采集、爬虫、自媒体_十点数据 http://www.blog2019.net/ 十点数据是一个分享Java、Python、微服务、分布式、大数据、NOSQL数据库等使用经验的平台,专注于互联网数据采集、企业数据采集、自媒体运营等领域。 致力于为广大Java、Python、数据采集,爬虫工程师等领域爱好者,提供实际工作中的问题解决方法、方案、使用技巧等。同时,为自媒体工作者,提供一些自媒体写作与运营技巧相关文章,提高其工作效率。 zh-cn selenium突然如下报错时,selenium退回4.9.0即可 错误类型: 1: TypeError: WebDriver.init() got an unexpected keyword argument ‘executable_path‘ 2: TypeError: WebDriver.init() go... 猪猪侠 2023-12-27 13:33 http://www.blog2019.net/post/252 http://www.blog2019.net/post/252 html.unescape与HTMLParser().unescape使用区别 python3.6.1中使用HTMLParser().unescape 可以正常转码。但是python3.11中存在转码失败的情况。 python3.11中通过html.unescape方式转码,正常! 猪猪侠 2023-12-25 16:28 http://www.blog2019.net/post/251 http://www.blog2019.net/post/251 AttributeError: module 'networkx' has no attribute 'from_numpy_m 在使用 TextRank4Keyword().analyze(text, lower=True, window=2) 的时候报错: AttributeError: module 'networkx' has no attribute 'from_... 猪猪侠 2023-12-08 18:26 http://www.blog2019.net/post/250 http://www.blog2019.net/post/250 Python3安装textrank4zh实现分词关键词提取及摘要生成报错:AttributeError: module ‘networkx’ has no attribute ‘from_numpy_matrix’ 1、安装textrank4zh pip install textrank4zh 常见问题:** 1、AttributeError: module 'networkx' has no attribute 'from_numpy_matrix' 由... 猪猪侠 2023-09-17 02:00 http://www.blog2019.net/post/249 http://www.blog2019.net/post/249 阿里云域名解析到非80端口 1、先新建一个 ‘test’ 子域名,记录类型为 “A”,将子域名解析到 ‘118.187.xxx.xxx’ (也就是服务器的默认80端口) 2、再新建一个主机记录为 “www” 的域名 ,记录类型为 “隐式URL”,记录值为刚刚建的 "子域名... 猪猪侠 2023-04-23 13:46 http://www.blog2019.net/post/248 http://www.blog2019.net/post/248 新版知乎x-zse-96参数101_3_3.0版分析 分析后得到的js文件《x-zse-96.js》: // Credit: RSSHub var crypto=require('crypto'); var md5=crypto.createHash("md5"); function get_md5... 猪猪侠 2023-03-01 09:50 http://www.blog2019.net/post/247 http://www.blog2019.net/post/247 pycurl.error: (60, 'SSL certificate problem: unable to get local issuer certificate') # curl也会通过验证服务器的证书来证明服务器声明的身份,如果验证失败curl将拒绝和这个服务器连接,可以使用参数--insecure(-k)忽略服务器不能被验证。 # 更多关于服务器证书验证以及ca cert bundles可以参读SSLCE... 猪猪侠 2023-01-29 15:56 http://www.blog2019.net/post/246 http://www.blog2019.net/post/246 Selenium + Chrome 使用用户名密码认证的代理IP封装 主要参考githubCreateProxyExtensionHelper 项目。 具体操作及代码如下: 1:处理代理IP的核心类《ExtensionHelper》 from selenium import webdriver from PIL i... 猪猪侠 2023-01-06 15:37 http://www.blog2019.net/post/245 http://www.blog2019.net/post/245 启动mtimdump报错:AttributeError: module ‘asyncio‘ has no attribute ‘WindowsSelectorEventLoopPolicy‘ 切换一下版本即可: pip install mitmproxy==5.0.1 猪猪侠 2022-12-05 18:02 http://www.blog2019.net/post/244 http://www.blog2019.net/post/244 Echarts的legend多列显示,并设置列之间距离 有10个legend,要分左右显示,并且每五个字换行显示 前者很快就解决出来了,后者换行显示的话文字挨得很近,可以通过设置legend的right属性进行列间隔设置。 "legend":[ { "icon": "circle", "right":... 猪猪侠 2022-11-24 00:54 http://www.blog2019.net/post/243 http://www.blog2019.net/post/243 python 3.6 安装transformers时,报错:ModuleNotFoundError: No module named 'transformers' 这种情况出现的原因可能就是指定安装的transformers的版本太低。目前使用3.4版本的较多,可以尝试一: 将自己安装的低版本进行升级为版本较高的transformers,即 pip install transformers==3.4 猪猪侠 2022-10-14 17:45 http://www.blog2019.net/post/242 http://www.blog2019.net/post/242 pytorch安装报错:ERROR: torch has an invalid wheel, .dist-info directory not found 在windows11,安装pytorch。运行pip install torch时安装torch时报错 ERROR: torch has an invalid wheel, .dist-info directory not found 安装时候... 猪猪侠 2022-10-14 17:41 http://www.blog2019.net/post/241 http://www.blog2019.net/post/241 ImportError: cannot import name 'joblib' 错误信息如下: Traceback (most recent call last): File "E:\WorkSpace_SaaS_WeChat\KerasBert\src\word2vec_analysis.py", line 8, in &... 猪猪侠 2022-10-14 16:38 http://www.blog2019.net/post/240 http://www.blog2019.net/post/240 JQuery实现删除点击元素其他同级元素的class值 $(".brand li").click(function() { $(this).find("a").addClass("current"); $(this).siblings().find("a").removeClass("current"... 猪猪侠 2022-10-06 22:34 http://www.blog2019.net/post/239 http://www.blog2019.net/post/239 基于微信公众号平台的公众号、公众号文章、视频号等数据采集源码 # -*- coding: utf-8 -*- from selenium import webdriver import time import json import requests import re import random #微信公... 猪猪侠 2022-10-06 15:33 http://www.blog2019.net/post/238 http://www.blog2019.net/post/238 mysql获取当天,昨天,本周,本月,上周,上月的起始时间 今天 SELECT DATE_FORMAT(NOW(),'%Y-%m-%d 00:00:00') AS '今天开始'; SELECT DATE_FORMAT(NOW(),'%Y-%m-%d 23:59:59') AS '今天结束'; 昨天 SE... 猪猪侠 2022-10-05 15:48 http://www.blog2019.net/post/237 http://www.blog2019.net/post/237 python项目中,如何导出依赖的第三方库,并在新环境中安装 法一: 将会导出当前Python环境下所有类库包 1. 导出项目安装过的第三方库-激活项目环境,在终端命令行输入: pip freeze > requirements.txt 2. 在新环境安装已导出的第三方库: 命令行或终端输入: pi... 猪猪侠 2022-09-28 17:58 http://www.blog2019.net/post/236 http://www.blog2019.net/post/236 解决requests下载网页时的"RecursionError: maximum recursion depth exceeded while calling a Python object"错误! 我的requests库是2.25.0,重新安装2.23.0解决问题。其他版本没有尝试,具体原因尚未详细研究。 pip install requests==2.23.0 猪猪侠 2022-07-01 11:28 http://www.blog2019.net/post/235 http://www.blog2019.net/post/235 Python的print打印报编码错误的解决方法 错误类似如下提示: 'gbk' codec can't encode character '\xa9' in position 19672: illegal multibyte sequence 这个问题一般也就是在cmd中才会有。 在cmd中... 猪猪侠 2022-05-13 10:01 http://www.blog2019.net/post/234 http://www.blog2019.net/post/234 Urllib库添加Headers的方法 方法一:借助build_opener和addheaders完成 import urllib.request import os,sys,io #解决编码问题,修改默认编码为gb18030 sys.stdout = io.TextIOWrapper... 猪猪侠 2022-05-13 09:52 http://www.blog2019.net/post/233 http://www.blog2019.net/post/233 PYTHON Consider using the `--user` option or check the permissions. ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问。: 'D:\\Program Files (x86)\\Python\\Python39-32\\Lib... 猪猪侠 2022-04-19 01:51 http://www.blog2019.net/post/232 http://www.blog2019.net/post/232 python module ‘mitmproxy.proxy‘ has no attribute ‘config‘问题解决 python module ‘mitmproxy.proxy’ has no attribute 'config’问题解决 原因是mitmproxy的版本太高,目前7.x的版本已经不是这样解决了,使用下面的语句降一下版本即可: pip insta... 猪猪侠 2022-04-19 01:36 http://www.blog2019.net/post/231 http://www.blog2019.net/post/231 python3安装demjson报错 python3 安装 demjson 2.2.4 出现以下报错 error in demjson setup command: use_2to3 is invalid 由于 demjson 2.2.4 兼容python2和python3,当安装... 猪猪侠 2022-04-14 21:07 http://www.blog2019.net/post/230 http://www.blog2019.net/post/230 pymysql (1129, "XXX.XXX.XXX.XXX' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'")解决方法 原因:   同一个ip在短时间内产生太多(超过mysql数据库max_connection_errors的最大值)中断的数据库连接而导致的阻塞; 解决方法: 1、提高允许的max_connection_errors数量(治标不治本): ① 进入... 猪猪侠 2022-03-31 09:51 http://www.blog2019.net/post/229 http://www.blog2019.net/post/229 一个bat文件启动多个python文件 最近在做基于搜索引擎的关键词搜索采集,由于是定制开发,所以每个搜索引擎的采集,最后都是一个单独的采集脚本。 如果没有一个统一的启动文件,每次都需要一个文件一个文件的启动,很繁琐。 下图是实现的最终效果: Start语法: 启动另一个窗口运行指... 猪猪侠 2022-03-17 18:02 http://www.blog2019.net/post/228 http://www.blog2019.net/post/228 Font Awesome 一套绝佳的图标字体库和CSS框架 Version 4.7.0 Font Awesome为您提供可缩放的矢量图标,您可以使用CSS所提供的所有特性对它们进行更改,包括:大小、颜色、阴影或者其它任何支持的效果。 一个字库,675个图标 仅一个Font Awesome字库,就包含了与网页相关的所有形象图标。 无需... 猪猪侠 2022-03-04 01:06 http://www.blog2019.net/post/227 http://www.blog2019.net/post/227 Python3 集合使用技巧:获取字典中值最大者的key 字典入:rDic = {"业务无关":1,"体育":2, "广告类":5} 方法1:lambda max(rDic, key=lambda k: rDic[k]) '广告类' 方法2:get max(rDic, key=rDic.get) '广... 猪猪侠 2022-02-11 00:59 http://www.blog2019.net/post/226 http://www.blog2019.net/post/226 Python3对字典操作时遇到错误:RuntimeError: dictionary changed size during iteration 字典如下: a={'a':1, 'b':0, 'c':1, 'd':0} for key in a.keys(): del a[key] 报错信息如下图: 报错大致意思是说:在操作字典时,不可对其进行修改。官方建议转成列表或集合后,在进行后续... 猪猪侠 2022-02-09 18:48 http://www.blog2019.net/post/225 http://www.blog2019.net/post/225 个人网站如何接入支付功能_支持个人支付的第三方平台整理 作为个人开发者,为自己的辛苦开发的项目配上支付功能,才有盈利的盼头!但是目前大部分都需要企业资质,那对应个人而言如何在网站、应用中接入支付功能呢?这里找了一些不需要企业资质的第三方支付平台。 1、PayPal 个人,企业都可以接入,作为一款主打跨... 猪猪侠 2021-12-31 17:42 http://www.blog2019.net/post/224 http://www.blog2019.net/post/224 关于springboot框架报后端保存MySQL是,报:Column ‘XXX’ specified twice Column ‘XXX’ specified twice 仔细检查Mybatis中 sql语句看看有没有写`重复`的字段 猪猪侠 2021-12-29 16:31 http://www.blog2019.net/post/223 http://www.blog2019.net/post/223 Python3.X动态加载模块和类,并执行特定的方法; #coding=UTF-8 import importlib 1、获取模块对象 mName = "org.eseet.traffic.accident.TrafficAccidentyAnQuan"#模块路径,精确到.py文件 module =... 猪猪侠 2021-09-30 18:38 http://www.blog2019.net/post/222 http://www.blog2019.net/post/222 python3.X 报错:ModuleNotFoundError: No module named 'Crypto'的解决方案 在使用python的第三方库Crypto时,代码如下 from Crypto.Cipher import AES 运行程序,出现报错: ModuleNotFoundError:No module named "Crypto" 首先想到的是安装... 猪猪侠 2021-09-28 23:52 http://www.blog2019.net/post/221 http://www.blog2019.net/post/221 新版知乎搜索采集x-zse-93、x-zse-96加密破解 一:nodejs,jsdom环境安装 ①去官网下载nodejs安装, ②npm install jsdom ③在node_modules文件夹里检查有没有jsdom文件夹,有则代表安装成功,将此路径复制下来在代码里使用。 二:登录Cookie... 猪猪侠 2021-09-25 13:51 http://www.blog2019.net/post/220 http://www.blog2019.net/post/220 PyCurl设置HTTP代理示例 import pycurl , time, traceback from com.fy.utils.html.HtmlCode import HtmlCodeUtils from com.fy.utils.date.DateUtils impor... 猪猪侠 2021-09-17 18:19 http://www.blog2019.net/post/219 http://www.blog2019.net/post/219 Gevent结合PyCurl实践(升级篇) # encoding=utf-8 ''' Created on 2015-11-23 @author: fy ''' import pycurl , time, traceback #如果没有给gevent打上补丁的话,它是检测不到除gevent... 猪猪侠 2021-09-14 10:29 http://www.blog2019.net/post/218 http://www.blog2019.net/post/218 错误:pycurl.error: (60, 'SSL certificate problem: self signed certificate in certificate chain')解决方案 The problem is that pycurl needs an up-to-date certificate chain to verify the ssl certificates. A good solution would be t... 猪猪侠 2021-09-12 18:45 http://www.blog2019.net/post/217 http://www.blog2019.net/post/217 Error creating bean with name 'flywayInitializer' defined in class path resource [org/springframework/boot/autoconfigure/flyway/ 错误信息如下: ` Spring Boot : 2.2.6.RELEASE mblog : 4.0.0 mblog storage : E:\WorkSpace\mblog 2021-07-06 01:39:59 [restartedMain] ... 猪猪侠 2021-07-06 01:48 http://www.blog2019.net/post/216 http://www.blog2019.net/post/216 pymysql Warning: (1366, "Incorrect string value: '\\xF0\\x9F\\x92\\xAB` ...' for column 'self_media_brief' at row 1") 在处理emoji时,报错1366,原因是编码造成的 在mysql8里,字符集默认就是 utf8mb4,已支持emoji python3默认就是utf8 原因就出在两个字符集上,utf8mb4是utf8的超集,mb4是most bytes 4的意思... 猪猪侠 2021-06-25 15:36 http://www.blog2019.net/post/215 http://www.blog2019.net/post/215 json.decoder.JSONDecodeError: Expecting property name enclosed in double quo错误 写爬虫的时候遇到 json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)错误! 这里是把j... 猪猪侠 2021-06-23 15:55 http://www.blog2019.net/post/214 http://www.blog2019.net/post/214 JavaFX系列之WebView加载网页后,登录时出现“网络连接失败,请重试”的解决方法 相关阅读: JavaFX系列之给对象添加ContextMenu菜单 JavaFX系列之WebView介绍 JavaFx系列之WebView插件中JavaScript和Java相互调用,并传递值 JavaFX系列之WebView加载网页后,登录时出... 猪猪侠 2021-04-03 23:37 http://www.blog2019.net/post/213 http://www.blog2019.net/post/213 Linux Red Hat 3.10.0-1127.19.1.el7.x86_64 下安装mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz 环境 操作系统:Linux iZ2ze47rd7nthnbzdggsvrZ 3.10.0-1127.19.1.el7.x86_64 #1 SMP Tue Aug 25 17:23:54 UTC 2020 x86_64 x86_64 x86_64 ... 猪猪侠 2021-03-09 21:22 http://www.blog2019.net/post/212 http://www.blog2019.net/post/212 Python3.X中编码问题 Python在爬取数据,获取读取文件字符串时,经常会报如下错误: UnicodeEncodeError: 'gbk' codec can't encode character '\uXXXX' in position 10: illegal mu... 猪猪侠 2021-03-06 00:11 http://www.blog2019.net/post/211 http://www.blog2019.net/post/211 使用SecureCRT实现文件的上传下载 一、使用命令来操作文件传输 1.使用命令来传输文件快捷键 ALT+P 会出现下面界面 现在就可以使用命令来传输和下载了 2.在这个界面里可以使用正常的linux命令 解释如下: sftp> pwd #显示当前路径 /root sftp... 猪猪侠 2020-12-04 15:51 http://www.blog2019.net/post/210 http://www.blog2019.net/post/210 数据采集中代理IP的使用 1.首先构造: session` import requests session=requests.Session() 2.构造代理: proxy proxies的格式如下 第一种:用户名username、 密码password、 proxy_... 猪猪侠 2020-11-27 16:55 http://www.blog2019.net/post/209 http://www.blog2019.net/post/209 解决layui内页打开新的tab页面时,不显示的问题。 调用默认的**xadmin.add_tab添加新tab时,需要刷新界面,新tab才会显示。为了解决这一缺陷,需要在xadmin.js中添加下述代码,新增时改用调用add_tab_f**方法即可。 //在xadmin.js中添加 Xadmin.pr... 猪猪侠 2020-11-16 11:27 http://www.blog2019.net/post/208 http://www.blog2019.net/post/208 一种基于PC端微信公众号的高效采集监测方法 相关阅读: 一套价值十万的微信公众号采集解决方案 史上最快、最笨的公众号文章阅读数、在看数采集,哈哈 Python爬虫实践:如何快速、高效的爬取微信公众号阅读在看数 微信采集之公众号账号信息 最近公司微信采集有了新的突破,可以基于微信PC端进行公... 猪猪侠 2020-09-26 22:29 http://www.blog2019.net/post/207 http://www.blog2019.net/post/207 杰夫·贝佐斯(亚马逊总裁) :2020年致股东的一封信(电商圣经) 致我们的股东: 我们从此次新冠病毒疫情中学到的一件事是:亚马逊对我们的用户来说变得多么重要。我们希望你们知道,我们认真对待这一责任,我们为我们的团队正在帮助用户度过这段困难时期所做的工作感到自豪。 “亚马逊人”正夜以继日地工作,以便将必要的物资直... 猪猪侠 2020-09-05 01:40 http://www.blog2019.net/post/205 http://www.blog2019.net/post/205 新榜指数(NRI)算法说明 新榜指数(NRI)算法说明 什么是新榜指数 新榜指数(New Rank Index,NRI)系由新媒体排行榜(newrank.cn)基于海量数据、用户深度反馈及专家建议而推出,用于衡量中国移动互联网渠道新媒体(主要指两微一端)的传播能力,此指数反... 猪猪侠 2020-09-05 01:22 http://www.blog2019.net/post/204 http://www.blog2019.net/post/204 (WCI)微信指数是怎么算出来的 WCI(由清华大学新闻与传播学院提供学术支持,国内多个高校的知名学者教授担任学术顾问)是清博指数的一种算法,具体算法如下(已更新到V12.0):1、关于公式调整说明: 由于WCI-11.3在指标设置上存在一定局限性(总阅读数受评价周期长短影响大,... 猪猪侠 2020-09-04 23:14 http://www.blog2019.net/post/203 http://www.blog2019.net/post/203 基于jquery-loading实现的九种页面预载入效果(loading) 最近一个多月,在做一个类似搜索引擎的自媒体账号搜索服务平台,点击搜索时需要用到loading数据加载的状态。现整理几种效果较好的实现方式,供大家参考。 第一种:默认效果 第二种:纵向文字颜色 第三种:纵向效果无title 第四种:纵向效果无... 猪猪侠 2020-09-02 02:10 http://www.blog2019.net/post/202 http://www.blog2019.net/post/202 img引用网络图片资源无法加载问题解决 最近在做自媒体号综合查询服务系统时,发现各个账号的头像总是无法显示。但是如果头像地址在浏览器中打开以后,刷新就能显示出来。如下图所示: 后来发现是meta配置问题。 解决办法: 在图片显示的界面把meta referrer标签改为never &... 猪猪侠 2020-08-29 16:05 http://www.blog2019.net/post/201 http://www.blog2019.net/post/201 如何实现一个类似淘宝搜索条件筛选的效果? 最近做自媒体账号搜索,需要一个条件筛选控件,最后发现淘宝的筛选样式挺好,就在网上找了一个,并根据实际进行了部分修改完善。 最终效果如下: 实现代码如下所示: <link rel="stylesheet" type="text/css" h... 猪猪侠 2020-08-26 14:07 http://www.blog2019.net/post/200 http://www.blog2019.net/post/200 基于JQuery.Qrcode插件的URL转为微信可识别的二维码 最近在做一个自媒体账号查询的搜索引擎,其中有微信公众号部分,主要把公众号首页地址转为微信公众号可以识别的二维码,以方便用户添加自己关心的公众号。 本来想采集搜狗微信中的二维码,却发现二维码是临时的,时间长就无法使用了。故想到直接把微信历史文章页转... 猪猪侠 2020-08-26 13:53 http://www.blog2019.net/post/199 http://www.blog2019.net/post/199 CSS实现鼠标经过网页图标弹出微信二维码 特点 1、纯CSS实现二维码展示功能,减少加载JS; 2、使用CSS3 transform 属性; a 第一步 在需要展示二维码的地方添加如下代码,其中标签内容可以根据需要修改成图片等,href=””表示标签作为按钮使用,不做跳转,实现url访... 猪猪侠 2020-08-23 20:20 http://www.blog2019.net/post/198 http://www.blog2019.net/post/198 Eatzilla Food Delivery App If you want to create a Zomato or uber like app the best way to proceed would be to use an ubereats clone script. An uber e... 猪猪侠 2020-07-31 19:39 http://www.blog2019.net/post/197 http://www.blog2019.net/post/197 银行企业客户风险预警方案 扫码关注博主公众号(十点数据),可以获得100积分哦!! 风险预警设计方案说明书 1引言 1.1编写目的 风险预警主要对客户在XXX银行或其他银行出现的违约风险信息、财务风险信息、担保风险信息、经营管理风险信息、关联风险信息和其他预警信息实现主动... 猪猪侠 2020-07-24 10:09 http://www.blog2019.net/post/196 http://www.blog2019.net/post/196 面试官:比如有10万个网站,有什么方法快速的取到数据吗? 相关阅读: 字节跳动面试锦集(一):Android Framework高频面试题总结 字节跳动面试锦集(二):项目HR高频面试总结 数据采集采集架构中各模块详细分析 网络爬虫的实现原理与技术 爬虫工程师,如何高效的支持数据分析人员的工作? 基于大... 猪猪侠 2020-07-16 15:52 http://www.blog2019.net/post/195 http://www.blog2019.net/post/195 爬虫系列之自动化运维(一)服务器节点详细设计 相关阅读: 网络爬虫的实现原理与技术 Python,开发爬虫的不二选择 我们能用Python做什么?学Python有前途吗? 3人团队,如何管理10万采集网站?(最全、最细解读) 运维系列之FastAPI自动化运维接口服务 运维系列之远程部署神器... 猪猪侠 2020-07-13 22:08 http://www.blog2019.net/post/194 http://www.blog2019.net/post/194 自媒体创作,写着写着“没思路”了? 如何治? 即便你不是广告文案、新媒体运营或市场策划,你仍有可能面对要写方案、报 告、工作总结等文稿。如果你数次打开 word 面对白花花的界面不知如何下手,不得不 冲杯咖啡假装可以获得更多灵感,然并卵。 那么你可能需要一些“没思路”的处方了。 没思路有两种... 猪猪侠 2020-07-10 01:24 http://www.blog2019.net/post/193 http://www.blog2019.net/post/193 一个不错的验证码打码平台 最近在处理基于搜狗微信的公众号信息(不是文章)的采集,由于采集量较大,频繁出现验证码。先前找了一个打码平台,忘记叫啥名字了,费用非调用一次3里钱,而且验证码的识别的准确率也就60~70%吧!平均一天要花费20元左右; 这几天重新找了一家,识别的准... 猪猪侠 2020-07-10 01:02 http://www.blog2019.net/post/192 http://www.blog2019.net/post/192 爬虫系列之数据质量监控实践篇:规则库梳理与设计 先前在《爬虫系列之数据质量监控(二):监控系统设计 》一文中,对采集中数据解析部分可能出现的各种异常,进行了大概的总结。比如:标题或内容中包含乱码、css样式、JavaScript代码等。 由于出现的异常可能千奇百怪,我们不可能提前想到所有现象。... 猪猪侠 2020-06-30 23:02 http://www.blog2019.net/post/191 http://www.blog2019.net/post/191 LayUi的Table表格defaultToolbar工具栏的显示与隐藏(权限控制) LayUi的表格上方的列筛选、打印和导出等三个按钮,如果想要控制其显示或隐藏,需要修改“\layui\lib\layui\lay\modules\”目录下“table.js”中源码, 修改内容如下所示: 图中“cols”、“export”、“p... 猪猪侠 2020-06-15 15:08 http://www.blog2019.net/post/190 http://www.blog2019.net/post/190 50个源自硅谷的工作方法论(十):奥巴马顾问的“清单工作法”一一清单革命 相关阅读: 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 50个源自硅谷的工作方法论(八):找到“方法”的方法一一Solution(方法) 50个源自硅谷的工作方法论(六):把事做对,还是做对的事?一一Target(目的... 猪猪侠 2020-06-15 10:37 http://www.blog2019.net/post/189 http://www.blog2019.net/post/189 Spring Boot+LayUi实现单文件上传 相关阅读: X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? 基于X-admin2.2的后台管理系统登录实现 LayUi的动态表格table中设置下拉框Select编辑器 LayUi搜索时,如何只刷新... 猪猪侠 2020-06-15 01:06 http://www.blog2019.net/post/188 http://www.blog2019.net/post/188 50个源自硅谷的工作方法论(九):贝索斯的“电商圣经”一一PPP工作法 相关阅读: 杰夫·贝佐斯(亚马逊总裁) :2010年致股东的一封信(电商圣经) 杰夫·贝佐斯(亚马逊总裁) :2014年致股东的一封信(电商圣经) 杰夫·贝佐斯(亚马逊总裁) :2011年致股东的一封信(电商圣经) 杰夫·贝佐斯(亚马逊总裁) :... 猪猪侠 2020-06-10 16:58 http://www.blog2019.net/post/187 http://www.blog2019.net/post/187 Spring Boot 2.X+Shiro中如何获取访问的类和方法的注解 相关阅读: 基于X-admin2.2的后台管理系统登录实现 Spring Boot+JPA微服务中数据更新问题(update) Spring Boot+LayUi实现单文件上传 Spring Boot集成X-admin2.2时,Layui字体图... 猪猪侠 2020-06-09 11:48 http://www.blog2019.net/post/186 http://www.blog2019.net/post/186 35岁的技术如何进行职业转型。技术转管理?据说成功率不到70% 导读:曾经看到过一个数据,技术转管理的成功率不到7成,也就是说好不容易在职场中拼杀突围,获得了晋升机会,10个人里至少有3 个人没能完成技术转管理的“惊险一跳”。本文整理自黄哲铿老师在“CSDN学院”的分享,原题为《从技术到管理,你必须迈过的九道... 猪猪侠 2020-06-08 13:33 http://www.blog2019.net/post/185 http://www.blog2019.net/post/185 LayUi的动态表格table中设置下拉框Select编辑器 相关阅读: X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? 基于X-admin2.2的后台管理系统登录实现 Spring Boot+JPA微服务中数据更新问题(update) Spring Boo... 猪猪侠 2020-06-07 17:58 http://www.blog2019.net/post/184 http://www.blog2019.net/post/184 Spring Boot+JPA微服务中数据更新问题(update) 相关阅读: 基于X-admin2.2的后台管理系统登录实现 Spring Boot整合Java web项目 Spring Boot 踩坑系列之Error resolving template Spring Boot集成X-admin2.2时,L... 猪猪侠 2020-06-05 09:23 http://www.blog2019.net/post/183 http://www.blog2019.net/post/183 基于X-admin2.2的后台管理系统登录实现 相关阅读: X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? Spring Boot+JPA微服务中数据更新问题(update) Spring Boot集成X-admin2.2时,Layui字体图标... 猪猪侠 2020-06-04 00:52 http://www.blog2019.net/post/182 http://www.blog2019.net/post/182 X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? 相关阅读: 基于X-admin2.2的后台管理系统登录实现 Spring Boot+JPA微服务中数据更新问题(update) Spring Boot集成X-admin2.2时,Layui字体图标无法正常显示或乱码问题解决方法 LayUi搜索... 猪猪侠 2020-06-02 15:46 http://www.blog2019.net/post/181 http://www.blog2019.net/post/181 50个源自硅谷的工作方法论(八):找到“方法”的方法一一Solution(方法) 相关阅读: 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 50个源自硅谷的工作方法论(六):把事做对,还是做对的事?一一Target(目的) 50个源自硅谷的工作方法论(四):我们是如何陷入贫穷与忙碌?一一稀缺心态 50... 猪猪侠 2020-06-02 13:53 http://www.blog2019.net/post/180 http://www.blog2019.net/post/180 50个源自硅谷的工作方法论(七):如何吃掉一头大象?一一Issue(任务) 相关阅读: 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 50个源自硅谷的工作方法论(八):找到“方法”的方法一一Solution(方法) 50个源自硅谷的工作方法论(四):我们是如何陷入贫穷与忙碌?一一稀缺心态 50个... 猪猪侠 2020-06-02 13:46 http://www.blog2019.net/post/179 http://www.blog2019.net/post/179 LayUi搜索时,如何只刷新表格内容,其他内容不变? 相关阅读: Spring Boot 踩坑系列之Error resolving template Maven项目中引入net.sf.json.JSONObject依赖jar包 X-admin2.2表单提交方式及注意事项 X-admin2.2中swi... 猪猪侠 2020-06-02 10:09 http://www.blog2019.net/post/178 http://www.blog2019.net/post/178 ZTree工具类汇总,包括:新增、编辑和删除节点,并提交后台 相关阅读: X-admin2.2中switch开关的监听,以及属性值获取和更改状态等操作 Spring Boot集成X-admin2.2时,Layui字体图标无法正常显示或乱码问题解决方法 X-admin2.2表单提交方式及注意事项 Spri... 猪猪侠 2020-06-02 01:55 http://www.blog2019.net/post/177 http://www.blog2019.net/post/177 面试准备、HR、Android技术等面试问题汇总 第一章程序员简历 程序员简历就该这样写 本篇文章除了教大家用Markdown如何写一份程序员专属的简历,后面还会给大家推荐一些不错的用来写Markdown简历的软件或者网站,以及如何优雅的将Markdown格式转变为PDF格式或者其他格式。 推荐... 猪猪侠 2020-05-24 17:23 http://www.blog2019.net/post/176 http://www.blog2019.net/post/176 爬虫系列之数据质量监控(三):kafka统一接口处理逻辑分析 (二)KAFKA统一数据推送接口 1)非空校验 处理逻辑:除标题为空数据直接存入异常MySQL库中外,其他类型的数据直接流到数据质量校验步骤进行分析; 2)数据质量校验 主要是根据每个字段设置的校验规则,对其进行相应的校验处理。 3)二次排重处理... 猪猪侠 2020-05-23 08:08 http://www.blog2019.net/post/175 http://www.blog2019.net/post/175 爬虫系列之数据质量监控(二):监控系统设计 如需完整Word文档,请关注“十点数据”公众号获取。 二、数据监控流程图 三、流程详解 (一)信源系统 信源系统主要是用来管理各种规则,同时接收异常信息、并分析异常情况。 根据分析结果,把相应的信息推送给信源管理、采集人员等相关人员,以便优化采... 猪猪侠 2020-05-23 03:28 http://www.blog2019.net/post/174 http://www.blog2019.net/post/174 50个源自硅谷的工作方法论(六):把事做对,还是做对的事?一一Target(目的) 吹牛也要有目的 《用得上的商学课》第一季全网销量超过30万的时候,从订阅份数来看,已经可以臭不要脸地说全网第一名了。然后你懂的,老路就膨胀了,就爆棚了,就要原地爆炸了。我立马给团队开会,说:“咱们做一个大型发布会,把这个事儿吹出去。” 然后,我们... 猪猪侠 2020-05-21 09:12 http://www.blog2019.net/post/173 http://www.blog2019.net/post/173 员工晋升系列之述职报告 工作回顾 前言 能参加本次晋升陈述我感到十分荣幸,首先感谢领导能给我这次机会。回顾自己这段时间里做过的工作,我主要是通过不断的复盘总结进行着自我提升,也一直在思考过自己的优势与不足。今后我会努力发挥好自己的优势,朝着更好的方向前进。 我的主要工... 猪猪侠 2020-05-21 02:17 http://www.blog2019.net/post/172 http://www.blog2019.net/post/172 字节跳动面试锦集(二):项目HR高频面试总结 1.项目开发中遇到的最大的一个难题和挑战,你是如何解决的。(95% 会问到) 说说你开发最大的优势点(95% 会问到) 你为什么会离开上家公司 你的缺点是什么? 你能给公司带来什么效益? 你对未来的职业规划? 1、自我介绍... 猪猪侠 2020-05-20 01:07 http://www.blog2019.net/post/171 http://www.blog2019.net/post/171 字节跳动面试锦集(一):Android Framework高频面试题总结 相关阅读: 字节跳动面试锦集(二):项目HR高频面试总结 1.AMS 、PMS 1.AMS概述 AMS是系统的引导服务,应用进程的启动、切换和调度、四大组件的启动和管理都需要AMS的支持。从这里可以看出AMS的功能会十分的繁多,当然它并不是一个类... 猪猪侠 2020-05-20 00:57 http://www.blog2019.net/post/170 http://www.blog2019.net/post/170 Spring Boot集成X-admin2.2时,Layui字体图标无法正常显示或乱码问题解决方法 最近在Spring Boot集成X-admin2.2时,好多按钮的图标都不显示了,只是显示个小方块乱码。其他的一些checkbox之类的也是不能正常显示。如下所示: 解决方法主要有以下几步: 第一步:确定已经引入fonts或lib/layui/... 猪猪侠 2020-05-19 22:34 http://www.blog2019.net/post/169 http://www.blog2019.net/post/169 一处景观雕塑,点亮庭院艺术 雕塑是设计的点睛之笔, 往往能撑起整个门面, 提升整体气质,成为亮点。 创意的设计, 总是会带来出乎意料的惊喜。 金地中核 ·格林格林——《时间音乐盒》 ▲你是否回想起儿时的音乐盒? 勾起客户儿时美好回忆的心理沉浸式体验的舞女雕塑 舞女自由自... 猪猪侠 2020-05-19 21:43 http://www.blog2019.net/post/168 http://www.blog2019.net/post/168 X-admin2.2中switch开关的监听,以及属性值获取和更改状态等操作 背景 最近在整合一个项目的后台管理系统中的权限部分功能时,用户有个启用和禁用的切换,先前是使用的按钮作为一个操作进行。 但是比较麻烦,最后决定使用layui的switch切换。通过参考文档及网友的经验,在此备记录,以备不时之需。 HTML代码部分... 猪猪侠 2020-05-18 22:13 http://www.blog2019.net/post/167 http://www.blog2019.net/post/167 X-admin2.2表单提交方式及注意事项 在做基于SpringBoot+Frammark+X-admin2.2的开发时,涉及到的表单提交处理逻辑,记录一下以备不时之需。 前端代码如下所示: // 表单提交 form.on('submit(first1)', function (data)... 猪猪侠 2020-05-18 12:50 http://www.blog2019.net/post/166 http://www.blog2019.net/post/166 Maven项目中引入net.sf.json.JSONObject依赖jar包 最近在做基于SpringBoot+Frammark+X-admin2.2的开发时,涉及到json的处理,涉及到了net.sf.json.JSONObject相关的依赖包。Maven中的引用如下所示: <!-- JSONObject对象依... 猪猪侠 2020-05-18 11:27 http://www.blog2019.net/post/165 http://www.blog2019.net/post/165 ECharts中From Left to Right Tree树形图后台数据构造与节点点击事件 最近在做一个项目中涉及到了百度ECharts中From Left to Right Tree树形图的使用,。虽然ECharts使用有些年头了,但是在后台数据构造时还是浪费了一点时间。 现在记录一下,算是留做备份吧。同时也给需要的童鞋做个参考。 ... 猪猪侠 2020-05-14 13:55 http://www.blog2019.net/post/163 http://www.blog2019.net/post/163 爬虫系列之数据质量监控(一) 如需完整Word文档,请关注“十点数据”公众号获取。 一、概述 1.现状 最近SaaS平台、APP等产品,总是采集的数据中存在各种各样的问题,如标题解析成JavaScript代码,或者包含一段无用的字符、或者出现一个乱码字符串等等。 先前的那套监... 猪猪侠 2020-05-13 09:07 http://www.blog2019.net/post/162 http://www.blog2019.net/post/162 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 一支神奇的股票 在美国的股市里,有一支神奇的股票,叫亚马逊。 如果你在1997年,它刚刚上市的时候,买了这支股票,那么,2000年互联网泡沫破灭的时候,你99%的钱都会变成废纸。这个结果,你,接受吗? 如果你在1997年,想买这个股票却没有买。到... 猪猪侠 2020-05-12 16:39 http://www.blog2019.net/post/161 http://www.blog2019.net/post/161 50个源自硅谷的工作方法论(四):我们是如何陷入贫穷与忙碌?一一稀缺心态 为什么大多数穷人,会穷一辈子? 在印度一个市场里,有这样一群小贩。他们每天天不亮,就花1000卢比进货,大概100块钱人民币的样子。辛苦一天卖完,能净赚100卢比。大部分小贩都需要借钱才能进货,所以赚的100卢比里,还有一半,要用来还利息。 听着... 猪猪侠 2020-05-10 15:25 http://www.blog2019.net/post/159 http://www.blog2019.net/post/159 50个源自硅谷的工作方法论(三):波浪式前进,螺旋式上升一一平衡记分卡 从“评价NBA球员”到“管理企业” 有些同学可能知道,我这个人没什么爱好,就一个,爱看NBA,看了快二十年。 很多年前,评价一个篮球运动员,就是看得分、篮板、助攻。但是,这些数据展现了“结果”,却没有展现“过程”。于是,人们开始关注新的数据,比如... 猪猪侠 2020-05-09 12:55 http://www.blog2019.net/post/158 http://www.blog2019.net/post/158 50个源自硅谷的工作方法论(二):麦肯锡为什么只用这一套方法?一一金字塔原理 微软的面试题在考什么? 微软有一道名震四海的面试题:“下水道的井盖为什么是圆的?” 大部分人能想到的答案是:因为圆井盖,不容易掉下去。这个答案只能是普通,而普通的答案,没法帮你,拉开跟别人的差距。 老路给你说几个答案,你感受一下: 1. 圆井盖更... 猪猪侠 2020-05-08 14:18 http://www.blog2019.net/post/157 http://www.blog2019.net/post/157 50个源自硅谷的工作方法论(一):马斯克为什么只认这一理论?一一第一性原理 马斯克为什么总能创新? 说第一性原理,就必须还得提马斯克,是他把这个概念带火的。 这个人确实神奇。他好奇在火星上种庄稼,能种出什么来,于是自己创办了SpaceX造火箭。所以,嘲讽一般的人,你可以跟他说,你咋不上天呢?怼马斯克,你可千万别这么说,... 猪猪侠 2020-05-07 10:36 http://www.blog2019.net/post/156 http://www.blog2019.net/post/156 Python爬虫中requests下载插件常用方法汇总(一) 最近在对先前写的爬虫框架进行升级,今天把下载部分使用的插件更新了一下,把原来的urllib.request换成了requests插件。 花了几个小时仔细的研究了一下requests的参数,目前初步整理一个工具类,代码如下: import requ... 猪猪侠 2020-05-07 02:15 http://www.blog2019.net/post/155 http://www.blog2019.net/post/155 把Tomcat安装到系统服务 安装步骤如下: 一:下载软件包 官网:Tomcat官网 下载自己想要的安装包,我下载的是:64-bit Windows zip (pgp, sha512) 。 二:解压安装包 解压下载的安装包,到合适的位置,建议解压至非系统盘,以免占用系统盘空间... 猪猪侠 2020-05-05 12:43 http://www.blog2019.net/post/154 http://www.blog2019.net/post/154 前端Web界面,显示Java后端的图片流 最近在做一个寺庙相关信息的大屏显示系统时,由于使用的历史系统后台,跨域问题较难解决,最后决定使用图片流的方式,在前端显示图片。 后端Java如下: @RequestMapping(value = "/getFileStream", method... 猪猪侠 2020-05-04 15:17 http://www.blog2019.net/post/153 http://www.blog2019.net/post/153 前端Web界面播放Java后端返回的音频流,视频流 最近在做一个大屏系统时,需要在界面中播放一段视频,由于跨域问题,最后决定使用视频流的方式,把音频文件传到前端进行播放。 后端Java代码如下: @RequestMapping(value = "/videoFlow", method = Req... 猪猪侠 2020-05-04 15:06 http://www.blog2019.net/post/152 http://www.blog2019.net/post/152 不用CSDN和知乎,我照样写博客 以前经常会在豆瓣、简书等自媒体上写一些文章,来记录一些工作中遇到的问题,或者某些问题/事件的解决方法。 有时总是被告知因为 XXX 原因未能发布,转有私有!反复校验,也找不到什么敏感词,申诉多次也都不成功! 有时,发表的内容,会无意间就被删帖或者... 猪猪侠 2020-05-03 22:01 http://www.blog2019.net/post/151 http://www.blog2019.net/post/151 网络爬虫的实现原理与技术 01 网络爬虫实现原理详解 不同类型的网络爬虫,其实现原理也是不同的,但这些实现原理中,会存在很多共性。在此,我们将以两种典型的网络爬虫为例(即通用网络爬虫和聚焦网络爬虫),分别为大家讲解网络爬虫的实现原理。 1. 通用网络爬虫 首先我们来看通用... 猪猪侠 2020-05-03 17:06 http://www.blog2019.net/post/150 http://www.blog2019.net/post/150